TWI571753B - 用於產生一影像之一互動索引碼圖之電子計算裝置、其方法及其電腦程式產品 - Google Patents
用於產生一影像之一互動索引碼圖之電子計算裝置、其方法及其電腦程式產品 Download PDFInfo
- Publication number
- TWI571753B TWI571753B TW103138690A TW103138690A TWI571753B TW I571753 B TWI571753 B TW I571753B TW 103138690 A TW103138690 A TW 103138690A TW 103138690 A TW103138690 A TW 103138690A TW I571753 B TWI571753 B TW I571753B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- index code
- reference image
- coordinate
- feature
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Library & Information Science (AREA)
- Processing Or Creating Images (AREA)
Description
本發明係關於一種用於產生影像之互動索引碼圖之電子計算裝置、其方法及其電腦程式產品。更具體而言,本發明主要係根據參考影像之互動索引碼圖為一影像建立一互動索引碼圖,當使用者透過電子顯示觀看該影像時,可以透過該互動索引碼圖進一步獲得與該影像相關之資訊。
由於資訊科技的進步,資訊的應用面向也越來越廣,其中一種對影像應用的方式,即為將影像標記相應之資訊。
惟該相應之資訊之取得,通常需要使用者點選指定按鈕、或利用搜尋引擎進行該相應資訊之檢索,惟若需使用者點選指定按鈕,會增加使用者之使用不便,利用搜尋引擎進行該相應資訊之檢索,僅能以文字為之。若利用搜尋引擎進行影像檢索,通常只能獲得該影像之整體資訊,而無法針對該影像的細部內容獲得資訊。
另外,先前技術有透過擴增實境(Augmented Reality;AR)之方式辨識影像之內容。惟此需透過影像辨識技術,將使計算複雜化,增
加電子計算裝置之計算耗能,並且僅能以近物影像為核心,而無法針對全景影像進行辨識。
當然,透過人工註記影像上的訊息也是一種習知技術,然而,透過人工的方式最為耗時費工,欠缺效率。
有鑑於此,如何提供一種為影像自動產生互動訊息之方式,並且具有低計算複雜度的優點,仍是本領域亟待解決的課題。
本發明之目的在於提供一種電子計算裝置、其方法及其電腦程式產品。其提供了一種自動產生一影像之一互動索引碼圖之方法,該互動索引碼圖作為使用者與該影像互動的資訊。
為達上述目的,本發明揭露一種用於產生一影像之一互動索引碼圖之電子計算裝置,其包含一資料庫及一處理器。該資料庫用以儲存複數參考影像。該電子計算裝置包含一資料庫及與該資料庫電性連接之一處理器。該資料庫儲存複數參考影像。處理器用以設定一影像之至少一特徵,並根據該至少一特徵自該複數參考影像中以一匹配演算程序挑選出至少一候選參考影像,且為該至少一候選參考影像進行定位轉換而成為至少一轉換後候選參考影像,以及根據該至少一轉換後候選參考影像所對應之至少一互動索引碼圖產生該影像之一特定互動索引碼圖,俾一顯示器根據一使用者指令利用該特定互動索引碼圖及一旁側訊息執行一對應操作。
為達上述目的,本發明更揭露一種用於上述電子計算裝置之一種互動索引碼圖產生方法,該電子計算裝置包含一資料庫及與該資料庫電性連接之一處理器,該資料庫用以儲存複數參考影像,該互動索引碼
圖產生方法包含下列步驟:令該處理器設定一影像之至少一特徵,並根據該至少一特徵自該複數參考影像中以一匹配演算程序挑選出至少一候選參考影像;令該處理器為該至少一候選參考影像進行定位轉換而成為至少一轉換後候選參考影像;以及令該處理器根據該至少一轉換後候選參考影像所對應之至少一互動索引碼圖產生該影像之一特定互動索引碼圖,俾一顯示器根據一使用者指令利用該特定互動索引碼圖及一旁側訊息執行一對應操作。
此外,本發明更揭露一種電腦程式產品,經由一電子計算裝置載入該電腦程式產品後,執行該電腦程式產品所包含之複數個程式指令,以使該電子計算裝置執行一種互動索引碼圖產生方法,該電子計算裝置儲存複數參考影像,該複數個程式指令包含:程式指令A,由該電子計算裝置設定一影像之至少一特徵,並根據該至少一特徵自該複數參考影像中以一匹配演算程序挑選出至少一候選參考影像;程式指令B,由該電子計算裝置為該至少一候選參考影像進行定位轉換而成為至少一轉換後候選參考影像;以及程式指令C,根據該至少一轉換後候選參考影像所對應之至少一互動索引碼圖產生該影像之一特定互動索引碼圖,俾一顯示器根據一使用者指令利用該特定互動索引碼圖及一旁側訊息執行一對應操作。
在參閱圖式及隨後描述的實施方式後,所屬技術領域具有通常知識者便可瞭解本發明之其它目的,以及本發明之技術手段及實施態樣。
1‧‧‧電子計算裝置
11‧‧‧資料庫
13‧‧‧處理器
M‧‧‧影像
M1~M50‧‧‧參考影像
M1’~M5’‧‧‧轉換後候選參考影像
C‧‧‧中心點
C1~C5‧‧‧中心點
(x,y)‧‧‧座標
V‧‧‧垂直線
S100~S120‧‧‧步驟
第1A圖係為本發明第一實施例之電子計算裝置之示意圖;第1B圖係為本發明第一實施例之影像及候選參考影像之示意圖;第1C圖係為本發明第一實施例之影像之特定互動索引碼圖之示意圖;第2A圖係為本發明第二實施例之互動索引碼圖產生方法之流程圖;第2B圖係為本發明第二實施例之互動索引碼圖產生方法之細部流程圖;以及第2C圖係為本發明第二實施例之互動索引碼圖產生方法之細部流程圖。
以下將透過實施例來解釋本發明之內容。須說明者,本發明的實施例並非用以限制本發明須在如實施例所述之任何特定的環境、應用或特殊方式方能實施。因此,有關實施例之說明僅為闡釋本發明之目的,而非用以限制本發明,且本案所請求之範圍,以申請專利範圍為準。除此之外,於以下實施例及圖式中,與本發明非直接相關之元件已省略而未繪示,且以下圖式中各元件間之尺寸關係僅為求容易瞭解,非用以限制實際比例。
本發明之第一實施如第1A至1C圖所示,第1A圖係為一電子計算裝置1之示意圖,第1B圖係為影像M及候選參考影像之示意圖,第1C圖係為影像M之特定互動索引碼圖。電子計算裝置1可以係為一智慧型手機、一平板電腦、一可攜式電腦、一桌上型電腦、一共用伺服器、一導覽機設備、一照相機,或任何具有計算功能之電子設備。
電子計算裝置1包含一資料庫11及與資料庫11電性連接之
一處理器13。資料庫11可以係一硬碟或任何電子儲存設備,用以儲存複數參考影像,且各該參考影像具有一互動索引碼圖(interaction index map)。處理器13可以係為一微處理器或任何電子處理設備。
於本實施例中,假設資料庫11中共有50張參考影像M1~M50,此時,一使用者欲獲得具有一特定互動索引碼圖(specific interaction index map)之一影像M,則該使用者將無互動索引碼圖之影像M傳送至電子計算裝置1。若電子計算裝置1為一照相機或其他影像擷取設備,則只需要拍攝以獲得、或擷取影像M即可。接下來,將說明處理器13如何為影像M產生特定互動索引碼圖。
首先,處理器13以一匹配演算程序自複數參考影像(reference image)M1~M50中挑選出至少一候選參考影像(candidate reference image)。
該匹配演算程序係由處理器13執行以下操作。首先,處理器13設定影像M具有n個特徵點,每個特徵點之一特徵V i ,其中i={1,2,...n},以及設定該複數參考影像之一參考影像數量為M,且各該複數參考影像具有n j 個特徵點,每個特徵點之一特徵為U j,k ,其中j={1,2,...M}且k={1,2,...n j }。
接著,處理器13以下列方程式1計算影像M之一第i個特徵點與一第j張參考影像之一最相似的特徵點,方程式1表示為:
其中,SIM(V i ,U j,k )為影像M之第i個特徵點與一第j張參考影像之一第k個特徵點之一相似度。當處理器13判斷不小於(大於或等於)一第一門檻值,則保留影像M之第i個特徵點及保留影像M之第i個
特徵點與一第j張參考影像之第P i,j 個特徵點之一相似關連;反之,則排除影像M之第i個特徵點。
再來,處理器13計算影像M對第j張參考影像之間所保留之至少一特徵點之一特徵點數量,並且進一步判斷該特徵點數量不小於一第二門檻值,則將該第j張參考影像納入該至少一候選參考影像中;反之,則不將該第j張參考影像納入該至少一候選參考影像中。
需特別說明的是,該匹配演算程序不限於上述計算方式,其他可用於影像之間的匹配演算的方法皆在本發明之範疇之中。例如於其他實施態樣中,方程式1可修改為,以求第j張參考影像之一最不相似的特徵點,之後處理器13判斷不大於(小於或等於)一第三門檻值,則累計該最不相似的特徵點之一數量,若該數量大於一第四門檻值,則處理器13判斷該第j張參考影像與影像M不相似,將該第j張參考影像自複數參考影像M1~M50中排除。於複數參考影像M1~M50皆代入之後,則可剔除不相似的參考影像,剩餘之參考影像則可作為該至少一候選參考影像。
假設經由上述匹配演算程序,處理器13自該複數參考影像M1~M50中挑選參考影像M1~M5作為該至少一候選參考影像。在此,且將至少一候選參考影像M1~M5分別稱為一第一候選參考影像M1、一第二候選參考影像M2、一第三候選參考影像M3、一第四候選參考影像M4及一第五候選參考影像M5。接著,處理器13以下列方程式2針對第一至第五候選參考影像M1~M5進行定位轉換:
其中,(u i ,v i )為影像M之一第i個特徵點的一第一座標,(x j ,y j )為第一至第五候選參考影像M1~M5之其中之一的該第j個特徵之一第二座標,s、θ、f x 及f y 分別為該第一座標及該第二座標間之一尺寸參數(scale parameter)、一旋轉角度參數(angle parameter)、一水平位移參數(horizontal shifting parameter)以及一垂直位移參數(vertical shifting parameter)。求出上述各參數後,處理器13為該第一至第五候選參考影像M1~M5上的所有像素,包含該至少一特徵點所在的像素,進行定位轉換。
如第1B圖所示,假設中心點C為影像M的第一個特徵點,定位轉換後,第一至第五候選參考影像M1~M5被轉換為第一至第五轉換後候選參考影像M1’~M5’,影像M中的中心點C則與第一至第五轉換後候選參考影像M1’~M5’之各該第j個特徵一中心點C1~C5,位於同一個垂直線V上。
須說明的是,於其他實施態樣中,影像M及第一至第五候選參考影像M1~M5之間無該旋轉角度參數θ,即θ=0之情形,則處理器13以下列方程式3針對第一至第五候選參考影像M1~M5進行定位轉換:
為第一至第五候選參考影像M1~M5進行定位轉換後,其互動索引碼圖亦會隨之定位轉換。
須先說明的是,互動索引碼圖需要一旁側訊息
(side-information)協助作業,該旁側訊息用來紀錄各索引碼值所代表的訊息。如下表1所示,本實施例之一旁側訊息為一表格。
其中,表格1之內容可包括索引碼值及各該索引碼值所對應之屬性以及內容。惟表格1僅為例示,並非限制。
接著,處理器13設定A i 為一第i個轉換後候選參考影像(第一至第五轉換後候選參考影像M1’~M5’之其中之一)之相應互動索引碼圖,A i (x,y)為在該第i個轉換後候選參考影像之相應互動索引碼圖上之一座標(x,y)之一索引碼值,B(x,y)為影像M在同為該座標(x,y)之一索引碼值。其中,座標(x,y)為該第i個轉換後候選參考影像之一像素(pixel)。則B(x,y)以下列方程式4計算:
其中,假設旁側訊息內一索引碼值類型總數量表示為L,各該索引碼值表示為c,則p(c)為該索引碼值之一累計數量。假設有m個候選參考影像,在座標(x,y)上有m個索引碼值。
例如,於本實施例中,同時以表1為例,共有4種索引碼值
(表1中分別有索引碼值c分別為1、2、3及4)和5個(轉換後)候選參考影像,即第一至第五轉換後候選參考影像M1’~M5’,則L=4和m=5。假設中心點C1~C5上之索引碼值(即c)分別為表格1中之1、2、1、3、1,則p(1)=3、p(2)=1、p(3)=1、p(4)=0,則索引碼值為1的累計數量p(1)為3之數值最高,因此取c為1之值為B(x,y)。如此,影像M上之中心點C之相應索引碼值為1。
惟本發明不限於此,於其他實施態樣中,處理器13可以透過先將p(c)正規化,再比較其正規化後之累計數量後,取其最高之正規化後累計數值之相應索引碼值作為B(x,y)之數值。
當然,在轉換後候選參考影像上的每個像素的索引碼值皆作為影像M上每個像素的索引碼值參考,因此,影像M上之所有座標皆索引碼值,並與影像M上之中心點C之相應索引碼值組成影像M之該特定互動索引碼圖。如第1C圖所示之影像M之該特定互動索引碼圖,其每一個框格表示影像M各該座標上之像素,框格內之數值即為相應之索引碼值。於本實施例中,第一至第五轉換後候選參考影像M1’~M5’上無相應所引碼值之像素預設數值為0,因此,若該影像M參考第一至第五轉換後候選參考影像M1’~M5’後,也會出現某個或某些像素上的索引碼值之累計數量p(0)=5的情形,此時0即為影像M之該某個或某些像素上的索引碼值。
處理器13為影像M建立該特定互動索引碼圖之後,使用者即可使用一顯示器(圖未繪示),並透過一使用者指令,例如係移動一滑鼠游標至影像M上對應索引碼值上之一特定位置、或以手指輕觸該特定位置(若該顯示器為一觸控螢幕)以產生一觸控訊號,此時,該顯示器即根據
該使用者指令利用該特定互動索引碼圖及該旁側訊息執行一對應操作。
該對應操作,若對應所引碼值為表格1中之數值1,則顯示文字「中心點」,若為數值2,則根據該超連結透過瀏覽器進行網路連結。其中,該顯示器為電子計算裝置1其中之一元件,並與處理器13電性連接;或者係獨立於電子計算裝置1之其他電子顯示設備。
本發明之第二實施例如第2A、2B及2C圖所示。第2A圖其係為一互動索引碼圖產生方法之流程圖,第2B及2C圖為該互動索引碼圖產生方法之細部流程圖。本實施例所述之互動索引碼圖產生方法係用於一電子計算裝置,例如:第一實施例之電子計算裝置1。電子計算裝置包含一資料庫以及與該資料庫電性連接之一處理器。該互動索引碼圖產生方法由該處理器所執行。
於本實施例中,假設該資料庫中共有50張參考影像,此時,一使用者欲獲得具有一特定互動索引碼圖之一影像,則該使用者將無互動索引碼圖之該影像傳送至電子計算裝置。若電子計算裝置為一照相機或其他影像擷取設備,則只需要拍攝以獲得、或擷取該影像即可。接下來,將說明該處理器如何為該影像產生該特定互動索引碼圖。
該互動索引碼圖產生方法首先執行步驟S100,令該處理器設定一影像之至少一特徵,並根據該至少一特徵自該複數參考影像中以一匹配演算程序挑選出至少一候選參考影像。
該匹配演算程序,首先由該處理器設定該影像具有n個特徵點,每個特徵點具有一長度之一特徵V i ,其中i={1,2,...n},以及設定該複數參考影像之一參考影像數量為M,且各該複數參考影像具有n j 個特徵點,
每個特徵點之一特徵為U j,k ,其中j={1,2,...M}且k={1,2,...n j }。
接著,該處理器以第一實施例之方程式1計算該影像之一第i個特徵點與一第j張參考影像之一最相似的特徵點,並進一步判斷是否保留影像之該第i個特徵點及保留該影像之第i個特徵點與一第j張參考影像之第P i,j 個特徵點之一相似關連,以及判斷該影像對該第j張參考影像之間所保留之至少一特徵點之一特徵點數量。該方程式1之說明已如第一實施例所示,不另為贅述。
當然,該方程式議可修改為,以求第j張參考影像之一最不相似的特徵點,之後該處理器判斷不大於(小於或等於)一第五門檻值,則累計該最不相似的特徵點之一數量,若該數量大於一第六門檻值,則該處理器判斷該第j張參考影像與該影像不相似,將該第j張參考影像自該複數參考影像中排除。於該複數參考影像皆代入之後,則可剔除不相似的參考影像,剩餘之參考影像則可作為該至少一候選參考影像。
於本實施例中,假設經由上述匹配演算程序,該處理器自該複數參考影像中挑選出其中的五張參考影像作為至少一候選參考影像,分別為一第一候選參考影像、一第二候選參考影像、一第三候選參考影像、一第四候選參考影像及一第五候選參考影像。
接著,執行步驟S110,令該處理器為該至少一候選參考影像進行定位轉換而成為至少一轉換後候選參考影像。如第2B圖所示,步驟S110更包含步驟S110a、S110b及S110c。其中,於步驟S110a中,令該處理器蒐集該影像之各該特徵點之一座標與該影像之各該特徵點對應至該第一
至第五候選參考影像上之相應特徵點的一座標,因此,該影像之該特徵點之座標之數量為至少一個。
於步驟S110b中,令該處理器計算該影像之各該特徵點之相應座標,與該影像之各該特徵點對應至該第一至第五候選參考影像上之相應特徵點的相應座標之定位轉換參數s、θ、f x 及f y ,s、θ、f x 及f y 分別為一尺寸參數、一旋轉角度參數、一水平位移參數以及一垂直位移參數。
隨後,於步驟S110c中,令該處理器利用該尺寸參數、該旋轉角度參數、該水平位移參數以及該垂直位移參數,為該第一至第五候選參考影像分別進行定位轉換。需說明的是,該處理器為該第一至第五候選參考影像上的所有像素,包含該至少一特徵點所在的像素,進行定位轉換。
一般而言,該處理器係利用如第一實施例之方程式2進行定位轉換。惟若該影像之各該特徵點之相應座標,與該影像之各該特徵點對應至該第一至第五候選參考影像上之相應特徵點的相應座標之不具備無該旋轉角度參數θ,即該旋轉角度參數為零之情形,則該處理器利用方程式3進行定位轉換。
須說明的是,本領域之技術人員知曉如何進行上述步驟S110a~S110c,因此其細節不予贅述。
之後,執行步驟S120,令該處理器根據該至少一轉換後候選參考影像所對應之至少一互動索引碼圖產生該影像之一特定互動索引碼圖,俾一顯示器根據一使用者指令利用該特定互動索引碼圖及一旁側訊息執行一對應操作。
進一步說明,如第2C圖所示,步驟S120更包含步驟S120a、
S120b及S120c。於步驟S120a中,令該處理器計算在該影像之各該像素之相應座標上計算同一座標上位於該至少一候選參考影像之各該索引碼值的一累計數量。換言之,該處理器針對該影像上的每個像素進行索引碼值的累加。
於步驟S120b中,令該處理器根據各該累計數量,藉由第一實施例之方程式4以各該累計數量計算該影像之各該像素之相應座標上之相應索引碼值。
惟本發明不限於此,於其他實施態樣中,該處理器可以透過先將第一實施例中之方程式4的該累計數量p(c)正規化,再比較其正規化後之累計數量後,取其最高之正規化後累計數值之相應索引碼值作為第一實施例之方程式4的相應索引碼值B(x,y)之數值。
於步驟s120c中,令該處理器集合於該影像上之各該像素之相應座標上之相應索引碼值並產生該影像之一特定互動索引碼圖。
須說明的是,本領域之技術人員知曉如何進行上述步驟S120a~S120c,因此其細節不予贅述。
該處理器為該影像建立該特定互動索引碼圖之後,使用者即可使用一顯示器,並透過一使用者指令,例如係移動一滑鼠游標至該影像上對應索引碼值上之一特定位置、或以手指輕觸該特定位置(若該顯示器為一觸控螢幕)以產生一觸控訊號,此時,該顯示器即根據該使用者指令利用該特定互動索引碼圖及該旁側訊息執行一對應操作。
須說明者,上述步驟S100至S120之執行方式如第一實施例中所定義,故在此不加贅述。
除了上述步驟,本實施例的互動索引碼圖產生方法亦能執行第一實施例所描述的所有操作及具備所對應的所有功能,且所屬技術領域具有通常知識者可直接了解本實施例的互動索引碼圖產生方法如何基於第一實施例的揭露內容執行此等操作及具備此等功能,於此不再贅述。
再者,第二實施例所描述之互動索引碼圖產生方法可由一電腦程式產品加以實現。當一電子計算裝置載入此電腦程式產品,並執行此電腦程式產品所包含之複數個程式指令後,即可完成第二實施例所描述之互動索引碼圖產生方法。前述之電腦程式產品可為能於網路上傳輸之檔案,亦可被儲存於非揮發性電腦可讀取記錄媒體中,例如唯讀記憶體(read only memory;ROM)、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或熟習此項技藝者所習知且具有相同功能之任何其它儲存媒體中。
綜上所述,本發明之電子計算裝置、互動索引碼圖產生方法以及其電腦程式產品藉由影像匹配的方式,為影像自動產生互動索引碼圖,相較於先前技術對影像的資訊註記方式,本發明可以降低計算複雜度,同時增進效率。
上述之實施例僅用來例舉本發明之實施態樣,以及闡釋本發明之技術特徵,並非用來限制本發明之保護範疇。任何熟悉此技術者可輕易完成之改變或均等性之安排均屬於本發明所主張之範圍,本發明之權利保護範圍應以申請專利範圍為準。
S100~S120‧‧‧步驟
Claims (15)
- 一種電子計算裝置,包含:一資料庫,內儲複數參考影像(reference image);以及一處理器,與該資料庫電性連接,用以設定一影像之至少一特徵,並根據該至少一特徵自該複數參考影像中以一匹配演算程序挑選出至少一候選參考影像(candidate reference image),並為該至少一候選參考影像進行定位轉換而成為至少一轉換後候選參考影像(transformed candidate reference image),以及根據該至少一轉換後候選參考影像所對應之至少一互動索引碼圖(interaction index map)產生該影像之一特定互動索引碼圖(specific interaction index map),俾一顯示器根據一使用者指令利用該特定互動索引碼圖及一旁側訊息(side-information)執行一對應操作;其中,各該轉換後候選參考影像所對應之各該互動索引碼圖包含各該轉換後候選參考影像上之至少一特定座標及於各該特定座標上之一索引碼值;其中,該特定互動索引碼圖中的每一座標上之一相應像素內之一數值為一相應的索引碼值。
- 如請求項1所述之電子計算裝置,其中該匹配演算程序包含下列操作:由該處理器設定該影像具有n個特徵點,且該影像之各該特徵點之一特徵為V i ,其中i={1,2,...n}; 由該處理器設定該複數參考影像之一參考影像數量為M,且各該複數參考影像具有n j 個特徵點,各該複數參考影像之各該特徵點之一特徵為U j,k ,其中j={1,2,...M}且k={1,2,...n j };由該處理器計算該影像之一第i個特徵點與一第j張參考影像之一最相似的特徵點為,其中SIM(V i ,U j,k )為該影像之各該特徵點及該複數參考影像之各該參考影像之各該特徵點的一相似度;由該處理器判斷不小於一第一門檻值,並保留該影像之該第i個特徵點及保留該影像之該第i個特徵點與該第j個參考影像之該第P i,j 個特徵點之一相似關連;以及由該處理器計算該影像對該第j張參考影像之間所保留之至少一特徵點之一特徵點數量,並判斷該特徵點數量不小於一第二門檻值,則將該第j張參考影像納入該至少一候選參考影像。
- 如請求項1所述之電子計算裝置,其中該處理器以下列方程式為該至少一候選參考影像進行定位轉換:
其中,(u i ,v i )為該影像之一第i個特徵點的一第一座標,(x j ,y j )為該至少一候選參考影像之其中之一的一第j個特徵之一第二座標,s、θ、f x 及f y 分別為該第一座標及該第二座標之一尺寸參數(scale parameter)、一旋轉角度參數(angle parameter)、一水平位移參數(horizontal shifting parameter)以及一垂直位移參數(vertical shifting parameter)。 - 如請求項1所述之電子計算裝置,其中該處理器以下列方程式為該至少一候選參考影像進行定位轉換:
其中,(u i ,v i )為該影像之一第i個特徵點的一第一座標,(x j ,y j )為該至少一候選參考影像之其中之一的一第j個特徵之一第二座標,s、f x 及f y 分別為該第一座標及該第二座標之一尺寸參數、一水平位移參數以及一垂直位移參數。 - 如請求項1所述之電子計算裝置,其中該處理器係藉由下列方程式為該影像產生該特定互動索引碼圖:
其中該B(x,y)為該特定互動索引碼圖上一座標之相應索引碼值,(x,y)為該座標,L為一索引碼值類型總數量,c為至少一轉換後候選參考影像於該座標上之一索引碼值,p(c)為該索引碼值之一累計數量。 - 一種互動索引碼圖產生方法,用於一電子計算裝置,該電子計算裝置包含一資料庫及與該資料庫電性連接之一處理器,該資料庫用以儲存複數參考影像,該互動索引碼圖產生方法包含下列步驟:令該處理器設定一影像之至少一特徵,並根據該至少一 特徵自該複數參考影像中以一匹配演算程序挑選出至少一候選參考影像;令該處理器為該至少一候選參考影像進行定位轉換而成為至少一轉換後候選參考影像;以及令該處理器根據該至少一轉換後候選參考影像所對應之至少一互動索引碼圖產生該影像之一特定互動索引碼圖,俾一顯示器根據一使用者指令利用該特定互動索引碼圖及一旁側訊息執行一對應操作;其中,各該轉換後候選參考影像所對應之各該互動索引碼圖包含各該轉換後候選參考影像上之至少一特定座標及於各該特定座標上之一索引碼值;其中,該特定互動索引碼圖中的每一座標上之一相應像素內之一數值為一相應的索引碼值。
- 如請求項6所述之互動索引碼圖產生方法,其中該匹配演算程序更包含下列步驟:令該處理器設定該影像具有n個特徵點,且該影像之各該特徵點之一特徵為V i ,其中i={1,2,...n};令該處理器設定該複數參考影像之一參考影像數量為M,且各該複數參考影像具有n j 個特徵點,各該複數參考影像之各該特徵點之一特徵為U j,k ,其中j={1,2,...M}且k={1,2,...n j };令該處理器計算該影像之一第i個特徵點與一第j張參考影像之一最相似的特徵點為,其中SIM(V i ,U j,k )為該影像之各該特徵點及該複數參考影像之各該參 考影像之各該特徵點的一相似度;令該處理器判斷)不小於一第一門檻值,並保留該影像之該第i個特徵點及保留該影像之該第i個特徵點與該第j個參考影像之該第P i,j 個特徵點之一相似關連;以及令該處理器計算該影像對該第j張參考影像之間所保留之至少一特徵點之一特徵點數量,並判斷該特徵點數量不小於一第二門檻值,則將該第j張參考影像納入該至少一候選參考影像。
- 如請求項6所述之互動索引碼圖產生方法,其中該處理器以下列方程式為該至少一候選參考影像進行定位轉換:
其中,(u i ,v i )為該影像之一第i個特徵點的一第一座標,(x j ,y j )為該至少一候選參考影像之其中之一的一第j個特徵之一第二座標,s、θ、f x 及f y 分別為該第一座標及該第二座標間之一尺寸參數、一旋轉角度參數、一水平位移參數以及一垂直位移參數。 - 如請求項6所述之互動索引碼圖產生方法,其中該處理器以下列方程式為該至少一候選參考影像進行定位轉換:
其中,(u i ,v i )為該影像之一第i個特徵點的一第一座標, (x j ,y j )為該至少一候選參考影像之其中之一的一第j個特徵之一第二座標,s、f x 及f y 分別為該第一座標及該第二座標之一尺寸參數、一水平位移參數以及一垂直位移參數。 - 如請求項6所述之互動索引碼圖產生方法,其中該處理器係藉由下列方程式為該影像產生該特定互動索引碼圖:
其中該B(x,y)為該特定互動索引碼圖上一座標之相應索引碼值,(x,y)為該座標,L為一索引碼值類型總數量,c為至少一轉換後候選參考影像於該座標上之一索引碼值,p(c)為該索引碼值之一累計數量。 - 一種電腦程式產品,經由一電子計算裝置載入該電腦程式產品後,執行該電腦程式產品所包含之複數個程式指令,以使該電子計算裝置執行一種互動索引碼圖產生方法,該電子計算裝置儲存複數參考影像,該複數個程式指令包含:程式指令A,由該電子計算裝置設定一影像之至少一特徵,並根據該至少一特徵自該複數參考影像中以一匹配演算程序挑選出至少一候選參考影像;程式指令B,由該電子計算裝置為該至少一候選參考影像進行定位轉換而成為至少一轉換後候選參考影像;以及程式指令C,根據該至少一轉換後候選參考影像所對應之至少一互動索引碼圖產生該影像之一特定互動索引碼圖,俾一顯示器根據一使用者指令利用該特定互動索引碼圖及一旁側訊息執行一對應操作; 其中,各該轉換後候選參考影像所對應之各該互動索引碼圖包含各該轉換後候選參考影像上之至少一特定座標及於各該特定座標上之一索引碼值;其中,該特定互動索引碼圖中的每一座標上之一相應像素內之一數值為一相應的索引碼值。
- 如請求項11所述之電腦程式產品,其中該匹配演算程序更包含下列指令:程式指令A1,由該電子計算裝置設定該影像具有n個特徵點,且該影像之各該特徵點之一特徵為V i ,其中i={1,2,...n};程式指令A2,由該電子計算裝置設定該複數參考影像之一參考影像數量為M,且各該複數參考影像具有n j 個特徵點,各該複數參考影像之各該特徵點之一特徵為U j,k ,其中j={1,2,...M}且k={1,2,...n j };程式指令A3,由該電子計算裝置計算該影像之一第i個特徵點與一第j張參考影像之一最相似的特徵點為,其中SIM(V i ,U j,k )為該影像之各該特徵點及該複數參考影像之各該參考影像之各該特徵點的一相似度;程式指令A4,由該電子計算裝置判斷不小於一第一門檻值,並保留該影像之該第i個特徵點及保留該影像之該第i個特徵點與該第j個參考影像之該第P i,j 個特徵點之一相似關連;以及程式指令A5,由該電子計算裝置計算該影像對該第j張 參考影像之間所保留之至少一特徵點之一特徵點數量,並判斷該特徵點數量不小於一第二門檻值,則將該第j張參考影像納入該至少一候選參考影像。
- 如請求項11所述之電腦程式產品,其中該電子計算裝置以下列方程式為該至少一候選參考影像進行定位轉換:
其中,(u i ,v i )為該影像之一第i個特徵點的一第一座標,(x j ,y j )為該至少一候選參考影像之其中之一的一第j個特徵之一第二座標,s、θ、f x 及f y 分別為該第一座標及該第二座標間之一尺寸參數、一旋轉角度參數、一水平位移參數以及一垂直位移參數。 - 如請求項11所述之電腦程式產品,其中該電子計算裝置以下列方程式為該至少一候選參考影像進行定位轉換:
其中,(u i ,v i )為該影像之一第i個特徵點的一第一座標,(x j ,y j )為該至少一候選參考影像之其中之一的一第j個特徵之一第二座標,s、f x 及f y 分別為該第一座標及該第二座標之一尺寸參數、一水平位移參數以及一垂直位移參數。 - 如請求項11所述之電腦程式產品,其中該電子計算裝置係藉由下列方程式為該影像產生該特定互動索引碼圖:
其中該B(x,y)為該特定互動索引碼圖上一座標之相應索引碼值,(x,y)為該座標,L為一索引碼值類型總數量,c為至少一轉換後候選參考影像於該座標上之一索引碼值,p(c)為該索引碼值之一累計數量。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW103138690A TWI571753B (zh) | 2014-11-07 | 2014-11-07 | 用於產生一影像之一互動索引碼圖之電子計算裝置、其方法及其電腦程式產品 |
| US14/551,605 US9524303B2 (en) | 2014-11-07 | 2014-11-24 | Electronic calculating apparatus for generating an interaction index map of an image, method thereof and non-transitory machine-readable medium thereof |
| CN201410680568.2A CN105574059A (zh) | 2014-11-07 | 2014-11-24 | 用于产生一图像的一交互索引码图的电子计算装置及其方法 |
| GB1421138.7A GB2532091A (en) | 2014-11-07 | 2014-11-28 | Electronic calculating apparatus for generating an interaction index map of an image, method thereof and non-transitory machine-readable medium thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW103138690A TWI571753B (zh) | 2014-11-07 | 2014-11-07 | 用於產生一影像之一互動索引碼圖之電子計算裝置、其方法及其電腦程式產品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201617937A TW201617937A (zh) | 2016-05-16 |
| TWI571753B true TWI571753B (zh) | 2017-02-21 |
Family
ID=52349597
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW103138690A TWI571753B (zh) | 2014-11-07 | 2014-11-07 | 用於產生一影像之一互動索引碼圖之電子計算裝置、其方法及其電腦程式產品 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9524303B2 (zh) |
| CN (1) | CN105574059A (zh) |
| GB (1) | GB2532091A (zh) |
| TW (1) | TWI571753B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108965687B (zh) * | 2017-05-22 | 2021-01-29 | 阿里巴巴集团控股有限公司 | 拍摄方向识别方法、服务器及监控方法、系统及摄像设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5465353A (en) * | 1994-04-01 | 1995-11-07 | Ricoh Company, Ltd. | Image matching and retrieval by multi-access redundant hashing |
| US20020087538A1 (en) * | 1998-06-22 | 2002-07-04 | U.S.Philips Corporation | Image retrieval system |
| TW200801990A (en) * | 2006-06-08 | 2008-01-01 | Univ Nat Chiao Tung | Method and system of image retrieval |
| TW200922325A (en) * | 2007-08-24 | 2009-05-16 | Sony Corp | Image processing device, dynamic image reproduction device, and processing method and program in them |
| TW201027374A (en) * | 2009-01-15 | 2010-07-16 | Hon Hai Prec Ind Co Ltd | System and method for searching images |
| TW201128421A (en) * | 2009-11-02 | 2011-08-16 | Microsoft Corp | Content-based image search |
| TW201331772A (zh) * | 2012-01-17 | 2013-08-01 | Alibaba Group Holding Ltd | 圖像索引的產生方法及設備 |
| US20140250120A1 (en) * | 2011-11-24 | 2014-09-04 | Microsoft Corporation | Interactive Multi-Modal Image Search |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7251637B1 (en) * | 1993-09-20 | 2007-07-31 | Fair Isaac Corporation | Context vector generation and retrieval |
| JP4813707B2 (ja) * | 2001-09-28 | 2011-11-09 | 本田技研工業株式会社 | 燃料電池スタック |
| EP1636998A2 (en) * | 2003-06-25 | 2006-03-22 | Thomson Licensing | Method and apparatus for weighted prediction estimation using a displaced frame differential |
| US7991232B2 (en) * | 2004-03-03 | 2011-08-02 | Nec Corporation | Image similarity calculation system, image search system, image similarity calculation method, and image similarity calculation program |
| US7912827B2 (en) * | 2004-12-02 | 2011-03-22 | At&T Intellectual Property Ii, L.P. | System and method for searching text-based media content |
| US7836050B2 (en) * | 2006-01-25 | 2010-11-16 | Microsoft Corporation | Ranking content based on relevance and quality |
| US8631012B2 (en) * | 2006-09-29 | 2014-01-14 | A9.Com, Inc. | Method and system for identifying and displaying images in response to search queries |
| JP5034820B2 (ja) * | 2007-09-21 | 2012-09-26 | セイコーエプソン株式会社 | 画像処理装置、画像処理プログラム |
| US8463738B2 (en) * | 2008-03-06 | 2013-06-11 | Nec Corporation | Attribute extraction method, system, and program |
-
2014
- 2014-11-07 TW TW103138690A patent/TWI571753B/zh active
- 2014-11-24 CN CN201410680568.2A patent/CN105574059A/zh active Pending
- 2014-11-24 US US14/551,605 patent/US9524303B2/en active Active
- 2014-11-28 GB GB1421138.7A patent/GB2532091A/en not_active Withdrawn
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5465353A (en) * | 1994-04-01 | 1995-11-07 | Ricoh Company, Ltd. | Image matching and retrieval by multi-access redundant hashing |
| US20020087538A1 (en) * | 1998-06-22 | 2002-07-04 | U.S.Philips Corporation | Image retrieval system |
| TW200801990A (en) * | 2006-06-08 | 2008-01-01 | Univ Nat Chiao Tung | Method and system of image retrieval |
| TW200922325A (en) * | 2007-08-24 | 2009-05-16 | Sony Corp | Image processing device, dynamic image reproduction device, and processing method and program in them |
| TW201027374A (en) * | 2009-01-15 | 2010-07-16 | Hon Hai Prec Ind Co Ltd | System and method for searching images |
| TW201128421A (en) * | 2009-11-02 | 2011-08-16 | Microsoft Corp | Content-based image search |
| US20140250120A1 (en) * | 2011-11-24 | 2014-09-04 | Microsoft Corporation | Interactive Multi-Modal Image Search |
| TW201331772A (zh) * | 2012-01-17 | 2013-08-01 | Alibaba Group Holding Ltd | 圖像索引的產生方法及設備 |
Also Published As
| Publication number | Publication date |
|---|---|
| GB201421138D0 (en) | 2015-01-14 |
| CN105574059A (zh) | 2016-05-11 |
| GB2532091A (en) | 2016-05-11 |
| TW201617937A (zh) | 2016-05-16 |
| US20160132531A1 (en) | 2016-05-12 |
| US9524303B2 (en) | 2016-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110462683B (zh) | 紧耦合视觉slam的方法、终端及计算机可读存储介质 | |
| CN110866496B (zh) | 基于深度图像的机器人定位与建图方法和装置 | |
| US10638117B2 (en) | Method and apparatus for gross-level user and input detection using similar or dissimilar camera pair | |
| CN110222703B (zh) | 图像轮廓识别方法、装置、设备和介质 | |
| TWI462035B (zh) | 物件偵測後設資料 | |
| US9495802B2 (en) | Position identification method and system | |
| US9563818B2 (en) | System for associating tag information with images supporting image feature search | |
| US9311756B2 (en) | Image group processing and visualization | |
| CN106385640B (zh) | 视频标注方法及装置 | |
| US10354402B2 (en) | Image processing apparatus and image processing method | |
| US8917957B2 (en) | Apparatus for adding data to editing target data and displaying data | |
| CN110866497B (zh) | 基于点线特征融合的机器人定位与建图方法和装置 | |
| US20150310617A1 (en) | Display control device and display control method | |
| CN110956131B (zh) | 单目标追踪方法、装置及系统 | |
| US10998007B2 (en) | Providing context aware video searching | |
| US8149281B2 (en) | Electronic device and method for operating a presentation application file | |
| US20180302553A1 (en) | Camera system and image-providing method | |
| US9569661B2 (en) | Apparatus and method for neck and shoulder landmark detection | |
| US10930068B2 (en) | Estimation apparatus, estimation method, and non-transitory computer-readable storage medium for storing estimation program | |
| TWI571753B (zh) | 用於產生一影像之一互動索引碼圖之電子計算裝置、其方法及其電腦程式產品 | |
| WO2022123929A1 (ja) | 情報処理装置及び情報処理方法 | |
| CN115731567A (zh) | 基于凸包缺陷点的手势识别方法、装置、设备和存储介质 | |
| JP5735126B2 (ja) | システムおよび筆跡検索方法 | |
| Yousefi et al. | 3D hand gesture analysis through a real-time gesture search engine | |
| CN115731302A (zh) | 基于消失点估计相机外参的测距方法、系统、设备和介质 |