TW201519161A - 電子裝置及其影片物體移動軌跡修正方法 - Google Patents

Abstract

本發明提供一種電子裝置及其影片物體移動軌跡修正方法。該電子裝置包含一影片供應單元及一處理單元。該一影片供應單元用以供應一影片。該處理單元用以：擷取該影片的一影片片段，該影片片段包含複數個連續畫面，該等連續畫面中包含一共同物體；計算至少一曲線及其一控制點，該至少一曲線對應至該共同物體於該等連續畫面中的一移動軌跡；以及經由該控制點調整該至少一曲線以修正該移動軌跡。該影片物體移動軌跡修正方法用於該電子裝置以實現上述操作。

Description

電子裝置及其影片物體移動軌跡修正方法

本發明關於一種電子裝置及其影片處理方法。更具體而言，本發明關於一種電子裝置及其影片物體移動軌跡修正方法。

近年來，各式各樣的電子裝置，例如電視、電腦、行動電話、相機、攝影機等等，普遍都具有針對影片進行處理的功能。舉例而言，上述電子裝置普遍可被用以拍攝影片、播放影片、剪輯影片等等。

在某些應用情境下，影片物體追蹤功能可使電子裝置具有更高的附加價值。舉例而言，在互動式影片的情境下，若電子裝置具有影片物體追蹤功能，則可針對物體在影片中各個畫面所出現的位置進行估測，進而對在各該畫面中出現的該物體嵌入特定資訊或連結。如此，當使用者觀賞該影片時，將可透過直接點選出現於該影片中的物體而獲得對應至該物體的特定資訊或連結。在此應用情境下，具有影片物體追蹤功能的電子裝置，不但可讓使用者節省另外使用網際網路搜尋的時間，也利於廠商商品推廣及活動行銷。

影片物體追蹤技術的一大關鍵在於如何估測出物體在影片中的移動軌跡，也就是如何估測出該物體在影片中的變化（包括物體形狀以及物體位置的變化）。因應各種估測演算法的精進，傳統的影片物體追蹤技術均可大致上估測出物體在影片中的移動軌跡。然而，不管採用的估測演算法的精確度有多高，也難免會因為估測誤差的累積而使得估測的影片物體移動軌跡產生偏差。對此，傳統的影片物體追蹤技術尚無有效的機制可針對其所估測的影片物體移動軌跡的偏差進行修正。

有鑑於此，如何針對傳統的影片物體追蹤技術所估測的影片物體移動軌跡的偏差進行改善，確為本發明所屬技術領域亟需解決的問題。

本發明的主要目的在於針對傳統的影片物體追蹤技術所估測的影片物體移動軌跡的偏差進行改善。

為達上述目的，本發明提供了一種電子裝置。該電子裝置包含一影片供應單元及一電性連接至該影片供應單元的處理單元。該影片供應單元用以供應一影片。該處理單元用以：擷取該影片的一影片片段，該影片片段包含複數個連續畫面，該等連續畫面中包含一共同物體；計算至少一曲線及其一控制點，該至少一曲線對應至該共同物體於該等連續畫面中的一移動軌跡；以及經由該控制點調整該至少一曲線以修正該移動軌跡。

為達上述目的，本發明另提供了一種用於一電子裝置的影片物體移動軌跡修正方法。該電子裝置包含一影片供應單元及一電性連接至該影片供應單元的處理單元。該影片物體移動軌跡修正方法包含下列步驟：

（a）由該影片供應單元供應一影片；
（b）由該處理單元擷取該影片的一影片片段，該影片片段包含複數個連續畫面，該等連續畫面中包含一共同物體；
（c）由該處理單元計算至少一曲線及其一控制點，該至少一曲線對應至該共同物體於該等連續畫面中的一移動軌跡；以及
（d）由該處理單元經由該控制點調整該至少一曲線以修正該移動軌跡。

具體而言，本發明提供一種電子裝置及其影片物體移動軌跡修正方法。透過上述影片供應單元與處理單元的運作，該電子裝置及其影片物體移動軌跡修正方法可把一共同物體於一影片片段中的一移動軌跡擬合為至少一曲線，並透過調整該至少一曲線的控制點來修正該移動軌跡。據此，當該移動軌跡產生偏差，該電子裝置可直接透過調整該至少一曲線而對該移動軌跡進行微調。由於上述移動軌跡的估測可以透過任何一個傳統的影片物體追蹤技術來實現，故本發明可有效地針對傳統的影片物體追蹤技術所估測的影片物體移動軌跡的偏差進行改善。

於參閱圖式及隨後描述的實施方式後，本發明所屬技術領域中具有通常知識者便可更瞭解本發明的技術手段及部分實施態樣。

1‧‧‧電子裝置

11‧‧‧影片供應單元

13‧‧‧處理單元

131‧‧‧影片切割模組

133‧‧‧曲線計算模組

135‧‧‧曲線調整模組

137‧‧‧物體移動軌跡界定模組

15‧‧‧顯示單元

17‧‧‧使用者介面單元

20‧‧‧影片

22‧‧‧影片片段

24‧‧‧影片物體移動軌跡

40‧‧‧曲線

42‧‧‧控制點

60‧‧‧第一使用者輸入

62‧‧‧第二使用者輸入

F1‧‧‧第一畫面

F2‧‧‧第二畫面

F3‧‧‧第三畫面

F4‧‧‧第四畫面

B1‧‧‧第一盒框

B2‧‧‧第二盒框

B3‧‧‧第三盒框

B4‧‧‧第四盒框

C1‧‧‧第一曲線

C2‧‧‧第二曲線

P1‧‧‧第一控制點

P2‧‧‧第二控制點

S21、S23、S25、S27‧‧‧步驟

第1圖為本發明第一實施例中所述的電子裝置1的一結構示意圖；

第2A圖為本發明第一實施例中所述的影片物體移動軌跡的一示範圖；

第2B圖為本發明第一實施例中所述的對應至該影片物體移動軌跡的曲線的一示範圖；

以及第3圖為本發明第二實施例中所述的影片物體移動軌跡修正方法的一示意圖。

本發明的內容可透過以下實施例來解釋，但本發明的實施例並非用以限制本發明必須在如以下實施例中所述的任何特定的環境、應用或方式方能實施。因此，以下實施例的說明僅在於闡釋本發明，而非用以限制本發明。在以下實施例及圖式中，與本發明非直接相關的元件已省略而未繪示，而圖式中各元件之間的尺寸比例的繪示僅為便於理解，而非用以限制為實際的實施比例。

本發明的第一實施例用以闡述一種電子裝置，且第1圖為該電子裝置的結構示意圖。如第1圖所示，電子裝置1包含一影片供應單元11與一處理單元13，並可選擇地包含一顯示單元15及/或一使用者介面單元17。電子裝置1可以是但不限於：電視、電腦、行動電話、相機、攝影機等等。影片供應單元11、顯示單元15與使用者介面單元17皆與處理單元13電性連接，且各單元彼此可相互通訊及傳遞訊息。

影片供應單元11可包含一影片擷取器，例如攝影機，用以擷取一影片20並供應影片20給處理單元13。影片供應單元11也可包含一儲存器，用以儲存影片20並供應影片20給處理單元13。於其他實施例，影片供應單元11亦可以透過其他實施態樣來提供影片20給處理單元13。

處理單元13用以擷取影片20的一影片片段22。影片片段22可包含複數個連續畫面，且該等連續畫面中包含一共同物體。處理單元13更用以計算至少一曲線40（即一條或多條曲線40）及其一控制點42（即一個或多個控制點42）。至少一曲線40對應至該共同物體於該等連續畫面中的一移動軌跡24。處理單元13還用以經由控制點42調整至少一曲線40以修正移動軌跡24。

顯示單元15可包含一螢幕，例如觸控式螢幕或非觸控式螢幕，用以同步顯示至少一曲線40及移動軌跡24。由於至少一曲線40與移動軌跡24是相對應的，故使用者可透過顯示單元15觀測到至少一曲線40及移動軌跡24彼此之間的互動關係。舉例而言，當處理單元13經由控制點42調整至少一曲線40時，使用者可同時觀測至少一曲線40被調整的幅度以及移動軌跡24被修正的幅度。

為了易於說明，本實施例的處理單元13可包含一影片切割模組131、一曲線計算模組133、一曲線調整模組135及一物體移動軌跡界定模組137。於其他實施例，處理單元13亦可僅為單一個處理器，並執行上述各個模組的相對應操作。

如第1圖所示，自影片供應單元11接收影片20之後，影片切割模組131將擷取影片20的一影片片段22。如同前述，影片片段22可包含複數個連續畫面，且該等連續畫面中包含一共同物體。影片切割模組131的目的在於確保擷取出的影片片段22所包含的複數個連續畫面中具有至少一共同物體。因此，影片片段22可以是整段影片20，也可以是影片20中的任一段片段。

舉例而言，影片切割模組131可根據拍攝影片20的畫面鏡頭是否切換，判斷畫面是否連續。若畫面不連續，則影片切割模組131會切割影片20，並擷取出包含複數個連續畫面的影片片段22。於其他實施例，處理單元13亦可不具有影片切割模組131，且影片供應單元11直接傳送影片20至曲線計算模組133。

上述共同物體並不限定為特定物體，可以是有生命的物體也可以是無生命的物體，例如可以是人、動物、飾品、車子、樹木、建築物等等。另外，上述共同物體表示在影片片段22所包含的各個畫面之中皆有一相同物體出現。

在影片切割模組131擷取影片片段22之後，物體移動軌跡界定模組137可用以界定該共同物體於影片片段22包含的複數個連續畫面中的移動軌跡24。物體移動軌跡界定模組137可根據任何一種傳統的影片物體追蹤技術，例如平均位移演算法（Mean Shift Algorithm）、連續適應性平均位移演算法（Continuously Adaptive MeanShift Algorithm）、整體追蹤演算法（Ensemble Tracking Algorithm）等等，以界定上述移動軌跡24。

在影片切割模組131擷取影片片段22以及物體移動軌跡界定模組137界定出移動軌跡24之後，曲線計算模組133可用以計算至少一曲線40（即一條或多條曲線40）及其一控制點42（即一個或多個控制點42）。詳言之，曲線計算模組133可根據任何一種傳統的曲線擬合（Curve Fitting）技術，例如最小平方演算法（Least Squares Algorithm）、貝葉斯擬合演算法（Bayesian Fitting Algorithm）等等，計算至少一曲線40及其控制點42。

透過曲線計算模組133，電子裝置1可把該共同物體於影片片段22包含的複數個連續畫面中的移動軌跡24擬合為至少一曲線40。換言之，移動軌跡24與至少一曲線40彼此相互受牽制，也就是其中一個被變動，另一個將跟著變動。因此，曲線調整模組135可經由控制點42來調整至少一曲線40，藉以修正移動軌跡24。

以下將以第2A圖與第2B圖作為一示範例，進一步說明曲線計算模組133、曲線調整模組135以及物體移動軌跡界定模組137的上述運作。第2A圖為移動軌跡24的一示範圖，而第2B圖為對應至移動軌跡24的至少一曲線40的一示範圖。於該示範例中，處理單元13的物體移動軌跡界定模組137經由一盒框（bonding box）界定該共同物體位於影片片段22所包含的各該連續畫面中的位置。該等盒框於該等連續畫面中的變化（包括形狀以及位置的變化）形成移動軌跡24。

如第2A圖所示，影片片段22包含複數個連續畫面，且該等連續畫面包含一第一畫面F1、一第二畫面F2、一第三畫面F3及一第四畫面F4。該等連續畫面的數量並非用以限制本發明。第一畫面F1、第二畫面F2、第三畫面F3、第四畫面F4各自包含一共同物體（未繪示），且分別被一第一盒框B1、一第二盒框B2、一第三盒框B3及一第四盒框B4所框選。

根據第一盒框B1與第二盒框B2之間的變化可知，該共同物體於第一畫面F1與第二畫面F2之間僅有位置的變化，而沒有形狀的變化。根據第二盒框B2與第三盒框B3之間的變化可知，該共同物體於第二畫面F2與第三畫面F3之間除了有位置的變化，還有形狀的變化。根據第三盒框B3與第四盒框B4之間的變化可知，該共同物體於第三畫面F3與第四畫面F4之間除了有位置的變化，還有形狀的變化。換言之，自第一盒框B1、第二盒框B2、第三盒框B3到第四盒框B4的變化，將形成該共同物體在第一畫面F1、第二畫面F2、第三畫面F3、第四畫面F4之間的移動軌跡24。

為了簡少界定盒框的複雜度，定義第一盒框B1、第二盒框B2、第三盒框B3及第四盒框B4時，亦可選擇地僅界定呈現對角的一第一端點與一第二端點。根據呈現對角的二個端點推知各該盒框的涵蓋範圍可為本領域具有通常知識者輕易思及，於此不多贅述。如第2A圖所示，第一盒框B1、第二盒框B2、第三盒框B3及第四盒框B4的第一端點以實心黑點表示，而第一盒框B1、第二盒框B2、第三盒框B3及第四盒框B4的第二端點以空心黑點表示。

參照第2A圖及第2B圖，位於第一盒框B1、第二盒框B2、第三盒框B3及第四盒框B4中的複數個第一端點（即各個盒框上的實心黑點）可形成移動軌跡24的一第一移動軌跡，而位於第一盒框B1、第二盒框B2、第三盒框B3及第四盒框B4中的該等第二端點（即各個盒框上的空心黑點）可形成移動軌跡24的一第二移動軌跡。

在此範例中，曲線計算模組133計算一對應至該第一移動軌跡的第一曲線C1及其一第一控制點P1與一對應至該第二移動軌跡的第二曲線C2及其一第二控制點P2。換言之，曲線計算模組133將移動軌跡24的該第一移動軌跡擬合為第一曲線C1，並將移動軌跡24的該第二移動軌跡擬合為第二曲線C2。

當移動軌跡24產生偏差或不夠精確時，曲線調整模組135可透過第一控制點P1調整第一曲線C1以修正移動軌跡24的該第一移動軌跡，並透過第二控制點P2調整第二曲線C2以修正移動軌跡24的該第二移動軌跡。如此，曲線調整模組135可有效地修正移動軌跡24，藉以消除移動軌跡24的偏差。經由控制點去調整曲線的方式可為本領域具有通常知識者所輕易思及，於此不多贅述。

在電子裝置1包含使用者介面單元17的情況下，處理單元13的物體移動軌跡界定模組137可根據來自使用者介面單元17的一第一使用者輸入60，經由該盒框界定該共同物體於各該連續畫面中的位置。舉例而言，使用者可透過顯示單元15（例如觸控式螢幕），或者透過一滑鼠、一鍵盤及各種輸入裝置（未繪示），產生第一使用者輸入60。第一使用者輸入60可對應使用者於各該連續畫面中手動框選出該共同物體的位置的動作（若該共同物體在該連續畫面中的位置未被一盒框所界定）、或對應至使用者於各該連續畫面中手動調整已框選該共同物體的盒框的動作（若該共同物體在該連續畫面中的位置已被一盒框所界定）。接著，處理單元13的物體移動軌跡界定模組137將根據第一使用者輸入60，經由盒框界定該共同物體於各該連續畫面中的位置。

另一方面，處理單元13的曲線調整模組135亦可根據來自使用者介面單元17的一第二使用者輸入62，經由控制點42調整至少一曲線40以修正移動軌跡24。舉例而言，使用者可透過顯示單元15（例如觸控式螢幕），或者透過一滑鼠、一鍵盤及各種輸入裝置（未繪示），移動控制點42的位置。然後，使用者介面單元17將根據使用者對於控制點42造成的位移量，產生第二使用者輸入62。接著，處理單元13的曲線調整模組135將根據來自使用者介面單元17的第二使用者輸入62，調整至少一曲線40以修正移動軌跡24。

本發明的第二實施例用以闡述為一種用於一電子裝置的影片物體移動軌跡修正方法。本實施例所述的影片物體移動軌跡修正方法可用於第一實施例所述的電子裝置1。因此，本實施例所述的電子裝置可視為第一實施例中所述的電子裝置1。本實施例所述的電子裝置可包含一影片供應單元與一電性連接至該影片供應單元的處理單元。該處理單元可包含一影片切割模組、一曲線計算模組及一曲線調整模組。

第3圖為該影片物體移動軌跡修正方法的一示意圖。如第3圖所示，該影片物體移動軌跡修正方法包含步驟S21、步驟S23、步驟S25及步驟S27，而各個步驟的排列順序並非用以限制本發明。於步驟S21中，由該影片供應單元供應一影片。於步驟S23中，由該影片切割模組擷取該影片的一影片片段，該影片片段包含複數個連續畫面，該等連續畫面中包含一共同物體。於步驟S25中，由該曲線計算模組計算至少一曲線及其一控制點，該至少一曲線對應至該共同物體於該等連續畫面中的一移動軌跡。於步驟S27中，由該曲線調整模組經由該控制點調整該至少一曲線以修正該移動軌跡。

於本實施例的一範例中，該處理器可更包含一物體移動軌跡界定模組，且該影片物體移動軌跡修正方法可選擇地更包含一移動軌跡界定步驟：由該物體移動軌跡界定模組經由一盒框界定該共同物體於各該連續畫面中的位置，其中該盒框於該等連續畫面中的變化形成該移動軌跡。

於該範例中，當各該盒框具有呈現對角的一第一端點與一第二端點，該等第一端點與該等第二端點於該等連續畫面中的位移分別形成該移動軌跡的一第一移動軌跡與一第二移動軌跡。此時，於步驟S25中，由該曲線計算模組計算一第一曲線及其一第一控制點與一第二曲線及其一第二控制點，其中該第一曲線與該第二曲線分別對應至該第一移動軌跡與該第二移動軌跡。另於步驟S27中，由該曲線調整模組經由該第一控制點與該第二控制點分別調整該第一曲線與該第二曲線以修正該移動軌跡。

於該範例中，該電子裝置可選擇性地更包含一電性連接至該處理單元的使用者介面單元。此時，該移動軌跡界定步驟為下列步驟：由該物體移動軌跡界定模組根據來自該使用者介面單元的一第一使用者輸入，經由該盒框界定該共同物體於各該連續畫面中的位置。可選擇地，於步驟S27中，由該曲線調整模組根據來自該使用者介面單元的一第二使用者輸入，經由該控制點調整該至少一曲線以修正該移動軌跡。

於本實施例的一範例中，該電子裝置更選擇地更包含一電性連接至該處理單元的顯示單元。此時，該影片物體移動軌跡修正方法可選擇地更包含一同步顯示步驟：由該顯示單元同步顯示該至少一曲線及該移動軌跡。

除了上述步驟，本實施例的影片物體移動軌跡修正方法更可包含對應至第一實施例中的電子裝置1所描述的所有操作的步驟及實現相對應的功能。由於所屬技術領域具有通常知識者可基於上述第一實施例的揭露內容而直接瞭解本實施例未揭露的步驟，於此不再贅述。

綜上所述，本發明提供了一種電子裝置及其影片物體移動軌跡修正方法。透過上述影片供應單元與處理單元的運作，該電子裝置及其影片物體移動軌跡修正方法可把一共同物體於一影片片段中的一移動軌跡擬合為至少一曲線，並透過調整該至少一曲線的控制點來修正該移動軌跡。據此，當該移動軌跡產生偏差，該電子裝置可直接透過調整該至少一曲線而對該移動軌跡進行微調。由於上述移動軌跡的估測可以透過任何一個傳統的影片物體追蹤技術來實現，故本發明可有效地針對傳統的影片物體追蹤技術所估測的影片物體移動軌跡的偏差進行改善。

上述實施例所闡述的內容僅用以例舉本發明的部分實施態樣，以及闡釋本發明的技術特徵，而非用以限制本發明的實質保護範疇。因此，任何熟悉本技術領域者可輕易完成的改變或均等性的安排均屬於本發明所主張的範圍，且本發明的權利保護範圍以申請專利範圍為準。

國內寄存資訊【請依寄存機構、日期、號碼順序註記】

國外寄存資訊【請依寄存國家、機構、日期、號碼順序註記】

S21、S23、S25、S27‧‧‧步驟

Claims (12)

1. 一種電子裝置，包含：
   　　一影片供應單元，用以供應一影片；以及
   　　一處理單元，電性連接至該影片供應單元，並包含：
   　　　　一影片切割模組，用以擷取該影片的一影片片段，該影片片段包含複數個連續畫面，該等連續畫面中包含一共同物體；
   　　　　一曲線計算模組，用以計算至少一曲線及其一控制點，該至少一曲線對應至該共同物體於該等連續畫面中的一移動軌跡；以及
   　　　　一曲線調整模組，用以經由該控制點調整該至少一曲線以修正該移動軌跡。
2. 如請求項1所述的電子裝置，其中該處理單元更包含一物體移動軌跡界定模組，該物體移動軌跡界定模組用以經由一盒框（bonding box）界定該共同物體於各該連續畫面中的位置，且該等盒框於該等連續畫面中的變化形成該移動軌跡。
3. 如請求項2所述的電子裝置，其中各該盒框具有呈現對角的一第一端點與一第二端點，該等第一端點與該等第二端點於該等連續畫面中的位移分別形成該移動軌跡的一第一移動軌跡與一第二移動軌跡；該曲線計算模組更計算一第一曲線及其一第一控制點與一第二曲線及其一第二控制點，該第一曲線及該第二曲線分別對應至該第一移動軌跡及該第二移動軌跡；以及該曲線調整模組更經由該第一控制點與該第二控制點分別調整該第一曲線及該第二曲線以修正該移動軌跡。
4. 如請求項2所述的電子裝置，更包含一電性連接至該處理單元的使用者介面單元，其中該物體移動軌跡界定模組根據來自該使用者介面單元的一第一使用者輸入，經由該盒框界定該共同物體於各該連續畫面中的位置。
5. 如請求項4所述的電子裝置，其中該曲線調整模組更根據來自該使用者介面單元的一第二使用者輸入，經由該控制點調整該至少一曲線以修正該移動軌跡。
6. 如請求項1所述的電子裝置，更包含一電性連接至該處理單元的顯示單元，其中該顯示單元用以同步顯示該至少一曲線及該移動軌跡。
7. 一種用於一電子裝置的影片物體移動軌跡修正方法，該電子裝置包含一影片供應單元與一電性連接至該影片供應單元的處理單元，該處理單元包含一影片切割模組、一曲線計算模組及一曲線調整模組，該影片物體移動軌跡修正方法包含下列步驟：
   　　（a）由該影片供應單元供應一影片；
   　　（b）由該影片切割模組擷取該影片的一影片片段，該影片片段包含複數個連續畫面，該等連續畫面中包含一共同物體；
   　　（c）由該曲線計算模組計算至少一曲線及其一控制點，該至少一曲線對應至該共同物體於該等連續畫面中的一移動軌跡；以及
   　　（d）由該曲線調整模組經由該控制點調整該至少一曲線以修正該移動軌跡。
8. 如請求項7所述的影片物體移動軌跡修正方法，其中該電子裝置更包含一物體移動軌跡界定模組，且該影片物體移動軌跡修正方法更包含下列步驟：
   　　（e）由該物體移動軌跡界定模組經由一盒框界定該共同物體於各該連續畫面中的位置，其中該等盒框於該等連續畫面中的變化形成該移動軌跡。
9. 如請求項8所述的影片物體移動軌跡修正方法，其中：
   　　各該盒框具有呈現對角的一第一端點與一第二端點，該等第一端點與該等第二端點於該等連續畫面中的位移分別形成該移動軌跡的一第一移動軌跡與一第二移動軌跡；
   　　步驟（c）為下列步驟：
   　　　　由該曲線計算模組計算一第一曲線及其一第一控制點與一第二曲線及其一第二控制點，其中該第一曲線與該第二曲線分別對應至該第一移動軌跡與該第二移動軌跡；以及
   　　步驟（d）為下列步驟：
   　　　　由該曲線調整模組經由該第一控制點與該第二控制點分別調整該第一曲線與該第二曲線以修正該移動軌跡。
10. 如請求項8所述的影片物體移動軌跡修正方法，其中：
    　　該電子裝置更包含一電性連接至該處理單元的使用者介面單元；以及
    　　步驟（e）為下列步驟：
    　　　　由該物體移動軌跡界定模組根據來自該使用者介面單元的一第一使用者輸入，經由該盒框界定該共同物體於各該連續畫面中的位置。
11. 如請求項10所述的影片物體移動軌跡修正方法，其中步驟（d）為下列步驟：
    　　由該曲線調整模組根據來自該使用者介面單元的一第二使用者輸入，經由該控制點調整該至少一曲線以修正該移動軌跡。
12. 如請求項7所述的影片物體移動軌跡修正方法，其中：
    　　該電子裝置更包含一電性連接至該處理單元的顯示單元；以及
    　　該影片物體移動軌跡修正方法更包含下列步驟：
    　　　　（f）由該顯示單元同步顯示該至少一曲線及該移動軌跡。