TW201739264A - 自動多媒體內容內嵌互動元件的方法與系統 - Google Patents

Abstract

一種自動多媒體內容內嵌互動元件的方法與系統，在方法中，透過一由電腦裝置實現的系統接收一多媒體內容，經解析得出其中影音特徵，系統內可儲存一比對表，比對表記錄用以比對影音特徵的觸發特徵資訊，如視頻特徵以及音頻特徵，與對應的互動事件。經比對各影音特徵與觸發特徵資訊，可以得出符合條件的多媒體內容的一或多個時間碼，並根據各時間碼對應內嵌一互動元件，以設定每個互動元件所關聯的互動事件，例如於終端裝置開啟網頁、執行軟體、顯示訊息或是啟始互動畫面，最後形成新的多媒體內容。

Description

自動多媒體內容內嵌互動元件的方法與系統

本發明為一種內嵌互動元件至多媒體內容的方法與系統，特別是一種根據多媒體內容與內容特徵自動內嵌互動元件的方法與系統。

在傳統觀看電視或影音內容的過程中，總是單向接收電視台或是影音內容供應者提供的內容，當觀看者看到有興趣的片段，比如想知道影音內容某個景點、人物、衣飾、物品的細節，需要花費心力去尋找，並沒有有效的方式得到相關資訊。

在習知技術中，若影音內容供應者要讓觀看者獲得特定資訊時，會以人工觀看影音內容，透過軟體手段以手動方式在需要產生額外資訊的位置，如某個時間片段，插入特定資訊，讓之後播放影音內容時，播放器會在播放影音內容時偵測到此特定資訊，將相關訊息播出。

本發明揭露書揭示一種內嵌互動元件至多媒體內容的方法與系統，可以透過偵測多媒體內容的特徵自動安排內嵌特定觸發資訊的時間碼，對應一時間段落，之後輸出內嵌有一或多個觸發資 訊的新的多媒體內容，可在之後播放多媒體內容時，可以根據此觸發資訊在安排的時間碼播出相關資訊。

根據實施方案之一，自動多媒體內容內嵌互動元件的方法的流程中，先接收一多媒體內容，經解析多媒體內容以得出其中影音特徵，再比對各影音特徵與觸發特徵資訊，能得出符合觸發特徵資訊的多媒體內容的一或多個時間碼。其中觸發特徵資訊為可為記載用以比對影音特徵的影片幀的視頻特徵，以及音頻特徵，每個時間碼對應內嵌一互動元件，並設定互動元件所關聯的互動事件，例如在終端裝置開啟網頁、執行軟體、顯示訊息或是啟始一互動畫面，經完成內嵌互動元件的多媒體內容，即輸出包括互動元件與所關聯互動事件的一新的多媒體內容。

在一實施例中，新的多媒體內容係輸出至一提供多媒體內容服務的影音內容服務平台，提供各終端裝置可以存取其中包括互動元件與所關聯互動事件的多媒體內容，當在終端裝置上播放多媒體內容時，播放軟體會偵測觸發特徵，在符合設定觸發特徵的時間碼啟動互動元件，並執行對應的互動事件。

在自動多媒體內容內嵌互動元件的系統的一實施例中，系統可為電腦系統所實現，其中軟體以及/或硬體實現的功能單元包括有解析多媒體內容以取得其中影音特徵的解析單元；比對各影音特徵與觸發特徵資訊的比對單元，可以得出符合觸發特徵資訊的多媒體內容的一或多個時間碼；一編輯單元，在此單元中，可於所得出符合觸發特徵資訊的各時間碼對應內嵌一互動元件，並設定互動元件所關聯的互動事件；再有一影音形成單元，係形成包括至少一互動元件與所關聯互動事件的新的多媒體內容。

系統另可包括一記憶單元，其中記錄比對影音特徵的視頻特徵以及/或音頻特徵以及對應的互動事件。

為了能更進一步瞭解本發明為達成既定目的所採取之技術、方法及功效，請參閱以下有關本發明之詳細說明、圖式，相信本 發明之目的、特徵與特點，當可由此得以深入且具體之瞭解，然而所附圖式僅提供參考與說明用，並非用來對本發明加以限制者。

11‧‧‧影片庫

12‧‧‧影音內容服務平台

10‧‧‧自動影音內容內嵌互動元件系統

101,102,103‧‧‧終端裝置

201‧‧‧解析單元

202‧‧‧比對單元

203‧‧‧編輯單元

204‧‧‧影音形成單元

205‧‧‧資料庫

30‧‧‧資料庫

60‧‧‧顯示螢幕

601‧‧‧跳出畫面

602‧‧‧行動裝置畫面

步驟S301~S317‧‧‧自動多媒體內容內嵌互動元件的流程

步驟S401~S413‧‧‧自動多媒體內容內嵌互動元件的流程

步驟S501~S507‧‧‧自動多媒體內容內嵌互動元件的流程

圖1顯示本發明自動多媒體內容內嵌互動元件的系統示意圖；圖2顯示本發明自動多媒體內容內嵌互動元件的系統功能方塊實施例圖；圖3顯示本發明自動多媒體內容內嵌互動元件的方法實施例流程圖之一；圖4顯示本發明自動多媒體內容內嵌互動元件的方法實施例流程圖之二；圖5顯示本發明自動多媒體內容內嵌互動元件的方法實施例流程圖之三；圖6顯示本發明自動多媒體內容內嵌互動元件的系統實施例圖。

為能自動處理影音內容而能內嵌特定事件，本發明揭露書提出一種自動影音內容內嵌互動元件的方法與系統，系統較佳由一電腦系統實現，透過此系統，輸入至此系統的多媒體內容可以根據需求自動內嵌可以觸發特定事件的互動元件，如一種標記，符合內嵌互動元件的片段例如特定畫面(視頻)、圖像、音頻、時間點等，使得播放此多媒體內容時，在每個內嵌有互動元件的時間碼將觸發所關聯的一或多個互動事件(interactive event)，在實施例中，互動事件如顯示QR碼(QR Code)，可以導向連結到一網頁(URL)上；互動事件亦可如顯示某物件資訊(商品)、商品販售資訊、廣告等，或是播出另一視頻或音頻、或無線訊號等。設 定互動事件時，更可包括設定一觸發模式，也就是設定如何觸發此事件的模式，包括直接顯示在顯示裝置上，或是透過顯示裝置的週邊裝置播出音頻訊號，或是透過一外部裝置執行互動事件。

圖1顯示本發明自動多媒體內容內嵌互動元件的系統示意圖。

在此系統示意圖中，其中為自動影音內容內嵌互動元件系統10，系統可由影片庫11輸入多媒體內容，經系統處理後，自動比對得到內嵌互動元件的時間碼，可以在多媒體內容中內嵌互動元件以及所要觸發執行的互動事件，最後形成一新的多媒體內容，則能輸出至影音內容服務平台12，作為提供終端裝置101,102,103存取使用的數位內容平台，讓使用者可以在播出此新的多媒體內容時，播出程式可在偵測到有互動元件時執行對應的互動事件，例如在終端裝置上開啟網頁、執行軟體、顯示訊息或是啟始互動畫面等。

圖2顯示本發明自動多媒體內容內嵌互動元件的系統功能方塊實施例圖。

此例中，系統為一電腦系統所實現的系統，其中的功能方塊係為執行某些功能的功能單元，係為由軟體以及/或硬體實現的功能單元，自動影音內容內嵌互動元件系統10一端連接影片庫11，並接收其中輸入的多媒體內容，而多媒體內容來源可不僅為影片庫11，並不排除如即時串流接收的影音內容、自特定電腦裝置輸入的影音內容。系統10一段連接影音內容服務平台12，例如透過網路將形成的新的多媒體內容傳送到影音內容服務平台12，提供各終端使用者觀看，並能在播放內容時從產生的互動事件獲得額外資訊。

根據實施例，自動影音內容內嵌互動元件系統10所執行的功能可以電腦裝置的軟體，或與軟體搭配實現，其中包括一解析單元201，係用以解析系統10所接收之一多媒體內容，以得出其中影音特徵。解析時，比如將多媒體內容解析得出每幀的資訊，包 括畫面資訊、音訊資訊，可以取得其中影像或是音訊的特徵。

系統中可設有一資料庫205，此為記錄系統資訊的儲存媒體，也可為一種記憶單元，其中記載用以比對解析多媒體內容得到的影音特徵的觸發特徵資訊，也是視頻特徵以及/或音頻特徵，而每個觸發特徵資訊對比關聯的某一互動事件，觸發特徵資訊與互動事件可以一比對表表示，並儲存在資料庫205(或記憶單元)中。

接著，系統以一比對單元202比對所解析得到的影音特徵與系統設定的各種觸發特徵資訊，以得出符合觸發特徵資訊的多媒體內容的一或多個時間碼。觸發特徵資訊為根據需求設定要觸發特定互動事件的畫面(視頻)、音頻的訊號，或是特定時間點。接著，系統設有一編輯單元203，以上所得出符合觸發特徵資訊可以對應一個互動事件，這可由系統預先設定完成，並可以前述方式以一比對表記錄，而此符合觸發特徵資訊的時間段落設為一時間碼，編輯單元203可對應內嵌一互動元件，並設定互動元件所關聯的互動事件。互動元件為一標記，形式上可為一個訊號資訊、一個畫面、一段聲音、一段文字、一個時間戳記，或是數位浮水印。

舉例來說，觸發特徵資訊為某一景點畫面，當自動於多媒體內容解析出各幀(frame)影像，經逐幀或影像片段的比對後，找到符合此景點畫面特徵的影像段落，能取得對應某個時間段落的時間碼(time code)，此時可以經過編輯內嵌互動元件，並設定當偵測到此互動元件時，產生一景點資訊、旅遊建議、關聯廣告內容等；若以音頻為例，如設定觸發特徵資訊為一歌曲片段，當自動於多媒體內容解析出其中影音片段的特徵，經音頻比對後，找到符合此歌曲片段的影音段落，亦能取得對應此段落的時間碼，此時內嵌互動元件，並設定可以產生相關音樂內容的資訊、購買資訊、關聯廣告等。另外，觸發特徵資訊可以設定為時間點，也就是讓使用者觀看多媒體內容達一時間時，透過所內嵌的互動元 件而啟動一互動的事件，例如跳出廣告訊息。

當完成以上根據觸發特徵資訊內嵌互動元件與設定互動事件後，影音形成單元204即重新編寫或編碼多媒體內容，形成包括至少一互動元件與所關聯互動事件的一新的多媒體內容。

在自動多媒體內容內嵌互動元件的方法流程中，如圖3所示之實施例，前述系統可於影片庫或特定來源輸入影音內容，如步驟S301；接著解析影音內容，如步驟S303，包括可以將影片解析得到每幀或影像片段的影像訊號，或是音訊中的聲音訊號或頻率；此時，可以取得每個視頻或音頻的影音特徵，如步驟S305。

影音特徵將逐幀或是每個影像片段比對系統所設定的觸發特徵，如前述事先設定根據需求設定要觸發特定互動事件的畫面(視頻)、音頻的訊號，或是特定時間點，如步驟S307；並判斷是否符合觸發特徵，如步驟S309。在比對觸發特定時，實施例之一係如流程所述，可比對資料庫30記載設定所要觸發的特定觸發特徵資訊，經比對符合後，即記錄一標記，可將此時的時間碼記載下來。其中各觸發特徵所對應的要觸發的互動事件的對照，可以一比對表形式記載在資料庫30或特定記憶裝置內。

比對步驟可以有多種方式，可以在播放多媒體內容時，以即時解析、比對與編輯，在每次得到符合的視頻或音頻時，或可包括時間資訊，立即內嵌關聯有特定互動事件的互動元件；另有方式是，系統先完整解析整個多媒體內容後，將所符合的影音片段的時間碼記錄下來，當多媒體內容全部完成解析並獲得符合觸發特徵的影音片段後，再一次根據各個時間碼內嵌互動元件於多媒體內容中。

在步驟S309的比對步驟中，若在即時解析、比對的流程並未有符合的影音片段，仍重複前述步驟S303等步驟；直到有符合觸發特徵資訊的影音片段時(是)，記錄符合的某個時間段落(時間碼)，即可如步驟S311，系統自動在此段落中內嵌互動元件；並在 此時對照所符合的觸發特徵資訊而設定所關聯的互動事件，也就是在一實施例中為設定互動元件所關聯的互動事件為於一終端裝置開啟網頁、執行軟體、顯示訊息或是啟始互動畫面(例如：投票、問卷、觀眾回饋)等，如步驟S313。在步驟S313中，在設定關聯互動事件時，可以再次存取資料庫30，設定此時符合的觸發特徵所對應的互動事件。

步驟繼續判斷是否完成整個多媒體內容內嵌互動元件的動作，如步驟S315；若尚未完成，仍持續重複步驟S303等步驟；若已完成，表示可以輸出新的多媒體內容，如步驟S317。

在圖4中所示的方法實施例流程圖中，此例列舉最後形成的多媒體內容將輸出至影音服務平台。

在此例中，表示可自特定影音來源輸入影音內容(步驟S401)，並自動以軟體或演算法手段解析影音內容(步驟S403)，以得出影音內容中之各幀特徵，或各段音頻特徵(步驟S405)，此處系統將可執行特定影音處理技術，以取得每幀或是影像片段的影像特徵，或是取得每個音頻特徵，皆可參考相關技術領域的習知知識，並不在此贅述。

系統繼續比對已經事先根據特定需求設定的觸發特徵資訊與所解析得到的影音特徵，如步驟S407，取得符合特徵的段落，並取得符合觸發特徵資訊的多媒體內容的一或多個時間碼。其中所述之特定需求可以根據多媒體內容的屬性事先設定其中需要內嵌互動元件的影音特徵。舉例來說，若多媒體內容涉及生態教學，其中需要內嵌互動元件的觸發特徵(視頻特徵、音頻特徵)可以為各種生物出現的畫面(植物、動物)，或是特定生物產生的聲音(不同種類鳥叫、動物吼叫等)。當比對後取得符合觸發特徵資訊，即於該段落(涵蓋某個片段)內嵌觸發事件的互動元件(步驟S409)，另有實施例可以在設定互動元件時更包括設定一觸發模式，最後形成新的影音內容(步驟S411)，並輸出至影音服務平台 (步驟S413)。

觸發模式的設定包括可以由系統端設定觸發特定互動事件的方式，當互動元件所關聯的互動事件為開啟網頁、執行軟體、顯示訊息或是啟始互動畫面進行一些與觀眾的互動時，系統可以決定相關訊息顯示在終端裝置顯示器上的某個位置、大小、表示這個訊息的特效、播放音頻的音量等，且不限於這些方式。甚至在多螢(multi-screen)的環境中可決定是否可以同步在特定行動裝置上。

當使用者端以終端裝置自特定影音服務平台上以一播放軟體播放影音內容，播放過程由播放軟體持續取得影音資訊，比對是否有互動元件，若有互動元件，即觸發一互動事件，相關實施例如圖5所示之本發明自動多媒體內容內嵌互動元件的方法流程圖。

在此實施例中，終端裝置播放影音內容(步驟S501)，並持續偵測互動元件，當根據影音特徵偵測到有內嵌的互動元件時(步驟S503)，即觸發互動事件(步驟S505)，此時，可以根據特定觸發模式執行此互動事件，包括直接顯示訊息在終端裝置顯示器上(步驟S507)。

圖6顯示本發明自動多媒體內容內嵌互動元件的系統實施例圖。

此例顯示有一終端裝置的顯示螢幕60，當在觀看已經內嵌有互動元件的多媒體畫面時，其中播放程式持續偵測當中互動元件，當偵測到有互動元件，即根據設定的觸發模式將互動事件顯示或播放出來，如此例可以跳出畫面601顯示相關訊息，如顯示特定資訊、畫面、影片、廣告內容等；另一可能的觸發模式可讓使用者以另一行動裝置畫面602中觸發顯示此互動事件。

其他互動事件包括提供連接某網頁的訊息，如QR Code，可讓觀看者以行動裝置掃描此QR code，以導向特定網址查詢資料，其他還有可以跳出廣告、商品資訊，其他關聯影音內容等。系統 端或是多媒體內容提供者亦可以透過此互動事件進一步與觀眾進行互動，例如提出特定議題進行投票、意見回饋等。

綜上所述，本發明提出一種可以自動根據事先設定好的觸發特徵資訊而內嵌互動元件的相關方法與系統，讓系統商可以自動根據事先設定的需要將特定訊息內嵌於多媒體內容中，取代傳統單向觀看的方式，以及人為設定簡單資訊時所耗費的人力與時間，且本發明更提出更多樣性的互動模式，其中可以根據符合需求的影音片段自動內嵌可以觸發特定事件的互動元件，讓觀看者可以方便取得關聯影音內容的額外資訊，特別是可以達到互動與廣告的效果。

本發明之較佳可行實施例，非因此即侷限本發明之專利範圍，故舉凡運用本發明說明書及圖示內容所為之等效結構變化，均同理包含於本發明之範圍內，合予陳明。

11‧‧‧影片庫

10‧‧‧自動影音內容內嵌互動元件系統

201‧‧‧解析單元

202‧‧‧比對單元

203‧‧‧編輯單元

204‧‧‧影音形成單元

205‧‧‧資料庫

12‧‧‧影音內容服務平台

Claims (10)

1. 一種自動多媒體內容內嵌互動元件的方法，包括：接收一多媒體內容；解析該多媒體內容，以得出其中影音特徵；比對各影音特徵與觸發特徵資訊，得出符合該觸發特徵資訊的該多媒體內容的一或多個時間碼；各時間碼對應內嵌一互動元件，並設定該互動元件所關聯的互動事件；以及輸出包括至少一互動元件與所關聯互動事件的一新的多媒體內容。
2. 如請求項1所述的自動多媒體內容內嵌互動元件的方法，其中該多媒體內容中的影音特徵包括該多媒體內容中影片幀的視頻特徵。
3. 如請求項1所述的自動多媒體內容內嵌互動元件的方法，其中該多媒體內容中的影音特徵包括該多媒體內容中音頻特徵。
4. 如請求項1所述的自動多媒體內容內嵌互動元件的方法，其中設定該互動元件所關聯的互動事件為開啟一網頁、執行一軟體、顯示一訊息或是啟始一互動畫面。
5. 如請求項4所述的自動多媒體內容內嵌互動元件的方法，其中設定該互動元件更包括設定一觸發模式。
6. 如請求項1至5其中之一所述的自動多媒體內容內嵌互動元件的方法，其中比對該影音特徵的觸發特徵資訊為視頻特徵以及/或音頻特徵，與各觸發特徵資訊對應的互動事件儲存於一比對表中。
7. 如請求項1至5其中之一所述的自動多媒體內容內嵌互動元件的方法，其中該新的多媒體內容係輸出至一提供多媒體內容服務的影音內容發佈平台。
8. 一種自動多媒體內容內嵌互動元件的系統，為一電腦系統所實現的系統，該系統中由一軟體以及/或硬體實現的功能單元包括：一解析單元，係解析該系統所接收之一多媒體內容，以得出其中影音特徵；一比對單元，用以比對各影音特徵與觸發特徵資訊，得出符合該觸發特徵資訊的該多媒體內容的一或多個時間碼；一編輯單元，係於所得出符合該觸發特徵資訊的各時間碼對應內嵌一互動元件，並設定該互動元件所關聯的互動事件；以及一影音形成單元，係形成包括至少一互動元件與所關聯互動事件的一新的多媒體內容。
9. 如請求項8所述的自動多媒體內容內嵌互動元件的系統，更包括一記憶單元，其中儲存一比對表，該比對表記錄比對該影音特徵的視頻特徵以及/或音頻特徵，以及所對應的互動事件。
10. 如請求項8或9所述的自動多媒體內容內嵌互動元件的系統，其中設定該互動元件所關聯的互動事件為於一終端裝置開啟一網頁、執行一軟體、顯示一訊息或是啟始一互動畫面。