TWI407322B - 多媒體辨識系統與方法，及其應用之多媒體客製化方法 - Google Patents

Description

多媒體辨識系統與方法，及其應用之多媒體客製化方法

本發明係有關於一種多媒體辨識方法與系統，尤其是指一種利用辨識結果來實施多媒體客製化之方法。

現今數位影音多媒體的技術蓬勃發展，不管是在資訊分享或是娛樂的方面，多媒體資料幾乎是必定會被應用來作資訊分享或是娛樂之用。而一般影音多媒體資料，如歌曲音樂錄影帶，通常都是由唱片公司授權製作公司，將歌曲、字幕、以及影片圖片製作成音樂錄影帶，因此其內容不易客製化，無法滿足各種客戶因時因地而異的需求。

習知的多媒體資料，如音樂錄影帶，其顯示播放的影片內容、圖片內容、字幕和聲音等資料都是既定的，使用者要依照其需求作資料內容之修改，便要自行搜尋所需之圖片、影片、字幕，並用軟體自行拼貼組合，以產生符合需要之多媒體資料，顯得有些麻煩。

因此，習知技術確實有可改善之處，並有其改進之必要。

有鑑於此，本發明所要解決的技術問題在於，配合自行開發之多媒體資料辨識的機制，自動找尋並提供對應於多媒體資料(如音樂錄影帶或各式的音樂檔案，如古典樂曲、流行歌曲等等)的一些多媒體素材，像是圖片、影片、歌曲字幕等給使用者進行後續編輯，讓使用者得以依據其需求作多媒體資料的客製化編輯，並依需求作該多媒體資料的應用。

為了達到上述目的，根據本發明的一方案，提供一種多媒體辨識系統，包含有一資料擷取單元、一資料辨識單元、以及一波形特徵資料庫。其中，資料擷取單元是用來擷取欲辨識之一多媒體資料，像是音樂歌曲或是音樂錄影帶等，而耦接於資料擷取單元的資料辨識單元中又包含有一聲音波形轉換單元、一波形特徵擷取單元、以及一波形特徵比對單元，用來將欲辨識的多媒體資料作聲音波形資料的轉換、波形特徵的擷取、波形特徵的分析以及識別比對。另外，波形特徵資料庫則耦接於資料辨識單元，儲存有相對應於至少一已知多媒體資料的至少一已知波形特徵。

而根據本發明的另一方案，提供一種多媒體辨識方法，包含有：將一多媒體資料的一聲音資料轉換成一波形資料，然後擷取波形資料的一波形特徵，像是波形的峰值位置等，接著再將波形特徵與相對應於至少一已知多媒體資料的至少一已知波形特徵作相似度的比對，而依據比對的結果即可辨識該多媒體資料。

另外，根據本發明的又一方案，提供一種應用上述多媒體辨識方法之多媒體客製化方法，更包含有：依據已辨識之該多媒體資料，讀取相對應於已辨識多媒體資料的至少一多媒體素材，並且傳送給使用者作編輯，最後，接收使用者對多媒體資料的編輯，如圖片影片變更、聲音調整、字幕編輯、檔案格式轉換，以及傳送多媒體資料到使用者指定之電子裝置。

藉由擷取多媒體資料聲音波形的特徵，來辨識該多媒體資料，並自動找尋與該多媒體資料相關之圖片、影片、歌曲字幕等多媒體素材，傳送給使用者作編輯，讓使用者得以依據其需求作多媒體資料的客製化編輯，並依需求作該多媒體資料的應用。

以上之概述與接下來的實施例，皆是為了進一步說明本發明之技術手段與達成功效，然所敘述之實施例與圖式僅提供參考說明用，並非用來對本發明加以限制者。

透過分析比對多媒體資料之聲音波形的特徵，來辨識該多媒體資料，並找尋與該多媒體資料相關之多媒體素材，提供給使用者作編輯，讓使用者得以客製化編輯該多媒體資料，且能夠將該多媒體資料作更進一步之應用。

請參閱第一圖，為多媒體辨識系統10的一種實施例之方塊圖，包含有一資料擷取單元11、一資料辨識單元13、以及一波形特徵資料庫15。其中資料擷取單元11是用來擷取欲辨識之多媒體資料，例如當使用者用多媒體播放器播放一多媒體資料(如流行歌曲的音樂影片)時，資料擷取單元11便擷取該多媒體資料作為欲辨識之多媒體資料，傳至資料辨識單元13作後續的辨識動作。

該資料辨識單元13耦接於資料擷取單元11，是透過分析比對所接收到之多媒體資料的聲音波形，來辨識該多媒體資料，其中包含有一聲音波形轉換單元131，是用來把多媒體資料的聲音資料轉換成波形資料(例如將原本是MP3格式之聲音資料，轉換成WAV格式的波形資料)，並傳送到波形特徵擷取單元133。然後波形特徵擷取單元133則是用來擷取其所接收到之波形資料的一波形特徵，像是擷取聲音波形的峰值在波形資料中之位置等等，並將該多媒體資料的波形特徵傳送到波形特徵比對單元135。

而波形特徵比對單元135接收到從波形特徵擷取單元133傳來之該波形特徵後，便從波形特徵資料庫15中讀取相對應於至少一已知多媒體資料的至少一已知波形特徵151，並將該些已知波形特徵151一一與該波形特徵作相似度比較，判斷出最相似者，即可辨識該多媒體資料。相似度比較的方式可以是計算已知波形特徵151與欲辨識之波形特徵之間的漢明距離(Hamming distance)，找出與欲辨識的波形特徵的漢明距離最小之已知波形特徵151，而其所對應之已知多媒體資料即是辨識的結果。

漢明距離(Hamming distance)代表的是兩等長字元串列所對應位置之字元中，不同字元的個數，因此若漢明距離為0，代表兩等長字元串列完全相同，而若漢明距離為2，則代表兩等長字元串列中，有二個對應位置之字元不同，依此類推。所以漢明距離越小，即代表兩等長字元串列越相似。

請參閱第二圖，為多媒體辨識方法的一種實施例之流程圖，配合第一圖作說明，步驟包含有：聲音波形轉換單元131將一多媒體資料(例如流行歌曲的音樂錄影帶等有固定聲音資料的多媒體資料)的一聲音資料轉換成一波形資料(S201)，並將波形資料傳送到波形特徵擷取單元133。接著波形特徵擷取單元133擷取波形資料的一波形特徵(S203)，像是波形峰值之位置等，並將波形特徵傳送到波形特徵比對單元135。

接著，波形特徵比對單元135便從波形特徵資料庫15中讀取相對應於至少一已知多媒體資料的至少一已知波形特徵151，並將該些已知波形特徵151一一與波形特徵作比對(S205)，而比對的方式可以是計算該波形特徵與各個已知波形特徵151之間的漢明距離等。最後，資料辨識單元13就依據波形特徵比對單元135的比對結果，來辨識多媒體資料(S207)，如判斷該多媒體資料，相同於與該波形特徵的漢明距離最小之已知波形特徵151，所對應的已知多媒體資料。

舉例來講，當多媒體辨識系統10接收到的欲辨識之多媒體資料，為歌手伍佰的流行歌曲「你是我的花朵」之音樂錄影帶，其辨識的方式就是先利用聲音波形轉換單元131將該歌曲開頭一段長度(比如說30秒)的聲音資料轉換成WAV檔案(波形資料)，以準備進行波形特徵的擷取。

接著透過波形特徵擷取單元133，擷取出該段WAV檔案的波形特徵，例如說，將該波形資料分成四個區塊，把各個區塊波形最大值的位置記錄下來，並轉換成一數位序列以進行比對。然後再利用波形特徵比對單元135，將帶鑑定之聲音波形特徵之數位序列，與波形特徵資料庫15中，已經建檔之各個已知多媒體檔案之已知波形特徵151的數位序列，進行漢明運算，計算出其間之漢明距離。

算出欲辨識之波形特徵與各個已知波形特徵151的漢明距離後，多媒體辨識系統10即會得知該欲辨識之波形特徵，與建檔於波形特徵資料庫15中之音樂歌曲「你是我的花朵」的已知波形特徵151最為相似，因此便將「你是我的花朵」作為辨識結果來輸出，完成音樂錄影帶的辨識。

請參閱第三圖，為多媒體客製化之系統的一種實施例之方塊圖，包含有一伺服器20以及一客戶端裝置30。其中伺服器20中又包含有一資料辨識單元13、一波形特徵資料庫15、和一素材資料庫31。而客戶端裝置30可以是行動電話、電腦、PDA等等，其中包含有一資料擷取單元11、一資料編輯處理單元33、以及一資料編輯介面35。

資料擷取單元11是用來擷取一多媒體資料，像是各式音樂歌曲或其音樂錄影帶等等，可嵌於多媒體播放器中，當使用者用多媒體播放器播放多媒體資料時，便將其傳送到資料辨識單元13作多媒體資料的分析、比對和辨識。波形特徵資料庫15中存有至少一已知波形特徵151，用來讓資料辨識單元13作讀取以及比對。素材資料庫31中存有各式多媒體素材311，像是圖片、影片、字幕、標題等等，而素材資料庫31接收到資料辨識單元13傳送來而的辨識結果後，便依照辨識結果傳送與已辨識多媒體資料相關的多媒體素材311至資料編輯處理單元33，讓使用者得以用該些多媒體素材311來編輯多媒體資料。

而使用者可以透過資料編輯介面35傳送編輯訊號給資料編輯處理單元33，以編輯該多媒體資料，比如說，該多媒體資料為歌曲的音樂錄影帶，使用者可以在音樂錄影帶畫面中加上生日快樂的字樣，並將背景圖修改成自己拍攝的照片或影片，或是調整歌曲的聲音頻率以及去除人聲等等。

接著請參閱第四圖，為多媒體客製化之系統的另一種實施例之方塊圖，與第三圖不同的地方在於，第四圖中的資料編輯處理單元33是存在於伺服器20，以減輕客戶端裝置30的處理負擔，使用者透過資料編輯介面35編輯多媒體資料，而實際上的處理則是交由伺服器20運作。

而在伺服器20所執行的運算處理，如資料辨識單元13所作的多媒體資料之分析辨識，以及資料編輯處理單元33所作的多媒體資料編輯處理，可以利用雲端運算(cloud computing)技術來加快處理的速度。

雲端運算(cloud computing)是分散式運算技術的一種，其最基本的概念，是將龐大的處理程序自動分拆成無數個較小的子程序，再交由多個處理單元進行個別處理，完成後集合成所需的運算結果，如此一來便可加快執行的速度。

另外再參閱第五圖，為多媒體客製化之系統的又一種實施例之方塊圖，包含有一伺服器20、一客戶端裝置30、以及一電子裝置40。其中伺服器20中包含有一波形特徵資料庫15、一資料辨識單元13、一素材資料庫31、一資料編輯處理單元33、以及一通訊單元51；而客戶端裝置30中則包含有一資料擷取單元11以及一資料編輯介面35。

客戶端裝置30的資料擷取單元11和資料編輯介面35可以是整合於一多媒體播放器中的軟體，當使用者利用該多媒體播放器播放多媒體資料如流行歌曲的音樂錄影帶時，資料擷取單元11便將該多媒體資料傳送到伺服器20的資料辨識單元13作分析。資料辨識單元13中包含有一聲音波形轉換單元131、一波形特徵擷取單元133、以及一波形特徵比對單元135。在伺服器20做完辨識後，便會從素材資料庫31中讀取並傳送與該已辨識之多媒體資料有關的多媒體素材311到客戶端裝置30，而此時，使用者可透過素材購買選項351來確認購買該些多媒體素材311以進行資料編輯。

透過資料編輯介面35，使用者便可操作編輯多媒體資料，並將編輯訊號傳送到伺服器20的資料編輯處理單元33作處理。資料編輯處理單元33中包含有一檔案格式轉換單元331、一字幕編輯單元333、一背景編輯單元335、以及一聲音編輯單元337，用來依據使用者的需求，作多媒體資料的編輯處理。

而伺服器20又更包含有一通訊單元51，當使用者完成多媒體資料的編輯之後，可以透過資料編輯介面35的一檔案傳輸選項353，來選擇把該多媒體資料透過通訊單元51傳送至一電子裝置40，例如一行動電話41、筆記型電腦43、個人數位助手(PDA)45、或是桌上型電腦47等等。

舉例來說，使用者想要祝某個朋友生日快樂，播放了生日快樂歌曲的音樂錄影帶，資料擷取單元11便抓取該音樂錄影帶，傳送到伺服器20作辨識，而伺服器20辨識完畢後，便回傳與該音樂錄影帶有關的多媒體素材311(如一些蛋糕的圖片)給使用者，而若使用者決定購買那些多媒體素材311，使用者便可用多媒體素材311來作音樂錄影帶的編輯(例如將背景圖片改成蛋糕圖，或是加上祝某某人生日快樂的字樣)。在編輯完成後，使用者更可進一步選擇透過通訊單元51將該編輯後之音樂錄影帶傳送至該朋友的行動電話41，供該朋友觀看收藏。

請參閱第六圖，為應用上述多媒體辨識方法之多媒體客製化方法的一種實施例之流程圖，配合第五圖作說明，步驟包含有：聲音波形轉換單元131將一多媒體資料(像是各式音樂歌曲等有固定之聲音資料的多媒體資料)的一聲音資料轉換成一波形資料(例如將原本是MP3格式之聲音資料，轉換成WAV格式之波形資料)(S601)，並將波形資料傳送到波形特徵擷取單元133。接著波形特徵擷取單元133便擷取波形資料的一波形特徵(S603)，像是波形峰值波形資料中的位置，並傳送波形特徵至波形特徵比對單元135。

波形特徵比對單元135將接收到之波形特徵與相對應於至少一已知多媒體資料的至少一已知波形特徵151作比對(S605)，比對的方式可以是計算該波形特徵與已知波形特徵151之間的漢明距離(Hamming distance)，而資料辨識單元13便可依據波形特徵比對單元135的比對結果，來辨識該多媒體資料(S607)。

接著依據已辨識之該多媒體資料，伺服器20就從素材資料庫31中讀取與多媒體資料有關的至少一多媒體素材311(S609)，最後，伺服器20便透過資料編輯介面35接收使用者對該多媒體資料的編輯(S611)，如更改字幕或標題、更改圖片、聲音音高頻率調整、去除人聲等等。

請再參閱第七圖，為應用上述多媒體辨識方法之多媒體客製化方法的另一種實施例之流程圖，同樣配合第五圖作說明，步驟包含有：聲音波形轉換單元131將一多媒體資料(如各式音樂歌曲或音樂錄影帶)的一聲音資料轉換成一波形資料(S701)，並將波形資料傳送到波形特徵擷取單元133。接著波形特徵擷取單元133便擷取波形資料的一波形特徵(S703)，並傳送波形特徵至波形特徵比對單元135。波形特徵比對單元135將接收到之波形特徵與相對應於至少一已知多媒體資料的至少一已知波形特徵151作比對(S705)，然後資料辨識單元13便可依據波形特徵比對單元135的比對結果，來辨識該多媒體資料(S707)。

接著依據已辨識之該多媒體資料，伺服器20就從素材資料庫31中讀取與多媒體資料有關的至少一多媒體素材311(S709)，並提供一素材購買選項351，讓使用者選擇(S711)。然後判斷使用者是否要購買多媒體素材311(S713)，若判斷為是，才接收使用者對多媒體資料的編輯(S715)，如更改字幕、更改圖片、聲音頻率調整等等。最後在多媒體資料編輯完成後，更進一步傳送該多媒體資料給使用者所指定的一電子裝置40(S717)。

第七圖與第六圖不同的是多了讓使用者選擇是否購買該些多媒體素材311的機制，要使用者願意購買，才提供該些多媒體素材311給使用者作編輯應用。另外，更增加了在多媒體資料編輯完成後，使用者可以選擇過通訊單元51將多媒體資料傳送到指定的電子裝置40的機制。

綜上所述，本發明藉由擷取多媒體資料聲音波形的特徵，來辨識該多媒體資料，並自動找尋與該多媒體資料相關之圖片、影片、歌曲字幕等多媒體素材，供給使用者作編輯處理，讓使用者得以依據其需求作多媒體資料的客製化編輯，並進一步依需求作該多媒體資料的應用。

以上所述為本發明的具體實施例之說明與圖式，而本發明之所有權利範圍應以下述之申請專利範圍為準，任何在本發明之領域中熟悉該項技藝者，可輕易思及之變化或修飾皆可涵蓋在本案所界定之專利範圍之內。

10．．．多媒體辨識系統

20．．．伺服器

30．．．客戶端裝置

40．．．電子裝置

11．．．資料擷取單元

13．．．資料辨識單元

131．．．聲音波形轉換單元

133．．．波形特徵擷取單元

135．．．波形特徵比對單元

15．．．波形特徵資料庫

151．．．已知波形特徵

31．．．素材資料庫

311．．．多媒體素材

33．．．資料編輯處理單元

331‧‧‧檔案格式轉換單元

333‧‧‧字幕編輯單元

335‧‧‧背景編輯單元

337‧‧‧聲音編輯單元

35‧‧‧資料編輯介面

351‧‧‧素材購買選項

353‧‧‧檔案傳輸選項

41‧‧‧行動電話

43‧‧‧筆記型電腦

45‧‧‧個人數位助手

47‧‧‧桌上型電腦

51‧‧‧通訊單元

S201~S207‧‧‧流程圖步驟說明

S601~S611‧‧‧流程圖步驟說明

S701~S717‧‧‧流程圖步驟說明

第一圖為多媒體辨識系統的一種實施例之方塊圖；

第二圖為多媒體辨識方法的一種實施例之流程圖；

第三圖為多媒體客製化系統的一種實施例之方塊圖；

第四圖為多媒體客製化系統的另一種實施例之方塊圖；

第五圖為多媒體客製化系統的又一種實施例之方塊圖；

第六圖為多媒體客製化方法的一種實施例之流程圖；以及

第七圖為多媒體客製化方法的另一種實施例之流程圖。

10．．．多媒體辨識系統

11．．．資料擷取單元

13．．．資料辨識單元

131．．．聲音波形轉換單元

133．．．波形特徵擷取單元

135．．．波形特徵比對單元

15．．．波形特徵資料庫

151．．．已知波形特徵

Claims (18)

1. 一種多媒體辨識系統，包含有：一資料擷取單元，係以擷取欲辨識之一多媒體資料；一資料辨識單元，耦接於該資料擷取單元，包含有一聲音波形轉換單元，係將該多媒體資料的一聲音資料，轉換成一波形資料；一波形特徵擷取單元，耦接於該聲音波形轉換單元，係以擷取該波形資料的一波形特徵；一波形特徵比對單元，耦接於該波形特徵擷取單元，係以將該波形特徵與至少一已知波形特徵作比對；一波形特徵資料庫，耦接於該資料辨識單元，儲存有相對應於至少一已知多媒體資料的該些已知波形特徵；一素材資料庫，耦接於該資料辨識單元，儲存有各式多媒體素材；一資料編輯處理單元，耦接於該資料擷取單元與素材資料庫，依照比對結果接收已辨識多媒體資料相關的多媒體素材；以及一資料編輯介面，耦接於該資料編輯處理單元，接收並傳送使用者的編輯訊號給資料編輯處理單元。
2. 如申請專利範圍第1項所述之多媒體辨識系統，其中該波形特徵係包含該波形資料的至少一峰值位置。
3. 如申請專利範圍第1項所述之多媒體辨識系統，其中該波形特徵比對單元將該波形特徵與該些已知波形特徵作比對，係計算代表該波形特徵的資料與代表該已知波形特徵的資料之間的一漢明距離。
4. 如申請專利範圍第1項所述之多媒體辨識系統，其中該資 料辨識單元係依據該波形特徵比對單元之比對結果，作該多媒體資料的辨識。
5. 如申請專利範圍第4項所述之多媒體辨識系統，其中依據比對結果作該多媒體資料的辨識，係判斷該多媒體資料，相同於比對結果相似度最高之該已知波形特徵所對應的該已知多媒體資料。
6. 如申請專利範圍第1項所述之多媒體辨識系統，其中該多媒體資料係為一音樂歌曲或一音樂錄影帶。
7. 一種多媒體客製化方法，包括有：將一多媒體資料的一聲音資料轉換成一波形資料；擷取該波形資料的一波形特徵；將該波形特徵與相對應於至少一已知多媒體資料的至少一已知波形特徵作比對；依據該比對結果辨識該多媒體資料；依據已辨識之該多媒體資料，讀取與該多媒體資料相關的至少一多媒體素材；以及接收使用者對該多媒體資料的編輯。
8. 如申請專利範圍第7項所述之多媒體客製化方法，其中該波形特徵係包含該波形資料的至少一峰值位置。
9. 如申請專利範圍第7項所述之多媒體客製化方法，其中將該波形特徵與該些已知波形特徵作比對，係計算代表該波形特徵的資料與代表該已知波形特徵的資料之間的一漢明距離。
10. 如申請專利範圍第7項所述之多媒體客製化方法，其中依據該比對結果辨識該多媒體資料，係判斷該多媒體資料相同於比對結果相似度最高之該已知波形特徵所對應的該 已知多媒體資料。
11. 如申請專利範圍第7項所述之多媒體客製化方法，其中該多媒體資料係為一音樂歌曲或一音樂錄影帶。
12. 如申請專利範圍第7項所述之多媒體客製化方法，其中該多媒體素材係包含一影片、一圖片、一字幕、以及一標題其中之一，或是其中複數種的組合。
13. 如申請專利範圍第7項所述之多媒體客製化方法，其中接收使用者對該多媒體資料的編輯，係包含接收使用者的一檔案格式轉換、一標題編輯、一字幕編輯、一背景編輯、以及一聲音編輯其中之一，或是其中複數種的組合。
14. 如申請專利範圍第13項所述之多媒體客製化方法，其中該聲音編輯係包含聲音音高調整或是去除人聲。
15. 如申請專利範圍第7項所述之多媒體客製化方法，更包含有：接收使用者選擇傳輸該多媒體資料至一電子裝置。
16. 如申請專利範圍第7項所述之多媒體客製化方法，更包含有：傳輸該多媒體資料至使用者指定的一電子裝置。
17. 如申請專利範圍第7項所述之多媒體客製化方法，更包含有：提供一素材購買選項供使用者選擇。
18. 如申請專利範圍第17項所述之多媒體客製化方法，更包含有：根據該素材購買選項所接收到之使用者的選擇，決定是否將該多媒體素材提供給使用者。