TWI866360B - 線上ktv自適型緩衝區管理與混音的系統及其方法 - Google Patents

Abstract

一種線上KTV自適型緩衝區管理與混音的系統及其方法，該方法包括載入伴唱音樂檔案，並依據伴唱音樂檔案輸出伴唱音樂串流訊號；接收伴唱音樂串流訊號，對伴唱音樂串流訊號進行音訊處理，並且將經音訊處理後的伴唱音樂串流訊號傳送至各用戶；以及將各用戶的歌聲訊號進行音訊處理、混音處理，並且將經混音處理後的各用戶的歌聲訊號傳送至各用戶。

Description

線上KTV自適型緩衝區管理與混音的系統及其方法

本發明是有關於線上KTV管理與混音技術，且特別是有關於一種線上KTV自適型緩衝區管理與混音的系統及其方法。

目前現有的線上KTV服務合唱混音部分大都使用時間標記方式，伺服器端要等待到全部音訊到達，才會將相同時間標記的音訊進行混音，如此雖可以確保混音一致，但是每個用戶端感受到自己的歌聲與聽到的混音聲音有時間落差，且每個用戶延時都不一樣，無法達到即時互動歡唱的目的。

一方面在進行相同時間標記混音處理時，音訊需要解壓縮與再壓縮，會增加音訊延時，不符合現今低時延共唱的需求。

另一方面，也有根據預期音訊未在對應的預期時間點到達，則增加抖動緩衝區，若所述預期音訊在對應的預期時間點到 達，則抖動緩衝區大小保持不變的處理方法，但實際上這種處理方法僅動態調整伺服器端的抖動緩衝區並無法動態調整用戶端的抖動緩衝區，用戶聽到的音訊可能會因本地抖動緩衝區不足而產生雜訊。

本發明提供一種線上KTV自適型緩衝區管理與混音的系統及其方法，可有效改善目前因網路品質不良的異地合唱不同步的問題，降低因網路抖動所造成的雜音與斷續，使得多人多地在不同網路品質環境下同步合唱，伴唱音樂與歌聲訊號同步。

本發明的一種線上KTV自適型緩衝區管理與混音的系統，該系統包括伺服端電子設備以及與伺服端電子設備通訊連接或電子連接的各用戶端電子設備。伺服端電子設備包括詞曲庫、伴唱音樂播放模組、第一音訊傳送模組、伴唱音樂遞送模組以及音訊混音與遞送模組。詞曲庫儲存伴唱音樂檔案。伴唱音樂播放模組與詞曲庫電性連接，用以載入伴唱音樂檔案，並依據伴唱音樂檔案輸出伴唱音樂串流訊號。第一音訊傳送模組與伴唱音樂播放模組電性連接，用以接收伴唱音樂串流訊號。伴唱音樂遞送模組與第一音訊傳送模組電性連接，用以接收經由第一音訊傳送模組傳送的伴唱音樂串流訊號。各用戶端電子設備包括音訊介面、音訊處理模組以及第二音訊傳送模組。音訊處理模組與音訊介面電性連接。第二音訊傳送模組與音訊處理模組電性連接，且分別 與伺服端電子設備的伴唱音樂遞送模組、音訊混音與遞送模組通訊連接或電子連接，其中，第二音訊傳送模組接收經伴唱音樂遞送模組傳送的伴唱音樂串流訊號後，將伴唱音樂串流訊號傳送至音訊處理模組進行音訊處理，並且將經音訊處理後的伴唱音樂串流訊號經音訊介面傳送至各用戶。第二音訊傳送模組將各用戶的歌聲訊號經音訊處理模組進行音訊處理後傳送至音訊混音與遞送模組進行混音處理，並且將經混音處理後的各用戶的歌聲訊號經音訊處理模組、音訊介面傳送至各用戶。

本發明的一種線上KTV自適型緩衝區管理與混音的方法，該方法包括載入伴唱音樂檔案，並依據伴唱音樂檔案輸出伴唱音樂串流訊號；接收伴唱音樂串流訊號，對伴唱音樂串流訊號進行音訊處理，並且將經音訊處理後的伴唱音樂串流訊號傳送至各用戶；以及將各用戶的歌聲訊號進行音訊處理、混音處理，並且將經混音處理後的各用戶的歌聲訊號傳送至各用戶。

基於上述，本發明提供一種線上KTV自適型緩衝區管理與混音的系統及其方法，有效改善目前因網路品質不良的異地合唱不同步的問題，不僅可以跨包廂播放，在伺服端電子設備混音後的音訊可以傳到另一個包廂的用戶端電子設備，在其他的包廂的用戶端電子設備同步播放，整體考量每個終端不同的網路環境，通過設定各終端緩衝大小，降低因網路抖動所造成的雜音與斷續，使得多人多地在不同網路品質環境下同步合唱，伴唱音樂與歌聲訊號同步，並且伴唱音樂可獨立播放不作混音處理，沒有 音樂重製或後製的版權問題。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

10:線上KTV自適型緩衝區管理與混音的系統

101:用戶端電子設備

102:伺服端電子設備

1011:音訊介面

1012:音訊處理模組

1013:第二音訊傳送模組

1014:網路品質偵測模組

1015:緩衝參數控制模組

1016:封包掉包偵測模組

1021:詞曲庫

1022:伴唱音樂播放模組

1023:伴唱音樂遞送模組

1024:音訊混音與遞送模組

1025:緩衝參數規則庫

1026:用戶緩衝參數管理模組

1027:第一音訊傳送模組

S201、S202、S203、S301、S302、S303、S304、S305、S306、S307、S308、S309:步驟

圖1是依照本發明的一實施例的一種線上KTV自適型緩衝區管理與混音的系統的示意圖。

圖2是依照本發明的一實施例的一種線上KTV自適型緩衝區管理與混音的方法的流程圖。

圖3是依照本發明的一實施例的網路品質偵測與自適型緩衝區管理的流程圖。

本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。

說明書與發明申請專利範圍中所使用的序數例如「第一」、「第二」等之用詞用以修飾元件，其本身並不意含及代表該，或該些，組件有任何之前的序數，也不代表某一元件與另一元件的順序、或是製造方法上的順序，該些序數的使用僅用來使 具有某命名的元件得以和另一具有相同命名的元件能作出清楚區分。權利要求書與說明書中可不使用相同用詞，據此，說明書中的第一構件在權利要求中可能為第二構件。須知悉的是，以下所舉實施例可以在不脫離本揭露的精神下，將數個不同實施例中的技術特徵進行替換、重組、混合以完成其他實施例。

圖1是依照本發明的一實施例的一種線上KTV自適型緩衝區管理與混音的系統的示意圖。

請參照圖1，線上KTV自適型緩衝區管理與混音的系統10可包括伺服端電子設備102(可提供伴唱音樂)以及與伺服端電子設備102通訊連接或電子連接的各用戶端電子設備101(例如音訊設備)。線上KTV自適型緩衝區管理與混音的系統10架構係為一主從式架構，伺服端電子設備102可與多個用戶端電子設備101連接並提供服務，可自動偵測各用戶端電子設備101與伺服端電子設備102之間的網路品質，整體考量每個終端的延時以設定終端最適合之緩衝區使得延時一致，伴唱音樂與所有用戶端的混音後的歌聲同步。在不同網路環境下，各用戶端電子設備101與伺服端電子設備102可以即時互動與同步合唱，只進行各用戶的歌聲混音，伴唱音樂可獨立播放不與歌聲一起混音，可解決伴唱音樂與歌聲混音之重製或再製之版權問題。

伺服端電子設備102可包括詞曲庫1021、伴唱音樂播放模組1022、伴唱音樂遞送模組1023、音訊混音與遞送模組1024、緩衝參數規則庫1025、用戶緩衝參數管理模組1026以及 第一音訊傳送模組1027。其中伴唱音樂播放模組1022、伴唱音樂遞送模組1023、音訊混音與遞送模組1024、緩衝參數規則庫1025、用戶緩衝參數管理模組1026以及第一音訊傳送模組1027係安裝在同一作業系統上，彼此之前可透過作業系統提供的通訊機制及介面進行快速有效率的溝通。

其中，詞曲庫1021可儲存伴唱音樂檔案，如伴唱歌曲音檔、歌曲資訊、歌曲時間、歌詞等。

伴唱音樂播放模組1022與詞曲庫1021電性連接，伴唱音樂播放模組1022為一音訊播放程式或軟體，用以從詞曲庫1021中載入伴唱音樂檔案進行解析後播放，以依據伴唱音樂檔案輸出伴唱音樂串流訊號。

第一音訊傳送模組1027與伴唱音樂播放模組1022電性連接，用以接收伴唱音樂串流訊號。

伴唱音樂遞送模組1023與第一音訊傳送模組1027電性連接，用以接收經由第一音訊傳送模組1027傳送的伴唱音樂串流訊號。

緩衝參數規則庫1025用以儲存設定緩衝參數的經驗規則。緩衝參數規則庫1025在各種不同型態的網路環境，可儲存設定緩衝參數的經驗規則，可包括：(1)網路環境光世代、wifi、4G、5G等的網路環境；(2)網路往返時間與抖動對應緩衝區，(3)音訊處理緩衝區與音訊傳輸緩衝區的規劃；(4)線上KTV合唱延時的體驗數據；(5)哈斯效應數據，一種雙耳心理聲學效應，聲音 延遲對人類方向聽覺的影響要比音量大小的影響大得多的效應；(6)緩衝區大小與增加延時關係。例如在光世代環境網路抖動大小為1ms，若一個緩衝區是128個frames，則需要增加一個緩衝區，延時將增加3ms。

用戶緩衝參數管理模組1026分別與緩衝參數規則庫1025及第一音訊傳送模組1027電性連接。用戶緩衝參數管理模組1026、緩衝參數規則庫1025可為一安裝在伺服端電子設備102上的程式或軟體，用戶緩衝參數管理模組1026接收所有用戶端的網路往返時間與抖動大小，根據緩衝參數規則庫1025的設定緩衝參數的經驗規則計算所有用戶端的音訊平均延時，對各用戶端指定最適合之緩衝參數，使得所有用戶的歌聲與伴唱音樂延時一致。

用戶端電子設備可包括音訊介面1011、音訊處理模組1012、第二音訊傳送模組1013、網路品質偵測模組1014、緩衝參數控制模組1015以及封包掉包偵測模組1016。

其中，音訊處理模組1012與音訊介面1011電性連接。在一實施例中，音訊處理模組1012為音效卡，可將由音訊介面1011接收的用戶的歌聲訊號由模擬訊號轉換為數位訊號，或者，將數位訊號的歌聲訊號轉換為模擬訊號輸出至音訊介面1011。

第二音訊傳送模組1013與音訊處理模組1012電性連接，且分別與伺服端電子設備102的伴唱音樂遞送模組1023、音訊混音與遞送模組1024通訊連接或電子連接，其中，第二音訊 傳送模組1013接收經伴唱音樂遞送模組1023傳送的伴唱音樂串流訊號後，將伴唱音樂串流訊號傳送至音訊處理模組1012進行音訊處理，並且將經音訊處理後的伴唱音樂串流訊號經音訊介面1011傳送至各用戶。第二音訊傳送模組1013將各用戶的歌聲訊號經音訊處理模組1012進行音訊處理後傳送至音訊混音與遞送模組1024進行混音處理，並且將經混音處理後的各用戶的歌聲訊號經音訊處理模組1012、音訊介面1011傳送至各用戶。

在一實施例中，伺服端電子設備102的音訊混音與遞送模組1024、伴唱音樂遞送模組1023、第一音訊傳送模組1027和用戶端電子設備101的音訊處理模組1012、第二音訊傳送模組1013可採用或修改市面上的低時延音訊開源軟硬體套件，例如音訊處理模組jack、音訊傳送模組JackTrip，進行無壓縮無失真的雙向低時延音訊傳輸。本發明並不以此為限。

網路品質偵測模組1014用以分別偵測各用戶端電子設備101到伺服端電子設備102的網絡品質資訊，其中網絡品質資訊包括各用戶端電子設備101到伺服端電子設備102的網路封包的平均往返時間(Round Trip Time，RTT)以及抖動(Jitter)。在一實施例中，網路品質偵測模組1014可即時偵測用戶端電子設備101的第二音訊傳送模組1013是否有持續掉封包，若有持續掉包則增加第二音訊傳送模組1013一個緩衝區(queue buffer)，倘若偵測到網路品質變好，第二音訊傳送模組1013持續一段時間沒有掉封包，而且用戶端電子設備101的平均延時大 於音訊平均延時時，則減少一個緩衝區。本發明並不以此為限。

緩衝參數控制模組1015與網路品質偵測模組1014、第二音訊傳送模組1013電性連接，且與伺服端電子設備102的用戶緩衝參數管理模組1026通訊連接或電子連接，緩衝參數控制模組1015傳送網絡品質資訊至用戶緩衝參數管理模組1026。緩衝參數控制模組1015依據網絡品質資訊控制第二音訊傳送模組1013的開啟與第一緩衝參數(例如緩衝區數量)。

用戶緩衝參數管理模組1026依據網絡品質資訊獲取各用戶端電子設備101到伺服端電子設備102的音訊平均延時，依據音訊平均延時以及設定緩衝參數的經驗規則調整第一音訊傳送模組1027的第一緩衝參數，並且依據各用戶端電子設備101到伺服端電子設備102的網絡品質資訊以及設定緩衝參數的經驗規則設定第二緩衝參數並且傳送第二緩衝參數至緩衝參數控制模組1015。

在一實施例中，用戶緩衝參數管理模組1026依據公式1獲取各用戶端電子設備101到伺服端電子設備102的音訊平均延時。

(rtt1/2+[jitter1]*2.67*2+rtt2/2+[jitter2]*2.67*2+...+rttn/2+[jittern]*2.67*2)/n 公式1

其中rtt為各用戶端電子設備到伺服端電子設備的音訊延時或者網路封包的平均往返時間，[jitter]是取整數值，n為用戶端電子設備的數量。

用戶緩衝參數管理模組1026依據上述公式1計算出平均可接受的音訊延時，例如KTV線上服務若需有好的良好體驗的話，音訊平均延時需低於70ms，而且在哈斯效應下在20ms以下延時，人耳聽不出音訊不同步。其中jitter每增加1ms將需要兩個queue buffer來增加2.67ms*2的延時，才能有較好的音訊的品質。

封包掉包偵測模組1016分別與第二音訊傳送模組1013及緩衝參數控制模組1015電性連接，用以偵測第二音訊傳送模組1013是否有持續掉網路封包，以對第二音訊傳送模組1013的第二緩衝參數進行調整。

在一第一實施例中，若封包掉包偵測模組1016偵測到網路品質變差，第二音訊傳送模組1013持續掉音訊的網路封包，則會增加第二緩衝參數中的緩衝區(queue buffer)的數量。

舉例而言，假如音訊的網路封包丟失每秒發生60次以上則增加3個queue buffer，每秒發生30次以上則增加2個queue buffer，每秒發生10次以上則增加1個queue buffer。

在一第二實施例中，若封包掉包偵測模組1016偵測到網路品質變好，第二音訊傳送模組1013持續一段時間未掉網路封包且用戶端電子設備101到伺服端電子設備102的音訊延時大於音訊平均延時，則減少第二緩衝參數中的緩衝區(queue buffer)的數量。舉例而言，假如音訊的網路封包丟失每分鐘發生0次且用戶端電子設備101到伺服端電子設備102的音訊延時 大於音訊平均延時，則減少1個queue buffer。

在一第三實施例中，若封包掉包偵測模組1016偵測到第二音訊傳送模組1013未掉網路封包且用戶端電子設備101到伺服端電子設備102的音訊延時不大於音訊平均延時，則不調整第二緩衝參數。

其中，第一音訊傳送模組1027更用以依據第一緩衝參數對伴唱音樂串流訊號進行緩衝處理，並且伴唱音樂串流訊號經音訊處理模組1012進行音訊處理後經音訊介面1011傳送至各用戶，第二音訊傳送模組1013更用以依據第二緩衝參數對各用戶的歌聲訊號進行緩衝處理，並且傳送至音訊混音與遞送模組1024進行混音處理，並且將經混音處理後的各用戶的歌聲訊號經音訊處理模組1012、音訊介面1011傳送至各用戶。

第一音訊傳送模組1027接收伴唱音樂播放模組1022輸出的伴唱音樂串流訊號，使用其緩衝區(調整第一緩衝參數)調控伴唱音樂串流訊號到伴唱音樂遞送模組1023的延時，使得與音訊混音與遞送模組1024收到各用戶端的歌聲延時(調整第二緩衝參數)一致，達到音樂與歌聲同步。伴唱音樂遞送模組1023傳送串流訊號到每個用戶端伴唱。音訊混音與遞送模組1024接收各用戶的歌聲一起混音，混音後的歌聲回傳到每個用戶端，如此各用戶可以實現互動歡唱。

伴唱音樂播放模組1022、伴唱音樂遞送模組1023、音訊混音與遞送模組1024、緩衝參數規則庫1025、用戶緩衝參數 管理模組1026、第一音訊傳送模組1027、音訊處理模組1012、第二音訊傳送模組1013、網路品質偵測模組1014、緩衝參數控制模組1015以及封包掉包偵測模組1016可透過軟體、韌體、硬體電路的其中之一或其任意組合來實作，且本揭露不對伴唱音樂播放模組1022、伴唱音樂遞送模組1023、音訊混音與遞送模組1024、緩衝參數規則庫1025、用戶緩衝參數管理模組1026、第一音訊傳送模組1027、音訊處理模組1012、第二音訊傳送模組1013、網路品質偵測模組1014、緩衝參數控制模組1015以及封包掉包偵測模組1016的實作方式作出限制。

於本實施例中，第一緩衝參數可為音訊處理的緩衝(frames buffer)和/或音訊傳輸的緩衝(queue buffer)的組合及frames buffer和/或queue buffer的數量。第二緩衝參數可為frames buffer和/或queue buffer的組合及frames buffer和/或queue buffer的數量。本發明並不以此為限。

下文中，將搭配圖1中的各項裝置、元件及模組說明本發明實施例所述之方法。本方法的各個流程可依照實施情形而隨之調整，且並不僅限於此。

圖2是依照本發明的一實施例的一種線上KTV自適型緩衝區管理與混音的方法的流程圖。

請參照結合圖1至圖2，於步驟S201中，伴唱音樂播放模組1022從詞曲庫1021中載入伴唱音樂檔案，並依據伴唱音樂檔案輸出伴唱音樂串流訊號至第一音訊傳送模組1027。其中可將 伴唱音樂播放器1022視為另一個用戶端，可通過調整第一音訊傳送模組1027的緩衝區來調整控制伴唱音樂串流訊號的延時，使其與各用戶端的歌聲訊號同步。

在一實施例中，可利用緩衝區調整延時，讓用戶端電子設備101到伺服端電子設備102的歌聲延時與伴唱音樂到伴唱音樂遞送模組1023延時一致。伴唱音樂或伴唱音樂串流訊號到達伺服端電子設備102遞送前延時計算公式如下，假如伺服端電子設備102的採樣率(Sample Rate)是48kHz，Audio Buffer 256 samples，伺服端電子設備102一個buffer的增加延時是256/48000 * 1000=5.34ms。伴唱音樂到達伺服端電子設備102的延時是5.34ms * N，其中N是伺服端電子設備102的buffer數。

於步驟S202中，第二音訊傳送模組1013接收經伴唱音樂遞送模組1023傳送的伴唱音樂串流訊號，將伴唱音樂串流訊號傳送至音訊處理模組1012進行音訊處理，並且將經音訊處理後的伴唱音樂串流訊號經音訊介面1011傳送至各用戶。

在一實施例中，伴唱音樂或伴唱音樂串流訊號到達用戶端電子設備101的延時計算公式如下：假如伺服端電子設備102的採樣率(Sample Rate)是48kHz,Audio Buffer 256 samples，用戶端電子設備101是48kHz Sample Rate,Audio Buffer 128 samples，伺服端電子設備102一個buffer的增加延時是256/48000 * 1000=5.34ms；用戶 端電子設備101一個buffer的增加延時是128/48000 * 1000=2.67ms。伴唱音樂到達用戶端電子設備101的延時是5.34ms * N1+2.67ms * N2-RTT 2，其中N1是伺服端電子設備102的buffer數，N2是用戶端電子設備101的buffer數，RTT是用戶端電子設備101到伺服端電子設備102的網路封包的往返時間。

於本實施例中，伴唱音樂在伺服端電子設備102獨立播放，不與用戶端電子設備101的歌聲一起混音，沒有音樂重製或再製的版權問題。

於步驟S203中，第二音訊傳送模組1013將各用戶的歌聲訊號經音訊處理模組1012進行音訊處理後傳送至音訊混音與遞送模組1024進行混音處理，並且將經混音處理後的各用戶的歌聲訊號經音訊處理模組1012、音訊介面1011傳送至各用戶。

在一實施例中，伺服端電子設備102的音訊混音與遞送模組1024負責所有用戶端電子設備101的歌聲訊號的混音。用戶端電子設備101的歌聲訊號經第二音訊傳送模組1013的傳送，可以分別進行緩衝處理，以使得所有用戶端電子設備101的歌聲訊號到達伺服端電子設備102混音前的延時一樣。其中用戶端電子設備101歌聲到達伺服端電子設備102的混音延時計算公式如下：假如伺服端電子設備102的採樣率(Sample Rate)是48kHz，Audio Buffer 256 samples，用戶端電子設備101是48kHz Sample Rate，Audio Buffer 128 samples，伺服端電子設備102的一個buffer的增加延時是256/48000 * 1000=5.34ms；用戶端電子設備101的一個buffer的增加延時是128/48000 * 1000=2.67ms。伴唱音樂到達用戶端電子設備101的延時是5.34ms * N1+2.67ms * N2-RTT 2，其中N1是伺服端電子設備102的buffer數，N2是用戶端電子設備101的buffer數；RTT是用戶端電子設備101到伺服端電子設備102的網路封包的往返時間。

在一實施例中，伺服端電子設備102混音後的歌聲訊號遞送到用戶端電子設備101的第二音訊傳送模組1013，經過緩衝處理後使得用戶端電子設備101幾乎同時聽到混音後的歌聲與伴唱音樂，從而達到所有用戶即時歡唱與互動。

所有用戶混音後的歌聲訊號到達用戶端電子設備101時的計算公式如下：假如伺服端電子設備102的採樣率(Sample Rate)是48kHz，Audio Buffer 256 samples，用戶端電子設備101的採樣率(Sample Rate)是48kHz，Audio Buffer 128 samples，伺服端電子設備102的一個buffer的增加延時是256/48000 * 1000=5.34ms，用戶端電子設備101的一個buffer的增加延時是128/48000 * 1000=2.67ms。伴唱音樂到達用戶端電子設備101的延時是5.34ms * N1+2.67ms * N2-RTT 2，其中N1是伺服端 電子設備102的buffer數，N2是用戶端電子設備101的buffer數；RTT是用戶端電子設備101到伺服端電子設備102的網路封包的往返時間。

圖3是依照本發明的一實施例的網路品質偵測與自適型緩衝區管理的流程圖。

請參照結合圖1及圖3，於步驟S301中，網路品質偵測模組1014偵測各用戶端電子設備101到伺服端電子設備102的網絡品質資訊。

於步驟S302中，用戶緩衝參數管理模組1026依據公式1以及網絡品質資訊獲取各用戶端電子設備101到伺服端電子設備102的音訊平均延時。

於步驟S303中，用戶緩衝參數管理模組1026依據音訊平均延時以及設定緩衝參數的經驗規則調整第一音訊傳送模組1027的第一緩衝參數。

於步驟S304中，用戶緩衝參數管理模組1026依據各用戶端電子設備101到伺服端電子設備102的網絡品質資訊以及設定緩衝參數的經驗規則設定第二緩衝參數並且傳送第二緩衝參數至各用戶端電子設備101的緩衝參數控制模組。

於步驟S305中，封包掉包偵測模組1016偵測各用戶端電子設備101的第二音訊傳送模組1013是否有持續掉網路封包，以對第二緩衝參數進行調整。

於步驟S306中，若封包掉包偵測模組1016偵測到第二 音訊傳送模組1013持續掉網路封包，則增加第二緩衝參數中的緩衝區(queue buffer)的數量。

於步驟S307中，判斷用戶端電子設備101到伺服端電子設備102的音訊延時是否大於音訊平均延時。

於步驟S308中，若封包掉包偵測模組1016偵測到第二音訊傳送模組1013未掉網路封包且用戶端電子設備101到伺服端電子設備102的音訊延時大於音訊平均延時，則減少第二緩衝參數中的queue buffer的數量。

若封包掉包偵測模組1016偵測到第二音訊傳送模組1013未掉網路封包且用戶端電子設備101到伺服端電子設備102的音訊延時不大於音訊平均延時，則不調整第二緩衝參數。

於步驟S309中，用戶端電子設備101通知伺服端電子設備102新的第二緩衝參數。

於本實施例中，用戶緩衝參數管理模組1026收集全部用戶端電子設備101到伺服端電子設備102的網路品質資訊(往返時間與抖動)及計算所有用戶端電子設備101的平均延時。網路品質偵測模組1014偵測用戶端電子設備101到伺服端電子設備102的網路封包的往返時間與抖動大小，通知伺服端電子設備102的的用戶緩衝參數管理模組1026，根據全部用戶端電子設備101的音訊平均延時、各用戶的網路品質資訊與緩衝參數規則庫1025的設定緩衝參數規則的經驗，通知緩衝參數控制模組1015使用最適緩衝參數啟動第二音訊傳送模組1013，使得所有用戶的 歌聲傳送、混音與伴唱延時一致。

基於上述，本發明提供一種線上KTV自適型緩衝區管理與混音的系統及其方法，有效改善目前因網路品質不良的異地合唱不同步的問題，不僅可以跨包廂播放，在伺服端電子設備混音後的音訊可以傳到另一個包廂的用戶端電子設備，在其他的包廂的用戶端電子設備同步播放，整體考量每個終端不同的網路環境，通過設定各終端緩衝大小，降低因網路抖動所造成的雜音與斷續，使得多人多地在不同網路品質環境下同步合唱，伴唱音樂與歌聲訊號同步，並且伴唱音樂可獨立播放不作混音處理，沒有音樂重製或後製的版權問題。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

10:線上KTV自適型緩衝區管理與混音的系統

101:用戶端電子設備

102:伺服端電子設備

1011:音訊介面

1012:音訊處理模組

1013:第二音訊傳送模組

1014:網路品質偵測模組

1015:緩衝參數控制模組

1016:封包掉包偵測模組

1021:詞曲庫

1022:伴唱音樂播放模組

1023:伴唱音樂遞送模組

1024:音訊混音與遞送模組

1025:緩衝參數規則庫

1026:用戶緩衝參數管理模組

1027:第一音訊傳送模組

Claims (12)

1. 一種線上KTV自適型緩衝區管理與混音的系統，該系統包括：伺服端電子設備，包括：詞曲庫，儲存伴唱音樂檔案；伴唱音樂播放模組，與該詞曲庫電性連接，用以載入該伴唱音樂檔案，並依據該伴唱音樂檔案輸出伴唱音樂串流訊號；第一音訊傳送模組，與該伴唱音樂播放模組電性連接，用以接收該伴唱音樂串流訊號；伴唱音樂遞送模組，與該第一音訊傳送模組電性連接，用以接收經由該第一音訊傳送模組傳送的該伴唱音樂串流訊號；音訊混音與遞送模組；以及各用戶端電子設備，與該伺服端電子設備通訊連接或電子連接，各該用戶端電子設備包括：音訊介面；音訊處理模組，與該音訊介面電性連接；第二音訊傳送模組，與該音訊處理模組電性連接，且分別與該伺服端電子設備的該伴唱音樂遞送模組、該音訊混音與遞送模組通訊連接或電子連接，其中，該第二音訊傳送模組接收經該伴唱音樂遞送模組傳送的該伴唱音樂串流訊號後，將該伴唱音樂串流訊號傳送至該音訊處理模組進行音訊處理，並且將經該音訊處理後的該伴唱音 樂串流訊號經該音訊介面傳送至各用戶，以及其中，該第二音訊傳送模組將各該用戶的歌聲訊號經該音訊處理模組進行該音訊處理後傳送至該音訊混音與遞送模組進行混音處理，並且將經該混音處理後的各該用戶的該歌聲訊號經該音訊處理模組、該音訊介面傳送至各該用戶。
2. 如請求項1所述的系統，其中，該伺服端電子設備更包括：緩衝參數規則庫，用以儲存設定緩衝參數的經驗規則；及用戶緩衝參數管理模組，分別與該緩衝參數規則庫及該第一音訊傳送模組電性連接；各該用戶端電子設備更包括：網路品質偵測模組，用以分別偵測各該用戶端電子設備到該伺服端電子設備的網絡品質資訊；緩衝參數控制模組，與該網路品質偵測模組、該第二音訊傳送模組電性連接，且與該伺服端電子設備的該用戶緩衝參數管理模組通訊連接或電子連接，該緩衝參數控制模組傳送該網絡品質資訊至該用戶緩衝參數管理模組，其中，該用戶緩衝參數管理模組依據該網絡品質資訊獲取各該用戶端電子設備到該伺服端電子設備的音訊平均延時，依據該音訊平均延時以及該設定緩衝參數的經驗規則調整該第一音訊傳送模組的第一緩衝參數，並且依據各該用戶端電子設備到該伺服端電子設備的該網絡品質資訊 以及該設定緩衝參數的經驗規則設定第二緩衝參數並且傳送該第二緩衝參數至該緩衝參數控制模組；以及封包掉包偵測模組，分別與該第二音訊傳送模組及該緩衝參數控制模組電性連接，用以偵測該第二音訊傳送模組是否有持續掉網路封包，以對該第二音訊傳送模組的該第二緩衝參數進行調整。
3. 如請求項2所述的系統，其中該封包掉包偵測模組偵測該第二音訊傳送模組是否有持續掉網路封包，以對該第二緩衝參數進行調整的操作中更包括：若偵測到該第二音訊傳送模組持續掉網路封包，則增加該第二緩衝參數中的緩衝區(queue buffer)的數量；若偵測到該第二音訊傳送模組未掉網路封包且該用戶端電子設備到該伺服端電子設備的音訊延時大於該音訊平均延時，則減少該第二緩衝參數中的該queue buffer的數量；以及若偵測到該第二音訊傳送模組未掉網路封包且該用戶端電子設備到該伺服端電子設備的該音訊延時不大於該音訊平均延時，則不調整該第二緩衝參數。
4. 如請求項2所述的系統，其中該用戶緩衝參數管理模組依據該網絡品質資訊獲取各該用戶端電子設備到該伺服端電子設備的該音訊平均延時的操作中更包括：該用戶緩衝參數管理模組依據公式1獲取各該用戶端電子設備到該伺服端電子設備的該音訊平均延時， (rtt1/2+[jitter1]*2.67*2+rtt2/2+[jitter2]*2.67*2+...+rttn/2+[jittern]*2.67*2)/n 公式1其中rtt為各該用戶端電子設備到該伺服端電子設備的該音訊延時，[jitter]是取整數值，n為該用戶端電子設備的數量。
5. 如請求項2所述的系統，其中該網絡品質資訊包括各該用戶端電子設備到該伺服端電子設備的網路封包的平均往返時間(Round Trip Time，RTT)以及抖動(Jitter)。
6. 如請求項2所述的系統，其中，該第一音訊傳送模組更用以依據該第一緩衝參數對該伴唱音樂串流訊號進行緩衝處理，並且該伴唱音樂串流訊號經該音訊處理模組進行該音訊處理後經該音訊介面傳送至各該用戶，該第二音訊傳送模組更用以依據該第二緩衝參數對各該用戶的該歌聲訊號進行該緩衝處理，並且傳送至該音訊混音與遞送模組進行混音處理，並且將經該混音處理後的各該用戶的該歌聲訊號經該音訊處理模組、該音訊介面傳送至各該用戶。
7. 一種線上KTV自適型緩衝區管理與混音的方法，該方法包括：載入該伴唱音樂檔案，並依據該伴唱音樂檔案輸出伴唱音樂串流訊號；接收該伴唱音樂串流訊號，對該伴唱音樂串流訊號進行音訊處理，並且將經該音訊處理後的該伴唱音樂串流訊號傳送至各用戶；以及 將各該用戶的歌聲訊號進行該音訊處理、混音處理，並且將經該混音處理後的各該用戶的該歌聲訊號傳送至各該用戶。
8. 如請求項7所述的方法，其中，該方法更包括：偵測各用戶端電子設備到伺服端電子設備的網絡品質資訊；依據該網絡品質資訊獲取各該用戶端電子設備到該伺服端電子設備的音訊平均延時；依據該音訊平均延時以及該設定緩衝參數的經驗規則調整第一緩衝參數；依據各該用戶端電子設備到該伺服端電子設備的該網絡品質資訊以及該設定緩衝參數的經驗規則設定第二緩衝參數並且傳送該第二緩衝參數至各該用戶端電子設備；以及偵測各該用戶端電子設備是否有持續掉網路封包，以對該第二緩衝參數進行調整。
9. 如請求項8所述的方法，其中，該偵測各該用戶端電子設備是否有持續掉網路封包，以對該第二緩衝參數進行調整的步驟中更包括：若偵測到各該用戶端電子設備持續掉網路封包，則增加該第二緩衝參數中的緩衝區(queue buffer)的數量；若偵測到各該用戶端電子設備未掉網路封包且該用戶端電子設備到該伺服端電子設備的音訊延時大於該音訊平均延時，則減少該第二緩衝參數中的該queue buffer的數量；以及 若偵測到各該用戶端電子設備未掉網路封包且該用戶端電子設備到該伺服端電子設備的該音訊延時不大於該音訊平均延時，則不調整該第二緩衝參數。
10. 如請求項7所述的方法，其中，該依據該網絡品質資訊獲取各該用戶端電子設備到該伺服端電子設備的該音訊平均延時的步驟中更包括：依據公式1獲取各該用戶端電子設備到該伺服端電子設備的該音訊平均延時，(rtt1/2+[jitter1]*2.67*2+rtt2/2+[jitter2]*2.67*2+...+rttn/2+[jittern]*2.67*2)/n 公式1其中rtt為各該用戶端電子設備到該伺服端電子設備的該音訊延時，[jitter]是取整數值，n為該用戶端電子設備的數量。
11. 如請求項7所述的方法，其中，該網絡品質資訊包括各該用戶端電子設備到該伺服端電子設備的網路封包的平均往返時間(Round Trip Time，RTT)以及抖動(Jitter)。
12. 如請求項8所述的方法，其中，該接收該伴唱音樂串流訊號，對該伴唱音樂串流訊號進行該音訊處理，並且將經該音訊處理後的該伴唱音樂串流訊號傳送至各該用戶的步驟中更包括：依據該第一緩衝參數對該伴唱音樂串流訊號進行緩衝處理，並且該伴唱音樂串流訊號進行該音訊處理後傳送至各該用戶， 將各該用戶的歌聲訊號進行該音訊處理、該混音處理，並且將經該混音處理後的各該用戶的該歌聲訊號傳送至各該用戶的步驟中更包括：依據該第二緩衝參數對各該用戶的該歌聲訊號進行該緩衝處理，並且進行混音處理，並且將經該混音處理後的各該用戶的該歌聲訊號傳送至各該用戶。

Images