TW200922328A - Hierarchical multimedia streaming system of utilizing video synchronization and bandwidth adaption techniques - Google Patents

Description

200922328 九、發明說明： 【發明所屬之技術領域】 本發明是有關於一種多媒體串流系統，特別是指一種 利用影音同步技術與頻寬適應性技術之分層式多媒體串流 系統。 【先前技術】 由於寬頻網路和IEEE 802.11b/g網路的普及，加上新 興的行動3G和Wi-Max網路，在共構而成的異質網路中， 使用者可以利用任何一種設備，連上不同的網路來存取網 路上的影音多媒體資源。 為了滿足不同使用者對於服務品質的需求，可調式多 媒體編瑪（Scalable Multimedia Coding )技術可以將影音資 料壓縮成不同品質的檔案；此外，一個良好設計的可適性 多媒體串流（Adaptive Multimedia Streaming )控制架構， 則能夠根據當時不同的網路資源，適當地改變傳輸速度， 以調整影音撥放的解析度和品質。因此，欲滿足現今異質 網路中各種不同服務品質需求的使用者，結合可調式多媒 體編碼技術的特性和可適性多媒體串流控制架構，將是非 常重要的議題。 就可調式多媒體編碼技術而言，目前有許多不錯的技 術，例如，轉換編碼（Transcoding )、精緻可調式的視訊編 碼（Fine Granularity Scalability，簡稱 FGS)，以及位元切 割的算術音訊編碼（Bit Sliced Arithmetic Coding，簡稱 BSAC)，已經被提出。其中，FGS和BSAC技術的主要優 200922328 點在於只需要以最高品質的模式編碼過一次，就能夠產生 = :::和加強層的串流檔案’且解碼器就能夠從接收 机貝科（包含基礎層和部份加強層）進行解碼。然 而，不同的基礎層和加強層數量的多媒體資料 的解騎間複雜度，會造成影音申流在同步撥放上的因難 與研現有的技術和文獻’均甚少針對此問題進行討論 就可適性多媒體串流控制架構而言 同步的主要因素：第一、時變的網路頻寬，第者 期的時間延遲抖動（Delay加er)，第：^不可預 「時變的網路頻宫〇 穴關於 頻見」因素，目如已經有很 估測技術與參考軟體^ 判網路頻寬 被用來精確m傳PP、PathChlrp等），

Protocol (^nsmisswn c〇mr〇1 a冉丁CP) /使用者資料流協

Pr〇t〇co卜簡稱 ser Datagram 「不c)下的可用頻寬。關於 也被提出用來J 相關的緩衝區控制， 视杈出用來減少時間延遲抖動現 調整解碼端的播放速度作緩衝區的管理’、'_=，利用 端的傳送速度來彌姑姻々 利用調整伺服器 區的配置方法來處理延2遲抖動的問題，或者利用緩衝 失法來處理延遲時間抖動的問題。關於「封包遺 」I’封包重傳機制也常被用來改 降低的影音品質。例如，仗储、去Λ 為封L遺失而 不舌* ，依據遺失封包的重要性來争宏曰 否重傳封包，或者利用’、疋 包造成的影音失真^重傳機制，當遺失封 真超過其訂定的門檀，則予以重傳遺失的 200922328 =的=’以上可適性的多媒體串流技術多著重於 = 送，並未―式 音編巧技針^ 行設計’這隸難發揮可調式影 “碼技術在異質網路中影音串流的優點。 技二胜Γ必要哥求—解決之道，結合可調式多媒體編碼 使用者、=可適性多媒體串流控制架構’以適應不同的 =:1路特性’並滿足異質網路中各種不同影音 服務品質需求的使用者。 【發明内容】 ，因此，本發明之目的，即在提供一種利用影音同步技 術與頻&適應性技術之分層式多媒體串流系統。 於疋，本發明利用影音同步技術與頻寬適應性技術之 分層式多媒體串流系統是包含—客戶端處理單元。該客戶 端處理早7L包括-串流同步模組、—多階層影音解碼模組 及播放同步核組。該串流同步模组用以使已接收之— 分層視訊位元流與一分層音訊位元流，在預定的一解碼時 間内送人❹階層影音解碼㈣。該多階㈣音解竭模植 用以將該分層視訊位元流與該分層音訊位^流分別解嗎為 -已解碼視訊信號及-已解碼音訊信號。該播放同步模组 用以決錢已解職訊信號之—視訊播放時間，及該已解 竭音訊信號之一音訊播放時間。 藉由該串流同步模組、多階層影音解碼模組，及播放 同步拉組，以結合可調式多媒體編/解碼技術和可適性多媒 體串流控制架構，的確可以達成本發明之目的。 7 200922328 【實施方式】 有關本舍明之前述及其他技術内容、特點與功效，在 以下配合參考圖式之—個較佳實施例的詳細說明中，將可 清楚的呈現。 參閱圖1 ’本發明利用影音同步技術與頻寬適應性技術 之分層式多媒體串流系統之較佳實施例包含一伺服㈱】及 一客戶端處理單元2。該伺服器1包括-多階層影音編碼模 組11及-頻寬適應模組12。該客戶端處理單元2包括一串 流同步模組21、一多階層影音解碼模組22、一播放同步模 組23 ’及一影音播放模组24。該争流同步模組21具有一 延遲抖動（Delay Jitte〇消除子模組211、一條件式重傳子 模組212 ’及一接收資料緩衝器（Buffer) 213。該播放同步 模組23具有一視訊播放緩衝器231，及一音訊播放緩衝器 232。 該多階層影音編碼模組丨丨將輸入之一視訊信號與一音 訊信號’分別編碼為一分層視訊位元流（Layered video Bitstream)及刀層音訊位元流（Layered Audio Bitstream ) 。其中該多階層影音編碼模組丨i在實施上可採用現有的可 調式多媒體編碼技術，例如，FGS、BSAC等。且該分層視 訊位元流具有複數視訊訊框（Vide〇 Frame)，該分層音訊位 元流具有複數音訊訊框（Audio Frame )。每一視訊訊框具有 一視訊基礎層（Video Base Layer)與至少一視訊加強層（ Video Enhanced Layer)，每一音訊訊框具有一音訊基礎層（ Audio Base Layer)與至少一音訊加強層（Audio Enhanced 8 200922328

Layer)。音訊/視訊基礎層為每一音訊/視訊訊框解碼時所需 的最基本資料，而音訊/視訊加強層則是用以改善音訊/視訊 基礎層解碼後的品質。

該頻寬適應模組12用以決定欲傳送之該分層視訊位元 流之位元率（Bit-rate)與該分層音訊位元流之位元率，並 將其透過一網路3傳送。由於可調式多媒體編/解碼技術的 特性’音訊/視訊基礎層必須先被正確地解碼，音訊/視訊加 強層才旎夠進一步改善音訊/視訊基礎層解碼後的品質。因 此，該頻寬適應模組12必須先預留音訊/視訊基礎層欲傳送 的位元率，剩餘的才是音訊/視訊加強層之位元率（以 表示）’如式（1)所定義。 丄reI=Trtotal—TrA bi—Trv,bi……，,^ 其中TrtotaI代表該網路3之預測可用頻Hi代表 音訊基礎層之位元率，Trv，M代表視訊基礎層之位元率。 然後’該頻寬適應模組12再根據該預測可用頻寬所求 出的音§孔/視訊加強居 / ;玄， 速層之位兀率，並利用人類感知（

Perception)特性，以沐 、疋人傳送的S亥g訊加強層之數目及 該視訊加強層之數目。—舻 身又而δ 在人類的感知中，聽謦 較視覺重要許多，加上满1咨姐认初 I寬 上視SfL貢枓的解碼器能夠利用内插 Interleave )撥放的t彳 人 現遺失的書㈤彳式，配合人類視覺暫留的特性，來呈 現遺失的晝面。所以，就多媒體 音訊資料較視訊資料^,. gp 優先權而厂 貝针回泎多，即，欲傳 之數目會小於欲傳误玷+ t ^見误加強層 人傅迗的該音訊加強層之數 視訊加強層之數目比（ 攸'•又9 afL/ (以R表不），如式（2) 9 200922328 a ν**"**" ………......………… (2 ) 其中Na代表該音訊加強層之數目，Nv代表該視訊加 強層之數目。而每一音訊加強層的資料量約為2κβ，每一 視訊加強層的資料量約為1GKB。該音訊/視訊加強層之數目 比R值，可以綜合音訊與視訊的品質來作決定。假設一音 訊/視訊共同品質（以Qav表示），如式（3)所定義

QaV=2xQa+Qv……………………..............."（3) 其中Qa代表音訊品質，係以客觀差異等級（〇bjective 歸⑽ce Grade，簡稱〇DG )與失真指標（此咖

Index，簡稱DI)作為評量標準；Qv代表視訊品質，係以 訊噪比（Peak Signal to Noise Rati〇，簡稱 pSNR )作為評量 標準。由於ODG較適合評量品質較高的音訊，❿〇ι可評 量各種品質高低不同的音訊，故取〇DG與di之平均值作 為音訊品質的等級。而〇DG與DI的值將由原本的心㈣ 將其線性正規劃（Linear N_alize)到卜4()。經過眾多實 驗的結果，最佳化的音訊/視訊加強層之數目比r值為$， 依此觀念建立了一加強層位元率與加強層數目對應表（

Mapping TaMe)’如表i所示。在本較佳實施例中該頻寬 適應模組12係、以該音訊/視訊加強層之位$率，直接對應出 仅傳达的該音訊加強層之數目及該視訊加強層之數目。表1 中U表音訊加強| ^ (即，音訊加強層之數 \ 口两 172 ，拉^代表視訊加強層(即，視訊加強層之數目為"） 表1、加強層位元率與加強層數目對應表 10 200922328 加強層位元率 加強層數目 2KB El^ 4KB EI^-2 10KB Ell5 20KB Ell5，Εΐζ 22KB ' Εΐζ ; 50KB E^2Q ' EI\ 60KB ei120，ei12 (2xm+ 10xn ) KB ，ΕΙΙ„ 該伺服器1會將該分層視訊位元流與該分層音訊位元 流分割為複數封包（Packet)，透過該網路3進行傳送。當 該客戶端處理單元2接收到該等封包時，該串流同步模組 21用以使已接收之該分層視訊位元流與分層音訊位元流， 在預定的一解碼時間内送入該多階層影音解碼模組22。其 中已接收之該分層視訊位元流與分層音訊位元流係儲存於該 接收資料緩衝器213。該延遲抖動消除子模組211係統計該 網路3目前的一延遲時間，並使對應該接收資料緩衝器213 之一可呈現時間長度（Temporal Presentation Length)大於 該延遲時間，藉以使該分層視訊位元流及該分層音訊位元流 在該解碼時間内送入該多階層影音解碼模組22。而該可呈 現時間長度係由該接收資料緩衝器213内之該分層視訊位元 11 200922328 流的視訊訊框之數目，與該分居立％ , /刀層a訊位元流的音訊訊框之數 目所決定。 該延遲抖動消除子模組211先求出一開始延遲抖動門根 值，若該可呈現時間長度小於該_延遲抖動Η檻值，則透 過該網路3回傳-開始延遲抖動消除訊息給該頻寬適應模組 12。假設該開始延遲抖動門檻值（以项表示），如式（4 )所定義。 尸 aX』max+(1 —a)xJavg,… ................(4) 其中】腿代表最大延遲抖動時Havg代表平均延遲 :動時間’而w與Javg是該延遲抖動消除子模組2ΐι根 據該網路3目綠聽計而得；a代表—㈣參數，且^ 。當該頻寬適應模組12接故到該開始延遲抖動消除訊息 會進-步調整欲傳送之該分層音訊位元流之音訊訊框的間 二數目⑺FRa表示)’及該分層視訊位元流之視訊訊框的 間隔數目（以㈣表示)，分別如式⑸〜⑷所定義。 FRa- (TrA，bl+ TrA，el)/(TrA，b】+ (TrA e】/2))..…………（5) 其中TrA，bl為音訊基礎層之位元率，I為音訊加強層 之位率。 FRV - (Trv，bl + Trv，el)/(Trv,bl + Trv，el_min)…………·⑷ 其中Trv，bl為視訊基礎層之位元率，為視訊加強層 之位元率’ Trv，el_min為最小所需視訊加強層之位元率。 該延遲抖動消除子模組211繼而求出—停止延遲抖動門 威值’若該可呈現時間長度大於該停止延遲抖動㈣值，則 過該網路3回傳該停止延遲抖動消除訊息給該頻寬適應模 12 200922328 ^表示），如式 組12。假設該停止延遲抖動門檻值（ (7 )所定義。 THsj = rxJmax ................................. ^中r代表-調整參數，當該頻寬適應模組12 到 延遲抖動消除訊息，該伺服器1會回到原始的傳送槿 式。該調整參數r值的大小，會影響到「延遲抖動消除、 運作頻率，與低-品質音訊/視訊時間的長度。當Γ值較大時 ，由「延遲抖動消除」所造成的低·品質音訊/視訊時間的長 度將較長（因為傳送較少的加強岛 的加強層串流，故使得影音品質較 由於延遲抖動消除」對音訊品質的影響較大，在本 =實施财，音料1•值設為視訊的^值被設為 該條件式重傳子㈣加先計算—可允許的封包延遲 時間門播值，用以判斷是否右 斷疋否有封包遺失。假設該可允許的封 匕延遲時間Η檀值（以THd表示），如式⑷所定義。 THd^bxJmax+(1-b)xJavg............ ⑷ 其中b為-個控制參數，控制伽介於】酿與 間的比例；當某_封白沾 將M a 遲時間大於™時，則此封包 ^為遺失。料封包遺失，則雜件式重料模組m進 次粗情遺失的封包是否具有視訊基礎層或音訊基礎層之 根攄兮該可呈現時間長度是否大於一封包重傳所需時間（ ^網路3目前狀態統計叫）；若是，麟過該網路3 =封包重傳訊息給該頻寬適應模Μ 12。當該頻寬適應 吴、'且12接收到某—封包之封包重傳訊息時，會依該預測可 13 200922328 12頻封包之重傳；該頻寬適應模組 ^同時接收到數個封包的封包重傳訊息時，會依各封包之 、序刀另J為.視§fl訊框内的];_訊 框最高、音訊訊框次之，雜却4 y 硯讯矾框内的其他類型訊框（如， B-訊框、P-訊框）最低。 于提的疋該延遲抖動消除子模組211與該條件式 重傳子模組212可以分開進行，但其等亦可同時進行。當該 延遲抖動鎌子模組211與該條件式重傳子模組212同時進 行時，封包重傳所需的位元率會先被保m⑸〜（6 )所定義之音訊訊框的間隔數目FRa與視訊訊框的間隔數 目FRv，可進一步修改如式（9)~⑽所定義。 FRa=(Tr"bl+Tr--T^〇^ (9) 其中TrA’ret代表音訊封包重傳所需的位元率。 FRv=(Trv,bI+TrVt_TrVret)/(Trvbi+T^ ( ι〇) 其中Trv’ret代表視訊封包重傳所需的位元率。 在該串流同步模組21處理的過㈣，料階層影音解 碼模組22錢地自該接收料緩衝器2U _取該分層視 訊位元流與該分層音訊位元流，並將其等分別解碼為一已解 碼視訊信號及-已料音訊”。其"多階層影音解碼模 組22在實施上可採用現有的可調式多媒體解碼技術，並對 應於該多階層影音料模組u所採用的可調式多媒體編碼 ㈣彡音解_組22解碼出的該已解瑪視訊信 號及已解碼日訊號’分別儲存於該視訊播放緩衝器如及 音訊播放缓衝器232。 14 200922328 該播放同步模組23利用式（11 ) ~ ( 18 )逐步計算， 以決定該已解碼視訊信號之一視訊播放時間，及該已解碼音 訊信號之一音訊播放時間。 r A m a X ^ T A in a X τ A m in …( 11 ) 其中TAmax代表一最大音訊解碼時間（解碼資料包括 音訊基礎層和所有的音訊加強層），TAmin代表一最小音訊 解碼時間（解碼資料只包括音訊基礎層），RAmax代表一最 大音訊解碼時間差。 R.Vm3.x~~ in3.X — ………(12) 其中TVmax代表一最大視訊解碼時間（解碼資料包括 視訊基礎層和所有的視訊加強層），TVmin代表一最小視訊 解碼時間（解碼資料只包括視訊基礎層），RVmax代表一最 大視訊解碼時間差。 PA(l) — TA(1)_(_ RAnicix........................（13 ) pV(1) — r11 (1) "~|'1 nia( 1 ) P(av) = max{PA(l) ’ PV^l)}·*····.......^ 15) PA(1)二 P(av)，PV(l) = P(av)·......*·*·*.............. 16) 其中TA(1)及TV(1)分別代表第一個音訊封包進入該音 訊播放緩衝器232，與第一個視訊封包進入該視訊播放緩衝 器23 1的時間，P(av)代表影音起始播放時間，PA(1)及 PV(1)分別代表解碼出之第一個音訊/視訊訊框的播放時間， 最後皆設為該影音起始播放時間。 由於影音資料的時間解析度是可以動態改變的，為了 支援可變的時間解析度，對應第i個音訊/視訊訊框（i22) 15 200922328 之音訊/視訊播放時間（以PA⑴/pv⑴表示）如下。 PA(i)=pA(i_1)+Ua(i)……...............( 17) PV(i) = PV(M)+Uv⑴…· … …⑴） 其中Ua⑴與Uv(i)分別代表第i個音訊/視訊訊框之時 間間隔該播放同步模組23會依該視訊播放時間pv(i)與 該音訊播放時間PA⑴，分別將該視訊播放緩衝器231内的 該已解碼視訊信號，及該音訊播放緩衝器232内的該已解碼 音訊信號，適時地送入該影音播放模組24進行播放。 歸納上述，藉由各模組間之相互配合運作，可成功地 、'« &可調式夕媒體編碼技術的特性和可適性多媒體串流控制 架構’以適應不同的使用者設備和網路特性，並滿足異質網 路中各種不同影音服務品質需求的制者，的確可以達成本 發明之目的。 惟以上所述者，僅為本發明之較佳實施例而已，當不 能以此限定本發明實施之範圍’即大凡依本發㈣請專利 範圍及發明說明内容所作之簡單的等效變化與修飾，皆仍 屬本發明專利涵蓋之範圍内。 【圖式簡單說明】 圖1是-系統方塊圖，說明本發明利用影音同步技術 與頻寬適應性技術之分層式多媒體串流系統之較佳實施例 16 200922328 【主要元件符號說明】 1 · •…伺服器 »♦*♦(·· …·多階層影音編瑪 模組 12，* * λ ·， •…頻寬適應模組 ♦*♦»·»»« …·客戶端處理單元 1 * · *«»« …·串流同步模組 211… ’…延遲抖動消除子 模組 212… …條件式重傳子模 組 213……接收資料緩衝器 22………多階層影音解碼 模組 2 3………播放同步模組 231 ·……視訊播放緩衝器 232…·…音訊播放緩衝器 24………影音播放模組 3……· ·，‘，網路 17

Claims (1)

1. 200922328 十、申請專利範圍： 1·—種利用影音同步技術與頻寬適應性技術之分層式多媒 體串流系統，包含： 、 客戶端處理單凡，包括—_流同步模組、一多階 層影音解碼模組，及—播放❹模組，該串流同步模,且 用以使已接收之-分層視訊位元流與—分層音訊位元流 ，在預定的—解碼時間内送人該多階層影音解碼模电， 該多階層影音解賴組心將該分層視訊位元流盘該分 層音訊位元流分別解碼為L馬視訊信號及_已解碼 音訊信號，該播放同步模組用以決定該已解碼視訊信號 之-視訊播放時間，及該e解碼音訊信號之-音 時間。 2·依據中請專利範圍第丨項所述之制影音同步技術盘頻 寬適應性技術之分層式多媒體串流系統，其中該播放同 步模組具有一視訊播放缓衝器及—音訊播放緩衝器分 別用以儲存該已解碼視訊信號與該已解碼音訊信號。 3. 依據申請專利範圍第2項所述之利用影音同步°技_頻 寬適應性技術之分層式多媒體_流系統，其中嗜客戶端 處理單元更包括一影音播放模组，該播放同㈣組係依 該視訊播放時間與該音訊播放時間，分別將該視訊播放 緩衝器内的該已解碼視訊信號，及該音訊播放緩衝器内 =該已解碼音訊信號，適時地送人該影音播放模組進行 播放。 4. 依據中請專利範圍第t項所述之利用影音同步技術與頻 18 200922328 寬適應性技術之分層式多媒體串流系統，更包含一伺服 器，該伺服器包括一多階層影音編碼模組，該多階層影 音編碼模組用以將一視訊信號與一音訊信號分別編碼為 該分層視訊位元流與該分層音訊位元流，其中該分層視 λ位元流具有複數視a訊框，該分層音訊位元流且有複 數音訊訊框，每一視§fl訊框具有一視訊基礎層與至少一

   視訊加強層，每一音訊訊框具有一音訊基礎層與至少一 音訊加強層。 5，依據申請專利範圍第4項所述之利用影音同步技術與頻 寬適應性技術之分層式多媒體串流系統，其中該饲服器 更包括一頻寬適應模組，該頻寬適應模組用以決定欲傳 送之該分層視訊位元流之位元率與該分層音訊位元流之 位元率，並將其透過一網路傳送。 影音同步技術與頻 統，其中該頻寬適 見’並利用人類感 之數目及該音訊加 6·依據申請專利範圍第5項所述之利用 寬適應性技術之分層式多媒體串流系 應模組係根據該網路之一預測可用頻 头特性’決疋欲傳送的該視訊加強層 強層之數目。 依據申請專利範圍第6項所述之利用影音同步技術盘頻 寬適應性技術之分層式多媒體串流系統，其中欲傳送的 該視訊加強層之數目小於欲傳送的該音訊加強層之數目 〇 .依據中請專利範圍第6項所狀則影音同步技術與頻 寬適應性技術之分層式多媒體串流系統，其中該串流同 19 200922328 =組具有-接收資料緩衝器及—延遲抖動消除子模组 ’該接收資料緩衝器用以儲存已接收之該分層立、: 該分層音訊位元流，該延遲抖動消除子模組用以： =網路目前的一延遲時間’並使對應該接收資料緩衝 可呈現時間長度大於該延遲時間，藉以使該分= 視訊位元流及該分層音邙- θ 刀層a訊位兀流在該解碼時間内送入哕 :階層影音解碼模組，其中該可呈現時間長： 收貪料緩衝器内之該分芦葙1你_、* 〆接 ，與，八… 位7"流的視訊訊框之數目 與該刀層曰訊位元流的音訊訊框之數目所決定。 9·^請專利範㈣8項所述之利用影音同步技術與頻 性技術之分層式多媒體串流系統，其中該延遲抖 動4除子模組係透過該網路， π自m 1始延遲抖動消除 r延遲抖動消除訊息給該頻寬適應模 ^寬適應模料欲傳送之該分層視訊位元^ 之視訊訊框的間隔數目，及該分層音訊位元流之 框的間隔數目。 訊 办H胃專利第9項所述之利用影音同步技術與頻 見k應性技術之分層式多媒體串流系統，1中若 現時間長度小於一開始#€# /、 ΠΛ 了呈 造朴動門#值，貝回傳該開始 延遲抖動消除訊息，若該可呈現時間長度大K亭止延 遲抖動門插值，則回傳該停止延遲抖動消除訊息。 寬專利範圍第8項所述之利用影音同步技術與頻 服器之該分層視訊位1;=::統，其中來_ 與該刀I音訊位元流係分割為 20 200922328 複數封包，透過該網路傳送給該客戶端處 •里早元，該串 流同步模組更具有一條件式重傳子模袓，兮作 误、.且該條件式重傳 子模組用以判斷是否有封包遺失，並判斷是否需透過該 網路回傳一封包重傳訊息給該頻寬適應模组。 12. 依據申請專利範圍第Η項所述之利用影音同步技術與頻 寬適應性技術之分層式多媒體串流系統，其中若遺失的 封包具有視訊基礎層或音訊基礎層之資料，且該可呈現 時間長度大於-封包重傳所需時間門檀值，則回傳該封 包重傳訊息給該頻寬適應模組。 13. 依據申請專利範圍第1 9 @+立丨 . 弟2項所述之利用影音同步技術與頻 寬適應性技術之分層式多 6 適應模組接收到竿—封 “統’其中當該頻寬 剛可用頻bp 封包重傳訊息時，會依該預 ，、疋疋否進行此封包之重傳。 21