TWI354495B - - Google Patents

Description

1354495 九、發明說明： 【發明所屬之技術領域】 本發明是有關於一種多媒體串流系統，特別是指一種 利用影音同步技術與頻寬適應性技術之分層式多媒體串流 系統。 【先前技術】 由於寬頻網路和IEEE 802.11b/g網路的普及，加上新 興的行動3G和Wi-Max網路，在共構而成的異質網路中， 使用者可以利用任何一種設備，連上不同的網路來存取網 路上的影音多媒體資源。 為了滿足不同使用者對於服務品質的需求，可調式多 媒體編碼（Scalable Multimedia Coding )技術可以將影音資 料壓縮成不同品質的檔案；此外，一個良好設計的可適性 多媒體串流（Adaptive Multimedia Streaming )控制架構， 則能夠根據當時不同的網路資源，適當地改變傳輸速度， 以調整影音撥放的解析度和品質。因此，欲滿足現今異質 網路中各種不同服務品質需求的使用者，結合可調式多媒 體編碼技術的特性和可適性多媒體串流控制架構，將是非 常重要的議題。 就可調式多媒體編碼技術而言，目前有許多不錯的技 術，例如，轉換編碼（Transcoding )、精敏可調式的視訊編 碼（Fine Granularity Scalability，簡稱 FGS)，以及位元切 割的算術音訊編碼（Bit Sliced Arithmetic Coding，簡稱 BSAC)，已經被提出。其中，FGS和BSAC技術的主要優 5 13.54495 點在於只需要以最高品質的模式編碼過一次，就能夠產生 不同基礎層和加強層的串流稽案’且解碼器就能夠從接收 到的串流資料（包含基礎層和部份加強層）進行解瑪。然 而，不同的基礎層和加強層數量的多媒體資料，有著不同 的解碼時間複雜度，會造成影音串流在同步撥放上的困難 。但是，現有的技術和文獻，均甚少針對此問題進行討論 與研究。 _就可適丨生多媒體串流控制架構而言，存在著三個影響 同步的主要因素：第一、時變的網路頻寬，第二、不可預 期的時間延遲抖動（Delay Jitter)，第三、封包遺失。關於 「時變的網路頻寬」因素’目前已經有很多好的網路頻寬 估測技術與參考軟體（如TOPP、sLoPP、pathChirp等）， 被用來精確估測傳輸控制協定（Transmissi〇n c〇ntn)1 Protoco卜簡稱TCP) /使用者資料流協定（仏“ d叫職 Μ嶋卜簡稱UDP)交通（ΤΓ版）下的可用頻寬。關於 「不可預期的時間延遲抖動」因f，相關的緩衝區控制， 也被提出用來減少時間延遲抖動現象的影響。例如，利用 調整解碼端的播放速度作緩衝區的管理、利用調整伺服器 端的傳送速度來彌補網路延遲抖動的問題，或者利用緩衝 區的配置方法來處理延遲時間抖動的問題。關於「封包遺 失」因素，封包重傳機制也常被用來改善因為封包遺失而 降低的影音品質。例如，依據遺失封包的重要性來決定是 否重傳封包，或者利用一種條件式的重傳機制，當遺失封 包造成的影音失真超過其訂定的門檻，則予以重傳遺失的 6 13.54495 封a。然而 -“上可適性的多媒體串流技術，大多著重於 傳統的早層之影音資料傳送，並未針對，.曰人八居 影音資料的編/解碼特性進行一+ 分層之可調式 ，行性進仃設计，這將很 音編碼技術在異質網路中影音串流的優點。調式衫 故，有必要尋求一解決之道’結合可調式多媒體編碼 技術的特性和可適性多媒俨“狄“ 夕媒體名碼 體$流控制架構，㈣應不同的 使用者設備和網路特性，並滿 服務品質需求的使用者。 質網路中各種不同影音

【發明内容】 ，因此，本發明之目的，即在提供_種利用影音同步技 術與頻寬適應性技術之分層式多媒體串流系統。

於疋，本發明利用影音同步技術與頻寬適應性技術之 分層式多媒體串流系統是包含一客戶端處理單元。該客戶 端處理單元包括-串流同步模組、—多階層影音解碼模組 ’及一播放同步模組。料流同步模組用以使已接收之一 分層視訊位元流與-分層音訊位元流，在預定的一解石馬時 間内送入該多階層影音解碼模組。該多階層影音解妈模組 用以將該分層視訊位元流與該分層音訊位元流分別解碼為 一已解碼視訊信號及一已解碼音訊信號。該播放同步模組 用以決定該已解碼視訊信號之一視訊播放時間，及該已解 媽音訊信號之一音訊播放時間。 藉由該串流同步模組、多階層影音解碼模組，及播放 同步模組，以結合可調式多媒體編/解碼技術和可適性多媒 體串流控制架構，的確可以達成本發明之目的。 7 1354495 【實施方式】 #關本發明之前述及其他技術内容、特點與功效，在 以下配合參考圖4夕 >m Μ八疋一個較佳實施例的詳細說明中，將可 清楚的呈現。 #09® 1’本發明利用影音同步技術與頻寬適應性技術 之刀層式夕媒體串流系統之較佳實施例包含-伺服S 1及 客戶端處理單疋2。該伺服器1包括一多階層影音編碼模 組11及一頻寬適應模組12。該客戶端處理單元2包括一串 流同步模組21、一 ^ ptb & . 夕1^層影音解碼模組22、一播放同步模 組23及衫音播放模組24。該串流同步模組21具有一 延遲抖動（Delay jitter)消除子模組211、一條件式重傳子 模組212 ’及一接收資料緩衝器（Buffer) 213。該播放同步 模組23具有一視訊播放緩衝器231，及一音訊播放緩衝器 232。 該多階層影音編碼模組i丨將輸入之一視訊信號與一音 訊仏號’为別編碼為一分層視訊位元流（Layered Video Bitstream)及一分層音訊位元流（Layered Audio Bitstream) 。其中該多階層影音編碼模組11在實施上可採用現有的可 調式多媒體編碼技術，例如，FGS、BSAC等。且該分層視 訊位元流具有複數視訊訊框（Video Frame)，該分層音訊位 元流具有複數音訊訊框（Audio Frame)。每一視訊訊框具有 一視訊基礎層（Video Base Layer)與至少一視訊加強層（ Video Enhanced Layer)，每一音訊訊框具有一音訊基礎層（ Audio Base Layer)與至少一音訊加強層（Audio Enhanced 8 13.54495

Layer)。音訊/視訊基礎層為每一音訊/視訊訊框解碼時所需 的最基本資料，而音訊/視訊加強層則是用以改善音訊/視訊 基礎層解碼後的品質。 該頻寬適應模組12用以決定欲傳送之該分層視訊位元 流之位元率（Bit-rate)與該分層音訊位元流之位元率，並 將其透過一網路3傳送。由於可調式多媒體編/解碼技術的 特性’音訊/視訊基礎層必須先被正確地解碼，音訊/視訊加 強層才能夠進一步改善音訊/視訊基礎層解碼後的品質。因 此，該頻寬適應模組12必須先預留音訊/視訊基礎層欲傳送 的位元率，剩餘的才是音訊/視訊加強層之位元率（以 表示），如式（1)所定義。

Trel — Trtotal — TrA bl — TrVjbl................................. (1) 其中Trt()tal代表該網路3之預測可用頻寬，Τγα 代表 音訊基礎層之位元率，Trvbi代表視訊基礎層之位元率。 然後，該頻寬適應模組12再根據該預測可用頻寬所求 出的音訊/視訊加強層之位元率，並利用人類感知（ Perception)特性，以決定欲傳送的該音訊加強層之數目及 該視訊加強層之數目。一般而言，在人類的感知中，聽覺 較視覺重要許多’加上視訊資料的解碼器能夠利用内插（ InterleaVe)撥放的方式’配合人類視覺暫留的特性，來呈 現遺失的4面。所以，就多媒體資料傳送的優先權而言， 音訊資料較視訊資料高許多；即，欲傳送的該視訊加強層 之數目會小於欲傳送的該音訊加強層之數目。假設一音訊/ 視訊加強層之數目比（以R表示），如式⑺所定義。9 ° 9 13.54495 • R=Na/Nv...................................................... (2) 其中Na代表該音訊加強層之數目，Nv代表該視訊加 強層之數目。而每一音訊加強層的資料量約為2ΚΒ，每一 視訊加強層的資料量約為10ΚΒ。該音訊/視訊加強層之數目 比R值，可以综合音訊與視訊的品質來作決定。假設一音 訊/視訊共同品質（以Qav表示），如式（3)所定義。

Qav = 2xQa+Qv............................................... (3) 其中Qa代表音訊品質，係以客觀差異等級（Objective 鲁 Difference Grade，簡稱 ODG )與失真指標（Distortion

Index，簡稱DI)作為評量標準；Qv代表視訊品質，係以 訊嗓比（Peak Signal to Noise Ratio，簡稱 PSNR )作為評量 標準。由於ODG較適合評量品質較高的音訊，而DI可評 量各種品質高低不同的音訊，故取ODG與DI之平均值作 為音訊品質的等級。而ODG與DI的值將由原本的-4.0〜0.0 將其線性正規劃（Linear Normalize )到0~40。經過眾多實 驗的結果，最佳化的音訊/視訊加強層之數目比R值為5， • 依此觀念建立了一加強層位元率與加強層數目對應表（ Mapping Table )，如表1所示。在本較佳實施例中，該頻寬 適應模組12係以該音訊/視訊加強層之位元率，直接對應出 欲傳送的該音訊加強層之數目及該視訊加強層之數目。表1 中，£1^代表音訊加強層l~m (即，音訊加強層之數目為m )，丨_„代表視訊加強層1〜《(即，視訊加強層之數目為η) 〇 表1、加強層位元率與加強層數目對應表 10 1354495 加強層位元率 加強層數目 2KB 4KB Eli2 10KB 20KB 成-5，硪 22KB d 50KB EH 60KB , Ell2 j (2xm +ΙΟχη) KB ，Ell„

該伺服器1會將該分層視訊位元流與該分層音訊位元 流分割為複數封包（Packet)，透過該網路3進行傳送。當 該客戶端處理單元2接收到該等封包時，該串流同步模組 21用以使已接收之該分層視訊位元流與分層音訊位元流， 在預定的一解碼時間内送入該多階層影音解碼模組22。其 中已接收之該分層視訊位元流與分層音訊位元流係儲存於該 接收資料緩衝器213。該延遲抖動消除子模組211係統計該 網路3目前的一延遲時間，並使對應該接收資料緩衝器213 之一可呈現時間長度（Temporal Presentation Length)大於 該延遲時間，藉以使該分層視訊位元流及該分層音訊位元流 在該解碼時間内送入該多階層影音解碼模組22。而該可呈 現時間長度係由該接收資料緩衝器213内之該分層視訊位元 11 13.54495 流的視訊訊框之數目，與該分層音訊位元流的音訊訊框之數 目所決定》 該延遲抖動消除子模組m先求出—開始延遲抖㈣權 值，若該可呈現時間長度小於該開始延遲抖動門捏值則透 ㈣網路3回傳-開始延遲抖動消除訊息給該頻寬適應模組 12。假設該開始延遲抖動門檻值（以THj表示），如式㈠ )所定義。

THj = axJmax +(1- ....................................... 其中Jmax代表最大延遲抖動時間，_代表平均延遲 抖動時間’而Jmax與Javg是該延遲抖動消除子模組2ιι根 據該網路3目前狀態統計而得；a代表—控制參數且〇◊ <1。當該頻寬適應模、组12接收到該開始延遲抖動消除訊息 ，會進-步調整欲傳送之該分層音訊位元流之音訊訊框的間 隔數目（以FRa表示），及該分層視訊位元流之視訊訊框的

間隔數目（以FRv表示），分別如式（5) ~ (6)所定義。 FRa=(TrA)bl + TrA)el)/(TrA bi+(TrA ei/2))..............⑸ 其中TrA，b】為音訊基礎層之位元率，Tj：A,e】為音訊加強層 之位元率。 FRv = (Trv>bl + TrV)e,)/(Trv>bl + Trv,el_min)............... (6) 其中Trv’bl為視訊基礎層之位元率，為視訊加強層 之位元率，Trv，el_min為最小所需視訊加強層之位元率。 該延遲抖動消除子模組211繼而求出一停止延遲抖動門 樣值’若該可呈現時間|度大於該停止延遲抖動門捏值，則 透過該網路3回傳該停止延遲抖動消除訊息給該頻寬適應模 12

組12。假設該停止延遲抖動門檻值（以THsj表示），如式 (7)所定義》 X ™Sj = rXjmaX.................................................. (7) _其中Γ代表一調整參數，當該頻寬適應模組12接收到 这停止延遲抖動消除訊息，該伺服器1會回到原始的傳送模 式。該調整參數r值的大小，會影響到「延遲抖動消除」的 運作頻率，與低-品質音訊/視訊時間的長度。當Γ值較大時 k遲抖動/肖除」所造成的低_品質音訊/視訊時間的長 度將較長（因騎送較少的加㈣串流，故使得影音品質較 差）Φ於「延遲抖動消除」對音訊品質的影響較大，在本 較佳實施例中’音訊的r值設為2 Q :而視訊的^值 1.5。 該條件式重傳子模組212先計算一可允許的封包延遲 時間門檻值’用以判斷是否有封包遺失。假設該可允許的封 包延遲時間門檻值（以THd表示），如式（8)所定義。 THd = bxJmax+(i-b)xJavg.............................. (g) 其中b為-個控制參數，控制THd介於與_ 間的比例；當某-封包的延遲時間大於丁則時，則此封包 將視為遺失。若有封包遺失，則該條件式重傳子模組212進 一步判斷：遺失的封包是否具有視訊基礎層或音訊基礎層之 資料，且該可呈現時間長度是否大於—封包重傳所需時間（ 根據該網路3目前狀態統計而得）；若是，則透過該網路3 回傳-封包重傳訊息給該頻寬適應模组…當該頻寬適應 模組U接收到某-封包之封包重傳訊息時，會依該預測可 13 13.54495 用頻寬決定是否進行此封包之重傳；且當該頻寬適應模組 12同時接收到數個封包的封包重傳訊息時，會依各封包之 優先權進行重傳，其優先權順序分別為：視訊訊框内的ς訊 框最高、音訊訊框次之，視訊訊框内的其他類型訊框（如， Β·訊框、ρ-訊框）最低。 值得一提的是，該延遲抖動消除子模組211與該條件式 重傳子杈組212可以分開進行，但其等亦可同時進行◊當該 延遲抖動消除子模組211與該條件式重傳子模組212同 行時，封包重傳所需的位元率會先被保留，且式（5)〜（6 )所定義之音訊訊框的間隔數目FRa與視訊訊框的間隔數 目FRv，可進一步修改如式（9)〜（1〇)所定義。 FRa = (TrA’b丨 + TrA，e丨-TrA ret)/(TrA上丨 + (Tra e丨/2))⑼ 其中TrA，ret代表音訊封包重傳所需的位元率。 FRv = (Trv,M+Trv,el-Trv,re〇/(Trvbi+Trv^ 〇〇) 其中Trv，ret代表視訊封包重傳所需的位元率。 在該串流同步模組21處理的過程中，該多階層影音解 碼模組22不斷地自該接收資料緩衝器213内讀取該分層視 訊位元流與該分層音訊位元流，並將其等分別解碼為一已解 碼視訊信號及-已解碼音訊㈣。其巾該多階層影音解碼模 組22在實施上可㈣現有的可赋多媒體解碼技術，並對 應於該多階層影音編碼模組11所採㈣可調式多㈣編碼 技術。該多階層影音解碼模組22解碼出的該已解碼視訊信 號及已解碼音訊信號，分簡存於該視訊㈣緩衝器如及 音訊播放緩衝器232。 14 13.54495 - 該播放同步模組23利用式（11) ~ ( 18)逐步計算， 以決定該已解碼視訊信號之一視訊播放時間，及該已解碼音 訊信號之一音訊播放時間。 RAmax = TAmax — TAmin................................ (11) 其中TAmax代表一最大音訊解碼時間（解碼資料包括 音訊基礎層和所有的音訊加強層），TAmin代表一最小音訊 ' 解碼時間（解碼資料只包括音訊基礎層），RAmax代表一最 ' 大音訊解碼時間差。 • RVmax= TYmax— TVmin................................ ( 12 ) 其中TVmax代表一最大視訊解碼時間（解碼資料包括 視訊基礎層和所有的視訊加強層），TVmin代表一最小視訊 解碼時間（解碼資料只包括視訊基礎層），RVmax代表一最 大視訊解碼時間差。 PA(1)=TA(1)+RAmax................................... (13) PV(l)=TV(l)+RVmax................................... (14) P(av) = max{PA(l)，PV(1)}............................. (15) _ PA(l)=P(av)，PV(l) = P(av)........................... (16) 其中TA(1)及TV(1)分別代表第一個音訊封包進入該音 訊播放緩衝器232,與第一個視訊封包進入該視訊播放緩衝 器231的時間，P(av)代表影音起始播放時間，PA(1)及 PV(1)分別代表解碼出之第一個音訊/視訊訊框的播放時間， 最後皆設為該影音起始播放時間。 由於影音資料的時間解析度是可以動態改變的，為了 支援可變的時間解析度，對應第i個音訊/視訊訊框（i22) 15 1354495 之音訊/視訊播放時間（以PA⑴/Pv⑴表示）如下。 PA(i)=PA(i-i)+Ua⑴....................................（17) PV(i)=PV(i-l)+Uv(i).................................... ( 18) 其中Ua(i)與uv(i)分別代表第i個音訊/視訊訊框之時 間間隔。該播放同步模組23會依該視訊播放時間ρν(〇與 該音訊播放時間PA(i)，分別將該視訊播放緩衝器231内的 該已解碼視訊信號，及該音訊播放緩衝器232内的該已解碼

音訊信號，適時地送入該影音播放模組24進行播放。 歸納上述，藉由各模組間之相互配合運作，可成功地 結合可調式多媒體編碼技術的特性和可適性多媒體串流控制 架構，以適應不同的使用者設備和網路特性，並滿足異質網 路中各種不同影音服務品質需求的使用者，的確可以達成本 發明之目的。 惟以上所述者，僅為本發明之較佳實施例而已，當不 能以此限定本發明實施之範圍，即大凡依本發明申請^利

範圍及發明說明内容所作之簡單的等效變化與修飾7皆仍 屬本發明專利涵蓋之範圍内。 【圖式簡單說明】 圖1是-系統方塊圖，說明本發明利用影音同步技術 與頻寬適應性技術之分層式多媒體串流系統之較佳實施例 16 1354495 【主要元件符號說明】 1 ....... ••…伺服器 組 11…… .....多階層影音編嫣 213 ... •…接收資料緩衝器 模組 22…… •…多階層影音解碼 12…… •…頻寬適應模組 模組 2 ....... •…客戶端處理單元 23…… …播放同步模組 21…… …·串流同步模組 231 ··· …視訊播放緩衝器 211 ···· •…延遲抖動消除子 232 ···· …音訊播放緩衝器 模組 24…… …影音播放模組 212..·· •…條件式重傳子模 3 ....... …網路 17

Claims (1)

1354495 十、申請專利範圍： L 一種利用影音同步技術與頻寬適應性技術之分層式多媒 體串流系統，包含： 客戶蝶處理單元，包括一串流同步模組、一多階 層影音解碼模組，及一播放同步模組，該串流同步模組 用以使已接收之一分層視訊位元流與一分層音訊位元流 ，在預定的一解碼時間内送入該多階層影音解碼模組， 該多階層影音解碼模組用以將該分層視訊位元流與該分 層音訊位元流分別解碼為一已解碼視訊信號及一已解碼 曰訊k號，該播放同步模組用以決定該已解碼視訊信號 之一視訊播放時間，及該已解碼音訊信號之一音訊播放 時間。 2. 依據申明專利範圍第丨項所述之利用影音同步技術與頻 寬適應性技術之分層式多媒體串流系統，其中該播放同 步模組具有一視訊播放緩衝器及一音訊播放緩衝器，分 別用以儲存該已解碼視訊信號與該已解碼音訊信號。 3. 依據中請㈣範圍第2項所述之利用影音时技術與頻 寬適應性技術之分層式多媒體串流系統其中該客戶端 處理單7L更包括-影音播放模 '组，該播放同步模組係依 該視:播放時間與該音訊播放時間，分別將該視訊播放 緩衝益内的該已解碼視訊信號，及該音訊播放緩衝器内 的該已解碼音訊信號，料地送人該影音播放模組進行 播放。 4 ·依據申請專利範圍第1 ί+' ^ I m 囷弟1項所述之利用影音同步技術與頻 18