TWI395491B

TWI395491B - 適應性解碼嵌入式視訊位元流之方法及接收系統

Info

Publication number: TWI395491B
Application number: TW099118512A
Authority: TW
Inventors: Ya Hui Yu
Original assignee: Mediatek Inc
Priority date: 2010-02-11
Filing date: 2010-06-08
Publication date: 2013-05-01
Also published as: US20110194619A1; TW201129098A; CN102158693A; EP2365693A3; EP2365693A2; US8908774B2; EP2365693B1

Description

適應性解碼嵌入式視訊位元流之方法及接收系統

本發明有關於視訊解碼，更具體地有關於適應性解碼嵌入式視訊位元流之方法及接收系統。

隨著多媒體資訊通信技術的發展，實現不同數位解碼和編碼格式的需求已經增長了。例如，對於各種視訊傳輸以及接收系統，對應原始視訊內容的已優化視訊位元流與不同環境和場景一起提供給相異終端(terminal)或者目標裝置，例如個人數位助理(Personal Digital Assistants，PDA)、手機(cell phones)、數位電視(Digital Televisions，DTVs)或者機上盒(set-top box)。多視訊流需要透過具有特定視訊內容要求的不同終端或者目標裝置，較優地適應相異網路。相應地，對應已優化視訊位元流設定以及編碼以與各種顯示裝置的終端參數相容，以使得各種原始視訊內容同時遞送(delivery)，其中，顯示裝置的終端參數例如訊框速率(frame rate)、顯示解析度(resolution)、顯示能力以及網路條件(網路條件例如寬範圍的傳輸頻寬)。

雖然不同類型傳輸器以及接收器之間可以經由使用多個已編碼視訊流而促進互操作性(interoperability)以及相容性，原始視訊內容需要多次編碼以產生分別的視訊位元流，因此大致上降低了編碼效能，其中，原始視訊內容多次編碼產生的分別的視訊流的每一者均依據不同傳輸頻寬的設定目標以及限制裝置的終端參數的組合。進一步說，當視訊內容不可獲得或者不完整時，已編碼視訊位元流首先需要解碼然後使用新設定重新編碼。作為結果，編碼和重新解碼過程增加了成本以及處理無效性(inefficiencies)。

因此，迫切需要提供一種視訊編碼以及解碼方案，不需要任何附加且耗時的解碼和重新編碼過程，就可以允許一個自原始視訊內容獲得的單一已壓縮視訊位元流與不同的傳輸頻寬以及目標裝置的終端參數相適應。

有鑑於此，本發明提供一種適應性解碼嵌入式視訊位元流之方法及接收系統。

本發明提供一種適應性解碼嵌入式視訊位元流之方法，該解碼由視訊接收系統所執行，該方法包含：接收該嵌入式視訊位元流；獲取該視訊接收系統之至少一終端參數，其中，該至少一終端參數包含該視訊接收系統之顯示參數以及系統記憶體頻寬使用參數之一者；根據該至少一終端參數截斷該嵌入式視訊位元流，以提取一已截斷視訊位元流；以及解碼該已截斷視訊位元流以重新構建視訊資料。

本發明提供一種適應性解碼嵌入式視訊位元流之接收系統，包含：一位元流分析器，用於接收該嵌入式視訊位元流，獲取該視訊接收系統之至少一終端參數，以根據該至少一終端參數截斷該嵌入式視訊位元流，以提取一已截斷視訊位元流，其中，該至少一終端參數包含該視訊接收系統之顯示參數以及系統記憶體頻寬使用參數之一者；以及一視訊解碼器，耦接到該位元流分析器，用於解碼該已截斷視訊位元流，以重新構建視訊資料。

本發明提供的適應性解碼嵌入式視訊位元流之方法及接收系統，可以根據終端參數解碼嵌入式視訊位元流，有效地提高了壓縮效能。

在說明書及後續的申請專利範圍當中使用了某些詞彙來指稱特定元件。所屬領域中具有通常知識者應可理解，製造商可能會用不同的名詞來稱呼同一個元件。本說明書及後續的申請專利範圍並不以名稱的差異來作為區分元件的方式，而是以元件在功能上的差異來作為區分的準則。在通篇說明書及後續的請求項當中所提及的「包括」和「包含」係為一開放式的用語，故應解釋成「包含但不限定於」。以外，「耦接」一詞在此係包含任何直接及間接的電氣連接手段。間接的電氣連接手段包括通過其他裝置進行連接。

第1圖為根據本發明的嵌入式(embedded)視訊位元流的示例分層(hierarchical)架構示意圖。

在第1圖的實施例中，原始視訊內容可以編碼為嵌入式視訊流，例如可調式(scalable)視訊位元流10。可調式視訊位元流10包含基礎層(base layer)100以及幾個加強層(enhancement layer)102、104以及106，加強層106、104以及102分別支持空間(spatial)可調整性(scalability)、時間(temporal)可調整性以及品質(quality)可調整性，所以第1圖中加強層106、104以及102亦可以標記為空間加強層106、時間加強層104以及品質加強層102，下文中，將上述三者統稱為加強層102、104以及106。特別地，分層架構(hierarchical structure)定義了可調式視訊位元流10的時間、空間以及品質加強層。

在運作過程中，基礎層100包含可調式視訊位元流10的最少資訊，而且代表原始視訊內容的最少細節。進一步說，可調式視訊位元流10可以分為一個或者多個級別加強層。加強層102、104以及106為細化層(refinement layer)，用於提供重新構建所需附加資訊，該重新構建所需附加資訊對應視訊資料，該視訊資料指示出原始視訊內容的更可靠的視訊表達。也就是說，用於重新構建原始視訊內容的加強層越多，原始視訊內容就越詳細。

一般說來，幾種類型的可調整性可以用於構建可調式視訊位元流10。例如，可調整性可以包含空間可調整性、時間可調整性、品質或者保真度可調整性等等，其中，空間可調整性與不同顯示解析度有關，時間可調整性與不同目標訊框速率有關，品質或者保真度可調整性與不同訊雜比(Signal-to-Noise Ratio，SNR)級別有關。更具體地，加強層可以包含一個或者多個空間加強層(例如空間加強層106)，其中，一個或者多個空間加強層適應(accommodate)空間可調整性，該空間可調整性對應不同顯示解析度，例如640乘480像素(用於VGA標準)以及800乘600像素(用於SVGA標準)。而且加強層可以包含一個或者多個時間加強層(例如時間加强層104)，其中，一個或者多個時間加強層適應時間可調整性，該時間可調整性對應不同目標訊框速率，例如每秒30訊框(frames per second，fps)以及每秒60訊框。另外，加強層可以包含一個或者多個品質加強層(例如品質加强層102)，其中，一個或者多個品質加強層適應品質可調整性，該品質可調整性對應不同SNR級別，例如30dB以及40dB。在第1圖所示實施例中可調式視訊位元流10可以根據不同解析度、不同訊框速率或者不同SNR級別而重新構建對應視訊資料。

根據一個實施例，加強層可以參考基礎層100而編碼。以此方式，在第1圖的實施例中，空間加強層106可以參考具有最低顯示解析度的基礎層100而編碼，其中最低顯示解析度例如320乘240像素(用於QVGA標準)。相似地，時間加強層104可以參考具有最低目標訊框速率，例如每秒15訊框的基礎層100而編碼。更進一步說，第1圖的品質加强層102可以參考具有最低SNR，例如25dB的基礎層100而編碼。

根據其他實施例，經由利用可調整性，一個加強層(例如具有較高顯示解析度的空間加強層)可以只參考另一個特定加強層而編碼，其中，另一個特定加強層例如具有相對較低顯示解析度的空間加強層。也就是說，相對較高級別加強層可以基於相對較低級別加強層或者基礎層而編碼。

第2圖為根據本發明的另一個嵌入式視訊位元流的分層架構示意圖。

在第2圖的實施例中，原始視訊內容，例如立體(stereoscopic)或者三維(three-dimensional，3D)視訊內容，可以編碼為嵌入式視訊流，例如，多視圖(multi-view)視訊位元流40。多視圖視訊位元流40包含基礎視圖400以及幾個關聯(dependent)視圖402、404以及406，關聯視圖402、404以及406對應一個場景的不同視圖。在運作過程中，基礎視圖400可獨立解碼以重新構建用於二維顯示的視訊資料。進一步說，適應三維視角(perspective)的關聯視圖402、404以及406參考基礎視圖400而編碼，然後用於重新構建對應立體或者三維視訊資料。

第3圖為視訊接收系統20的實施例的方塊示意圖。視訊接收系統20用於適應性解碼嵌入式視訊位元流202。視訊接收系統20可以用於不同系統，例如視訊會議系統、監視(surveillance)系統等。另外，經由使用包含廣播通道(例如，地面電視光播)、通信網路通道(例如，無線網路)以及儲存媒體(例如硬盤驅動器)的媒體源，嵌入式視訊位元流202可以自傳輸器傳輸到視訊接收系統20。

請參考第3圖，第3圖中視訊接收系統20包含位元流分析器(analyzer)204以及視訊解碼器206。

在運作過程中，位元流分析器204接收嵌入式視訊位元流202以及獲取視訊接收系統20的至少一終端參數。根據一個實施例，終端參數包含顯示參數以及/或者系統記憶體頻寬使用參數，其中，顯示參數由顯示參數控制器208提供，系統記憶體頻寬使用參數來自系統記憶體頻寬監視單元210。請注意，至少一個終端參數可以僅包含來自顯示參數控制器208的顯示參數，來自系統記憶體頻寬監視單元210的系統記憶體頻寬使用參數，或者同時包含上述二者。

根據一個實施例，視訊接收系統20用於適應性解碼可調式視訊位元流，可調式視訊位元流包含基礎層以及至少一加強層，其中，基礎層例如第1圖所示的基礎層100，加強層例如第1圖所示的加強層102、104以及106。請注意，可調式視訊位元流可以至少一種上述可調整性類型而作為特徵。視訊接收系統20實現的可調式視訊位元流的解碼過程參考第1圖以及第3圖而詳細描述如下。

在第3圖的實施例中，視訊接收系統20能夠以可調式視訊流的方式，根據至少一終端參數重新構建對應視訊資料212，其中，至少一終端參數例如顯示參數控制器208提供的顯示參數，其中，顯示參數可以為視訊資料212的顯示解析度、目標訊框速率或者SNR。顯示參數可以根據用於顯示視訊資料212的顯示單元的顯示裝置能力而確定，或者可替換地由使用者或者觀看者設定。例如，顯示解析度可以根據顯示單元(圖未示)的規格而確定。另外，顯示解析度可以根據顯示單元的顯示屏而確定，例如全屏顯示(full screen display)、子母畫面(Picture-In-Picture，PIP)顯示、分離畫面(Picture-Out-Of-Picture，POP)顯示，上述參數可以依據使用者需求而設定。

視訊接收系統20的運作描述如下。假設使用者/觀看者要求在顯示單元的整個屏幕上全屏顯示視訊資料212，其中視訊資料212自視訊接收系統20輸出，其中，顯示單元支持的顯示解析度為640乘480像素。進一步假設可調式視訊位元流包含具有320乘240像素的顯示解析度的基礎層，以及具有兩個空間加強層的幾個加強層，其中，兩個空間加強層可以適合(serve)多顯示解析度，第一個為640乘480像素，第二個為800乘600像素。運作過程中，自傳輸器接收到可調式視訊位元流之後，耦接到視訊解碼器206的位元流分析器204確定是否可調式視訊位元流需要根據視訊接收系統20(例如，顯示參數例如顯示解析度)的至少一終端參數而截断(truncate)，如果是，則截斷可調式視訊位元流，產生已截断視訊位元流214。根據已確定結果，已截断視訊位元流214然後提供給視訊解碼器206。

更具體地，視訊解碼器206首先解碼可調式視訊位元流的基礎層，接下來根據視訊接收系統20的至少一終端參數而解碼加強層。例如，在此情況下，既然顯示單元支持的顯示解析度為640乘480像素，而且第一空間加強層的解析度為640乘480像素，視訊解碼器206然後參考基礎層而解碼第一空間加強層。然後，視訊解碼器206重新構建對應視訊資料212，以匹配顯示單元支持的顯示解析度或者使用者設定的顯示解析度。附加地，請注意視訊解碼器206可以輸出視訊資料212給內部顯示單元、外部顯示單元或者上述二者。例如，視訊資料212可以同時顯示在摺疊式手機的內部/外部顯示視窗上。

對於PIP顯示或者POP顯示，自視訊接收系統20輸出的視訊資料212可在顯示單元的整個屏上疊加一個更小的視窗而顯示，或者在顯示單元上顯示為兩個並排的視窗。相似地，假設可調式視訊位元流包含基礎層以及幾個加強層，其中，基礎層具有320乘240像素的顯示解析度，幾個加強層包含兩個空間加強層。兩個空間加強層適合多顯示解析度，第一個為640乘480像素，第二個為800乘600像素。另外，假設視訊資料212確定為在兩個並排的POP視窗之一中顯示，其中，兩個並排的POP視窗將顯示單元的顯示屏分為同樣大小的兩個區域，例如，顯示單元支持的解析度為640乘480像素，則同樣大小的兩個區域則為320乘240像素。在此情況下，根據視訊接收系統200的至少一終端參數(例如，PSP視窗的顯示解析度)，位元流分析器204截断可調式視訊位元流，以提取已截断位元流214。在此方面，兩個空間加強層確定為已截断。也就是說，兩個空間加強層直接截斷或者丟棄。相應地，視訊解碼器206從可調式視訊位元流提取所需基礎層，然後不解碼兩個空間加強層而解碼所需基礎層。

請注意，進一步地，顯示參數可以根據視訊接收系統20的給定場景而確定。特別地視訊接收系統20的給定場景可以基於一些特定視訊處理運作而確定，特定視訊處理運作例如運動抖動消除(Motion Judder Cancellation，MJC)以及雜訊消除(Noise Reduction，NR)，其中，特定視訊處理運作被激活從而用於視訊資料212。

例如，MJC運作可以透過使用選單可選擇軟體按鈕的介面而激活，或者可替換地使用特定硬體按鈕而激活，其中，該選單可選擇軟體按鈕顯示在顯示單元的屏上。在此情況下，系統資源，例如系統記憶體頻寬顯著地由MJC運作而消耗；因此視訊接收系統20的終端參數可以響應所激活的特定視訊處理運作而改變。例如，終端參數，即，SNR級別可以在35dB到32dB的範圍內調整。這樣，位元流分析器204的截斷過程包含有效地以及適應性地提取基礎層以及期望的品質加強層，以適應期望的SNR級別，因此提高了解碼效能。

請注意，視訊處理運作逐訊框處理視訊資料212，而且不限於MJC運作或者雜訊消除運作。

根據另一個實施例，視訊接收系統20提供用於適應性解碼多視圖視訊位元流，該多視圖視訊位元流包含基礎視圖以及關聯視圖，其中關聯視圖在一場景對應不同視圖，其中，基礎視圖例如第2圖的基礎視圖400，一場景對應不同視圖的關聯視圖例如第2圖的關聯視圖402、404以及406。視訊接收系統20實現的多視圖視訊位元流的解碼過程參考第2圖以及第3圖詳細描述如下。

在此情況下，視訊接收系統20能夠根據至少一終端參數，例如顯示參數控制器208提供的顯示參數(例如，顯示單元的顯示類型)，以多視圖視訊位元流的形式重新構建對應視訊資料212。顯示單元的顯示類型代表顯示單元上顯示的視訊資料212是二維還是三維，其中，顯示類型可以根據顯示單元的規格而確定，或者根據使用者所需或者所要求的期望顯示類型而確定。特別地，顯示單元的顯示類型根據是否顯示單元只支持二維或者三維顯示而確定。可替代地，當使用者要求三維顯示單元的二維顯示類型時，顯示單元的顯示類型可以確定為二維顯示。例如，假設顯示單元支持三維視訊內容的顯示。在此方面，在從傳輸器接收到嵌入式視訊位元流202(即，如第2圖的多視圖視訊位元流40)之後，位元流分析器204確定沒有關聯視圖需要截斷或者丟棄，其中，關聯視圖例如第2圖所示的關聯視圖402、404以及406。相應地，在解碼基礎視圖400之後，視訊解碼器206繼續完全解碼關聯視圖402、404以及406。隨後，具有期望立體或者三維效果的對應視訊資料212重新構建，然後在顯示單元上顯示。

相似地，顯示單元的顯示類型可替換地由使用者確定。對於顯示單元同時支持二維以及三維視訊內容的情況，顯示單元的顯示類型可以由使用者切換。當使用者禁止了顯示單元所支持的三維視訊內容的顯示時，視訊解碼器206相應地截斷關聯視圖402、404以及406，以及視訊解碼器206解碼基礎視圖400，以重新構建對應二維視訊資料212。

如前所述，除了顯示參數控制器208提供的顯示參數，位元流分析器204確定是否嵌入式位元流202需要根據系統記憶體頻寬使用參數而截斷，其中，系統記憶體頻寬使用參數來自系統記憶體頻寬監視單元210。特別地，系統記憶體頻寬監視單元210基於記憶體配置、嵌入視訊位元流202的內容以及視訊接收系統20的特定視訊處理運作而監視以及計算整體系統記憶體頻寬使用參數。詳細地說，已優化記憶體配置可以允許有效的記憶體效能級別，即，高資料傳輸速率以及/或者低延遲(latency)，因此，獲得高系統記憶體頻寬使用參數。進一步說，系統記憶體頻寬使用參數易受到嵌入式視訊位元流202的內容的影響。例如，解碼嵌入式視訊位元流202的B訊框可能導致比解碼I訊框以及P訊框更大的系統記憶體頻寬使用參數。此外，如前討論，視訊接收系統20的特定視訊處理運作，例如MJC運作或者雜訊消除運作，也可以改變系統頻寬使用。在運作過程中，當系統記憶體頻寬確定為不足以完全解碼嵌入式視訊位元流202，那麼根據來自系統記憶體頻寬監視單元210的系統記憶體頻寬使用參數，位元流分析器204截斷嵌入式視訊位元流202的冗餘的或者不必要的部分，以減少視訊解碼器206的系統記憶體頻寬消耗或者計算需求。

根據上述實施例，視訊接收系統20允許嵌入式視訊位元流202的有效以及高效的適應性。這樣的適應性可以根據終端參數，經由直接去除嵌入式視訊位元流202的一個或者多個不期望的加強層或者關聯視圖而重新構建對應視訊資料212，因此方便用於不同環境以及運作條件的解碼過程，以在已重新構建顯示品質以及解碼效能之間達到均衡。

第4圖為用於適應性解碼嵌入式視訊位元流的方法30的實施例流程圖。在本發明的一個實施例中，嵌入式視訊位元流為可調式視訊位元流10，其中，可調式視訊位元流10包含基礎層以及至少一加強層，其中，基礎層例如第1圖的基礎層100，至少一加強層例如第1圖的加強層102、104以及106。在本發明的另一個實施例中，嵌入式視訊位元流為第2圖的多視圖視訊位元流40，其中多視圖視訊位元流40包含基礎視圖以及至少一關聯視圖，其中，基礎視圖例如第2圖的基礎視圖400，至少一關聯視圖例如第2圖的關聯視圖402、404以及406。

請參考第1圖、第2圖、第3圖以及第4圖，位元流分析器204接收嵌入式視訊位元流202以及獲取視訊接收系統20的至少一終端參數(步驟S302)。至少一終端參數包含顯示參數控制器208提供的顯示參數以及/或者來自系統記憶體頻寬監視單元210的系統記憶體頻寬使用參數。

然後，位元流分析器204根據至少一終端參數截斷已接收嵌入式視訊位元流202。特別地，根據至少一終端參數，位元流分析器204確定是否嵌入式視訊位元流202需要被截斷(步驟S304)。請注意，根據至少一終端參數確定是否嵌入式視訊位元流202需要被截斷的詳細描述在第1圖、第2圖以及第3圖中的實施例中提供，此處不再描述。

當基於至少一終端參數，嵌入式視訊位元流202需要截斷時，位元流分析器204隨後截斷嵌入式視訊位元流202的不必要的部分，以提取已截斷視訊位元流214(步驟S306)。在此方面，不對嵌入視視訊位元流202做任和修改，直接丟棄加強層的冗餘的或者不必要的加強層或者關聯視圖。例如，使用品質降低的終端參數，位元流分析器204可以截斷所有加強層或者關聯視圖，以及視訊解碼器206僅解碼基礎層100或者基礎視圖400。更進一步可以注意到，用於截斷嵌入視訊位元流202的終端參數已經聯合第1圖以及第2圖的實施例描述，因此，更進一步的描述為了簡潔而省略。

然後，視訊解碼器206解碼已截斷視訊位元流214，以重新構建對應視訊資料212(步驟S308)。

當確定嵌入式視訊位元流202沒有加強層或者關聯視圖需要由位元流分析器204截斷時，其中，位元流分析器204根據加強終端參數而確定是否需要截斷加強層或者關聯視圖，視訊解碼器206然後解碼嵌入式視訊位元流202的全部內容，以重新構建對應視訊資料212(步驟S310)。

最後，對應視訊資料212傳遞給顯示單元用於顯示，即在顯示單元上顯示對應視訊資料(步驟S312)。

本發明的前述實施例的描述，不需要附加嵌入式視訊位元流的額外處理，提供了用於視訊接收系統的直接以及適應性的解法，以實施部分提取，以及根據終端參數解碼嵌入式視訊位元流。因此有效地提高了壓縮效能。

任何熟習此項技藝者，在不脫離本發明之精神和範圍內，當可做些許的更動與潤飾，因此本發明之保護範圍當視所附之申請專利範圍所界定者為準。

10．．．可調式視訊位元流

100．．．基礎層

102．．．品質加強層

104．．．時間加強層

106．．．空間加強層

40．．．多視圖視訊位元流

400．．．基礎視圖

402、404、406．．．關聯視圖

20．．．視訊接收系統

202．．．嵌入式視訊位元流

204．．．位元流分析器

206．．．視訊解碼器

208．．．顯示參數控制器

210．．．系統記憶體頻寬監視單元

212．．．視訊資料

214．．．已截断視訊位元流

30．．．方法

S302至S312．．．步驟

第1圖為根據本發明的嵌入式視訊位元流的示例分層架構示意圖。

第2圖為根據本發明的另一個嵌入視訊位元流的分層架構的示意圖。

第3圖為視訊接收系統的實施例的方塊示意圖。

第4圖為用於適應性解碼嵌入式視訊位元流的方法的實施例流程圖。