[go: up one dir, main page]

TWI489875B - 視訊編碼器 - Google Patents

視訊編碼器 Download PDF

Info

Publication number
TWI489875B
TWI489875B TW097113223A TW97113223A TWI489875B TW I489875 B TWI489875 B TW I489875B TW 097113223 A TW097113223 A TW 097113223A TW 97113223 A TW97113223 A TW 97113223A TW I489875 B TWI489875 B TW I489875B
Authority
TW
Taiwan
Prior art keywords
base layer
layer
enhancement layer
information
enhancement
Prior art date
Application number
TW097113223A
Other languages
English (en)
Other versions
TW200901773A (en
Inventor
Ye-Kui Wang
Miska Hannuksela
Original Assignee
Nokia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=38924277&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=TWI489875(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Nokia Corp filed Critical Nokia Corp
Publication of TW200901773A publication Critical patent/TW200901773A/zh
Application granted granted Critical
Publication of TWI489875B publication Critical patent/TWI489875B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

視訊編碼器 發明領域
本發明是關於視訊編碼，本發明尤其是但不是唯一地關於可縮放視訊編碼。
 發明背景
視訊信號被編碼(例如)以能夠有效地傳輸或儲存視訊信號。該等編碼被分類為定義了如何編碼及解碼此等視訊信號之已定義的標準。
視訊編碼標準包括ITU－T H.261、ISO/IEC MPEG－1 Visual、ITU－TH.262或者ISO/IEC MPEG－2 Visual、ITU－T H.263、ISO/IEC MPEG－4 Visual以及ITU－T H.264(也被稱為ISO/IEC MPEG－4先進視訊編碼(AVC)標準)。目前正在努力發展進一步的視訊編碼標準。一正發展的此進一步標準是可縮放視訊編碼(SVC)標準。另一正在發展的進一步標準是多視圖視訊編碼(MVC)。SVC及MVC標準意圖對以上描述的H.264/AVC標準增加特色。
SVC之最新草案(聯合草案9.0)於2007年1月在摩洛哥馬拉喀什舉行的第22屆JVT會議的JVT－V201“Joint Draft 9 of SVC Amendmen”可得，可從http：//ftp3.itu.ch/av－arch/jvt－site/2007_01_Marrakech/JVT－V201.zip 獲得。
MVC之最新聯合草案於2007年1月在摩洛哥馬 拉喀什舉行的第22屆JVT會議的JVT－V209“Joint Draft 2.0 on Multiview Video Coding”可得，可從http：//ftp3.itu.ch/av－arch/jvt－site/2007_01_Marrakech/JVT－V209.zip 獲得。
視訊編碼器/解碼器也被稱為編碼解碼器。在可縮放編碼解碼器中，視訊序列之一些元素或元素組可被移除，不會響該視訊序列之其他部分之重建。可縮放視訊編碼對於在使用具有廣泛處理功率的解碼器之系統中使用的許多多媒體應用及服務是一期望的特點。可縮放位元流可被用於(例如)一串流化伺服器內的被預先編碼的單播串流之速率適應性，以及用於將一個單一位元流發送給具有不同解碼或顯示能力以及/或具有不同網路條件的終端機。
最早被引入視訊編碼標準的可縮放性是具有以MPEG－1 Visual的B圖像之時間可縮放性。在B圖像概念中，一B圖像自兩個圖像進行雙預測，一圖像在該B圖像之前且另一圖像在該B圖像之後，其等都按照顯示順序。除此之外，一B圖像是一非參考圖像，即其不被用於其他圖像的中間圖像預測參考。因此，該等B圖像可被丟棄以獲得具有一較低圖框率的時間可縮放性。相同的機制在MPEG－2視訊、H.263及MPEG－4 Visual中被保持。
在H.264/AVC中，B圖像或B片段之概念已被改變。H.264/AVC內的B片段之定義是可利用中間預測自先前被解碼的參考圖像被解碼的片段，具有至少兩個移動向量及參考索引以預測每個區塊之樣本值。在H.264/AVC內，先前 的編碼標準之習知的B圖像概念之雙向預測特性及非參考圖像特性不再有效。
一B片段內的一區塊可自按照顯示順序之相同方向內的兩參考圖像預測，且由B片段組成的一圖像可被其他圖像參考以供中間圖像預測。
在H.264/AVC及其擴充SVC及MVC中，時間可縮放性可藉由使用非參考圖像及/或階層中間圖像預測結構達成。當只使用非參考圖像時，H.264/AVC、SVC及MVC編碼標準能夠達到如同使用MPEG－1/2/4內的習知B圖像類似的時間可縮放性，藉由丟棄非參考圖像。階層編碼結構可獲得較具有彈性的時間可縮放性。
可縮放性一般可藉由將影像圖框分到一些階層內而被實施。被編碼到基層(base layer)之影像圖框內的影像圖框只包含用於解碼在接收端的視訊資訊所需的影像圖框。一或多個增強層(enhancement layers)可在該基層上被決定，與一下層相比，該等增強層中的每個改良了已解碼視訊之品質。然而，一有意義的解碼表示只有藉由解碼一可縮放位元流之一些部分才可產生。
在H.264/AVC及其他類似的編碼方案中，被用於預測接續的已編碼圖像以及將來輸出的已解碼圖像在已解碼圖像緩衝器(DPB)內被緩衝。為了有效地使用緩衝器記憶體，DPB管理程式(包括將已解碼圖像併入該DPB內的儲存程式、參考圖像之標記程式、已解碼圖像自該DPB輸出且移除之程式)可被指定。
H.264/AVC內的參考圖像管理程式可總結如下。被用於中間預測的參考圖像之最大數目(被稱為M)可在有效序列參數組中被指出。因此，當一參考圖像被解碼時，其可被標記為“被用於參考”。若該參考圖像之解碼引起多於M個圖像被標記為“被用於參考”，則至少一圖像必須被標記為“未被用於參考”。接著DPB移除程式可將被標記為“未被用於參考”的圖像自該DPB移除，若它們也不需要用於輸出。每個短期圖像可與自語法元件frame_num導出的一變數PicNum相關聯，且每個長期圖像可與自由一記憶體管理控制操作(MMCO)指令發出的long_term_frame_idx導出的變數LongTermPicNum相關聯。
具有兩類型的操作以供參考圖像標記：適應性記憶體控制及滑動視窗。參考圖像標記之操作模式可基於圖像基準被選擇。
該適應性記憶體控制方法需要位元流內存在記憶體管理控制操作(MMCO)指令。該等記憶體管理控制操作致能明確發訊以指出哪些圖像被標記為“未被用於參考”，分配長期索引給短期參考圖像，將目前的圖像儲存為長期圖像，將一短期圖像改變為長期圖像且分配最大被允許的長期索引給長期圖像。
該滑動視窗控制方法使用一滑動視窗以只儲存被標記為“被用於參考”的最新的M個圖像。因此，在被標記為“被用於參考”的短期參考圖像之間被解碼的任何較早的短期參考圖像當不處於該視窗內時被標記為“未被用於參考”。 換言之，該滑動視窗操作模式在短期參考圖像之間產生先進先出緩衝操作。
假想參考解碼器(HRD)(在H.264/AVC之附錄C中指出)被用以檢查位元流及解碼器一致性。該HRD包含一已編碼圖像緩衝器(CPB)、一即時解碼程式、一已解碼圖像緩衝器(DPB)以及一輸出圖像裁剪區塊。該CPB及即時解碼程式被類似地指定給任何其他視訊編碼標準，且該輸出圖像裁剪區塊僅將位於被發訊的輸出圖像範圍之外的該等樣本自已解碼圖像裁去。該DPB在H.264/AVC中被引入以控制用於解碼構造的位元流所需的記憶體資源。該DPB包括一統一的已解碼圖像緩衝程式以供參考圖像及輸出重新排序。當一已解碼圖像不再被用作參考且不再需要輸出時自該DPB被移除。位元流被允許使用的DPB之最大大小在H.264/AVC之位準定義(附錄A)中被指出。
對於解碼器，具有兩類型的一致性：輸出時序一致性及輸出順序一致性。對於輸出時序一致性，一解碼器必須在與該HRD相同的時間輸出圖像。對於輸出順序一致性，只考慮輸出圖像之正確的順序。該輸出順序DPB被假設包含圖框緩衝器之一最大被允許的數目。當一圖框不再被用作參考且需要輸出時，該圖框自該DPB被移除。當DPB滿時，按照輸出順序之最早的圖框被輸出，直到至少一圖框緩衝器未被佔用。
然而，當一些最高的時間層被丟棄時，該等記憶體控制方法會產生問題。最高時間層之減少在位元流內的 frame_num中產生間隙。當此發生時，該解碼程序產生具有遺漏的frame_num值的短期“不存在”圖像。此“不存在”圖像在滑動視窗參考圖像標記程序中以相同於正常的短期參考圖像的方式被處理。
用於解碼時間可縮放位元流之一子組所需的記憶體緩衝器之數量可能少於用於解碼該時間可縮放位元流本身所需的記憶體緩衝器之數量，然而，以上提到的確定能夠解碼任何已編碼位元流之編碼方案將定義該時間可縮放位元流之總的記憶體及緩衝器間隔。
例如，在H.264/AVC標準中，用於解碼整個位元流所需的已解碼圖像緩衝器(DPB)大小由語法元件max_dec_frame_buffering指出。因此，能夠執行解碼一可縮放位元流之一子組的解碼器必須配備額外的記憶體緩衝器。
此外，即使解碼器被配備整個時間可縮放位元流之緩衝器記憶體資源，也期望可以精確地分配用於解碼整個位元流之期望的子組所需的記憶體之數量且將節省的記憶體資源用於其他應用。
具有另一類似的問題。被重新排序以輸出的圖框之最大數目一般也對整個位元流被發訊。例如，在H.264/AVC標準中，語法元件num_reorder_frames被用以設定輸出的最大被重新排序的圖框。然而，該位元流之一子組可能需要較少的圖框被重新排序以輸出。例如，一子組位元流只包含重要圖像(在之後被定義)，當輸出順序與輸出順序相同 時，被重新排序以輸出的圖框之最大數目實際為零。在此一系統中，解碼一時間可縮放位元流之一子組的解碼器將等待額外的需被解碼的圖像以啟動輸出，這將引起一初始播放延遲超過該時間可縮放位元流之該子組之可能的播放延遲。
 發明概要
本發明繼續以下考慮：在可縮放視訊編碼被實施的情況下，已解碼圖像緩衝器管理沒有被最佳執行。使用自編碼器傳給解碼器的與該可縮放視訊之不同時間可縮放層有關的資訊可導致一較有效率的記憶體緩衝器消耗以解碼一時間可縮放位元流之子組。
本發明之實施例之目的是解決以上問題。
依據本發明之一第一層面已提供一種用於編碼一視訊信號的編碼器，其中該編碼器被配置以產生包含一基層及至少一增強層的一已編碼可縮放資料串流，其中該編碼器被進一步配置以產生與該基層及該至少一增強層中的每個相關的資訊。
該資訊可包含以下中的至少一者：與該基層及該至少一增強層中的每個相關的一最小圖像緩衝器大小；以及與該基層及該至少一增強層中的每個相關的一最大圖像重新排序大小。
該編碼器可包含：一可縮放編碼器，被配置以產生該已編碼可縮放資料串流；以及一訊息形成器，被配置以產 生與該基層及該至少一增強層中的每個相關的該資訊且將該資訊儲存在一訊息內。
該訊息形成器可進一步被配置以將該訊息合併到該已編碼可縮放資料串流內。
該訊息形成器可被配置以產生一補充增強資訊訊息。
該補充增強資訊訊息可進一步包含被包含在該已編碼可縮放資料串流內的時間可縮放層之數目的一指示。
該訊息形成器可被配置以產生一容器檔案，其中該容器檔案包含一訊息內的與該基層及該至少一增強層中的每個相關的該資訊。
該編碼器可被配置以產生一發訊協定封包，該發訊協定封包包含與該基層及該至少一增強層中的每個相關的該資訊。
該發訊協定較佳地是以下中的至少一者：對話啟動協定；以及即時串流化協定。
該封包較佳地是一對話描述協定封包，以及與該基層及該至少一增強層中的每個相關的該資訊較佳地是對話描述協定封包屬性。
依據本發明之一第二層面，已提供一種用於編碼一視訊信號的方法，包含以下步驟：產生包含一基層及至少一增強層的一已編碼可縮放資料串流；以及產生與該基層及該至少一增強層中的每個相關的資訊。
產生資訊包含產生以下中的至少一者：與該基層及該 至少一增強層中的每個相關的一最小圖像緩衝器大小；以及與該基層及該至少一增強層中的每個相關的一最大圖像重新排序大小。
該方法可進一步包含以下步驟：將與該基層及該至少一增強層中的每個相關的該資訊儲存在一訊息內。
該方法可進一步包含以下步驟：將該訊息合併到該已編碼可縮放資料串流內。
該方法可包含以下步驟：產生一補充增強資訊訊息。
該方法可包含以下步驟：將包含在該已編碼可縮放資料串流內的時間可縮放層之數目的一指示儲存在該補充增強資訊訊息內。
該方法可包含以下步驟：產生一容器檔案，其中該容器檔案可包含一訊息內的與該基層及該至少一增強層中的每個相關的該資訊。
該方法可包含以下步驟：產生一發訊協定封包，該發訊協定封包包含與該基層及該至少一增強層中的每個相關的該資訊。
產生該發訊協定封包可包含產生以下中的至少一者：對話啟動協定封包；以及即時串流化協定封包。
產生該發訊協定封包可包含產生一對話描述協定封包，以及產生包含與該基層及該至少一增強層中的每個相關的該資訊之對話描述協定封包屬性。
依據本發明之一第三層面，已提供一種用於解碼一已編碼可縮放資料串流的解碼器，其中該解碼器被配置以接 收包含一基層及至少一增強層信號的一已編碼可縮放資料串流且輸出一已編碼視訊信號，其中該解碼器被進一步配置以：接收與該基層及該至少一增強層中的每個相關的資訊；基於與該基層及該至少一增強層中的每個相關的該資訊配置該解碼器；基於該解碼器之該配置解碼該已編碼可縮放資料串流。
該資訊可包含以下中的至少一者：與該基層及該至少一增強層中的每個相關的一最小圖像緩衝器大小；以及與該基層及該至少一增強層中的每個相關的一最大圖像重新排序大小。
該解碼器可包含：一訊息分解器，被配置以自該已編碼資料串流內的一訊息取出與該基層及該至少一增強層中的每個相關的該資訊；以及一可配置可縮放解碼器，被配置以自該可縮放資料串流產生該已解碼視訊資料，其中該訊息分解器較佳地被進一步配置，以基於與該基層及該至少一增強層中的每個相關的該資訊配置該可配置可縮放解碼器。
該訊息分解器較佳地被進一步配置以自該已編碼可縮放資料串流濾出該資訊訊息。
該訊息分解器較佳地被配置以自一補充增強資訊訊息取出與該基層及該至少一增強層中的每個相關的該資訊。
該訊息分解器較佳地被配置以自該補充增強資訊訊息取出包含在該已編碼可縮放資料串流內的時間可縮放層之數目的一指示。
該訊息分解器較佳地被配置以自一容器檔案取出與該基層及該至少一增強層中的每個相關的該資訊。
該解碼器較佳地被配置以自一發訊協定封包取出與該基層及該至少一增強層中的每個相關的該資訊。
該解碼器較佳地被配置以自一發訊協定封包取出與該基層及該至少一增強層中的每個相關的該資訊，該發訊協定封包包含以下中的至少一者：對話啟動協定；以及即時串流化協定。
該解碼器較佳地被配置以自一對話描述協定封包取出與該基層及該至少一增強層中的每個相關的該資訊，其中與該基層及該至少一增強層中的每個相關的該資訊較佳地是對話描述協定封包屬性。
依據本發明之一第四層面，已提供一種用於解碼一視訊信號的方法，包含以下步驟：接收包含一基層及至少一增強層信號的一已編碼可縮放資料串流；接收與該基層及該至少一增強層中的每個相關的資訊；基於與該基層及該至少一增強層中的每個相關的該資訊配置該解碼器；基於該解碼器之該配置解碼該已編碼可縮放資料串流；以及輸出一已解碼視訊信號。
該資訊可包含以下中的至少一者：與該基層及該至少一增強層中的每個相關的一最小圖像緩衝器大小；以及與該基層及該至少一增強層中的每個相關的一最大圖像重新排序大小。
該方法可包含以下步驟：自該已編碼資料串流內的一 訊息取出與該基層及該至少一增強層中每個相關的該資訊；以及其中配置該解碼器可包含基於該被取出的資訊配置該解碼器。
該方法可被進一步配置以自該已編碼可縮放資料串流濾出該資訊訊息。
取出該資訊可包含以下步驟：自一補充增強資訊訊息取出與該基層及該至少一增強層中的每個相關的該資訊。
取出可進一步包含以下步驟：自該補充增強資訊訊息取出包含在該已編碼可縮放資料串流內的時間可縮放層之數目的一指示。
取出可進一步包含以下步驟：自一容器檔案取出與該基層及該至少一增強層中的每個相關的該資訊。
取出可進一步包含以下步驟：自一發訊協定封包取出與該基層及該至少一增強層中的每個相關的該資訊。
取出可進一步包含以下步驟：自一發訊協定封包取出與該基層及該至少一增強層中的每個相關的該資訊，該發訊協定封包包含以下中的至少一者：對話啟動協定；以及即時串流化協定。
取出可進一步包含以下步驟：自一對話描述協定封包取出與該基層及該至少一增強層中的每個相關的該資訊，其中與該基層及該至少一增強層中的每個相關的該資訊是對話描述協定封包屬性。
依據本發明之一第五層面，已提供一種包含如以上所描述的一編碼器之裝置。
依據本發明之一第六層面，已提供一種包含如以上所描述的一解碼器之裝置。
依據本發明之一第七層面，已提供一種包含如以上所描述的一編碼器之電子設備。
依據本發明之一第八層面，已提供一種包含如以上所描述的一解碼器之電子設備。
依據本發明之一第九層面，已提供一種電腦程式產品，該電腦程式產品被配置以執行用於編碼一視訊信號的一方法，該方法包含以下步驟：產生包含一基層及至少一增強層的一已編碼可縮放資料串流；以及產生與該基層及該至少一增強層中的每個相關的資訊。
依據本發明之一第十層面，已提供一種電腦程式產品，該電腦程式產品被配置以執行用於解碼一視訊信號的一方法，該方法包含以下步驟：接收包含一基層及至少一增強層信號的一已編碼可縮放資料串流；接收與該基層及該至少一增強層中的每個相關的資訊；基於與該基層及該至少一增強層中的每個相關的該資訊配置該解碼器；基於該解碼器之該配置解碼該已編碼可縮放資料串流；以及輸出一已解碼視訊信號。
依據本發明之一第十一層面，已提供一種用於編碼一視訊信號的編碼器，包含：用於產生包含一基層及至少一增強層的一已編碼可縮放資料串流之裝置；以及用於產生與該基層及該至少一增強層中的每個相關的資訊之裝置。
依據本發明之一第十二層面，已提供一種用於解碼一已編碼可縮放資料串流的解碼器，其中該解碼器包含：用於接收包含一基層及至少一增強層信號的一已編碼可縮放資料串流之裝置；用於接收與該基層及該至少一增強層中的每個相關的資訊之裝置；用於基於與該基層及該至少一增強層中的每個相關的該資訊配置該解碼器之裝置；用於基於該解碼器之該配置解碼該已編碼可縮放資料串流之裝置；以及用於輸出一已解碼視訊信號的裝置。
圖式簡單說明
為了較佳理解本發明，作為例子給出附圖之參考，其中：第1圖示意性地顯示了使用本發明之實施例的一電子設備；第2a圖示意性地顯示了被用於本發明之實施例的視訊圖像之4個時間可縮放層之一階層結構；第2b圖示意性地顯示了被用於本發明之實施例的第2a圖中所示的視訊圖像之4個時間可縮放層具有一額外時間層的一階層結構；第3a圖示意性地顯示了依據本發明之實施例的一視訊編碼器；第3b圖示意性地顯示了依據本發明之實施例的一視訊解碼器；以及第4圖顯示了依據本發明之一第一實施例以說明第3a及3b圖之編碼器及解碼器之操作的一流程圖。
 較佳實施例之詳細說明
以下較詳細地描述了用於提供分層或可縮放視訊編碼解碼器之可能的視訊編碼解碼器機制。有關此方面，首先給出第1圖之參考，第1圖顯示了一示範性電子設備610之一示意方塊圖，該電子設備610可包含依據本發明之實施例的一編碼解碼器。
該電子設備610可(例如)是一無線通訊系統之一行動終端機或使用者設備。
該電子設備610包含一麥克風611，該麥克風611經由一類比對數位轉換器/數位對類比轉換器(ADC/DAC)614連接到一處理器621。該處理器621進一步經由該ADC/DAC 614連接到揚聲器633。該處理器621進一步連接到一收發器(TX/RX)613、一使用者介面(UI)615及一記憶體622。
該處理器621進一步連接到視訊驅動器電路631，該視訊驅動器電路631接著連接到一照相機635及一顯示器637。
該處理器621可被配置以執行各種程式碼。被實施的程式碼包含視訊編碼程式碼以編碼。被實施的程式碼623進一步包含視訊解碼程式碼。被實施的的程式碼623可被儲存(例如)在記憶體622內以當需要時被該處理器621擷取。該記憶體622可進一步提供一用於儲存資料的區段，例如依據本發明被編碼的資料。
在本發明之實施例中，該編碼及解碼程式碼可以硬體或韌體實施。
該使用者介面615使一使用者能夠輸入指令給該電子設備610(例如，經由一鍵盤)及/或自該電子設備610獲得資訊(例如，經由一顯示器637)。該收發器613致能與其他電子設備之通訊，例如經由一無線通訊網路。
該視訊驅動器電路631自該處理器621接收資料且輸出以需顯示在該顯示器637上的一形式之資料。此外，該視訊驅動器電路被配置以自該照相機635接收視訊資料且將該資料以適用於被處理的一形式輸出給該處理器621。
再次需明白的是，該電子設備610之結構可以許多方式被補充且改變。
該電子設備610之一使用者可使用照相機635以輸入需被發送給一些其他電子設備或者需被儲存在該記憶體622之資料區段內的視訊。一對應的應用程式已由使用者經由該使用者介面615被啟動。該應用程式(可由該處理器621執行)使該處理器621執行被儲存在該記憶體622內的編碼程式碼。
接著，該處理器621以與參照本發明之實施例所描述的方式處理視訊信號。
產生的位元流可被提供給該收發器613以發送給另一電子設備。可選擇的方式是，已編碼的資料可被儲存在該記憶體622之資料區段內(例如)以供由相同的電子設備610進行以後的傳輸或者以後的呈現。
該電子設備610也可經由該收發器613自另一電子設備接收具有對應被編碼資料的一位元流。在此情況下，該處 理器621可執行儲存在該記憶體622內的解碼程式碼。該處理器621解碼被接收的資料(如參照之後所描述的本發明之實施例所描述的)，且提供已解碼資料給該視訊驅動器電路631。該視訊驅動器電路631將數位已解碼資料轉換為適合該顯示器637之格式且將資料輸出給該顯示器637。該解碼程式碼之執行也可由該使用者經由該使用者介面615呼叫的應用程式觸發。
取代經由該顯示器637之即時呈現，被接收的已編碼資料也可被儲存在該記憶體622之資料部分內，(例如)以致能以後呈現或者轉發給另一電子設備。
將瞭解的是，第2a、2b、3a、3b及4圖只表示一完整的視訊編碼解碼之操作的一部分，如第1圖中所示的電子設備所實施的示範性顯示。視訊編碼解碼器之一般操作已知且對於本發明之操作之理解無幫助的此等編碼解碼器之特點未被詳細描述。
關於第2a及2b，具有時間可縮放之階層的典型階層編碼結構之示意圖被顯示以幫助理解本發明。
第2a圖顯示了兩個完整的圖像組(GOP)。第一完整的圖像組102以b結尾以作為參照且第二完整的圖像組103以c結尾以作為參照。第2a圖進一步顯示了以a結尾以作為參照的一殘餘圖像組。該等圖像之顯示順序在第2a圖中由圖像順序計數(POC)值作為參照。此外，每個圖像被提供一時間階層(TL)值，如以下進一步描述的。
每個圖像組包含一重要圖像，內(I)或被預測(P)圖像 105。該I或P圖像按照解碼順序被編碼為一圖像組(GOP)之第一圖像。當一重要圖像被中間編碼時，前一個重要圖像被用作中間圖像預測之參考。該等重要圖像對應該時間可縮放結構內最低的時間階層(在第2圖中以T＝0表示)且與最低的圖框率相關聯。在第2a圖中所示的例子中，每個圖像組進一步包含一連串階層結構雙預測(B)圖像。特別地，每個圖像組包含一具有1之時間階層的B圖像107、兩個具有2之時間階層的B圖像109、111以及4個具有3之時間階層的B圖像113、115、117、119。該等圖像以一圖像順序計數順序排列，因此在每個圖像組內，與該TL值相關的圖像之順序是3、2、3、1、3、2、3、0。
一較高時間階層的圖像只可使用相同或較低時間階層的圖像進行中間圖像預測。
具有此一階層編碼結構，對應不同圖框率之不同的時間可縮放性可藉由丟棄具有某一時間階層值及之外的圖像而達成。例如，在第2a圖中，具有0、105a、8、105b以及16、105c之圖像順序計數值的圖像是最低的時間階層，而具有1 113b、3 115b、5 117b、7 119b、9 113c、11 115c、13 117c及15 119c之圖像順序計數值的圖像是最高的時間階層。
因此，若一30Hz之圖框率在解碼所有時間階層下被達成，則其他圖框率可藉由丟棄一些時間階層之圖像而被獲得。例如，當使用具有最低時間階層的圖像，只有一3.25Hz之圖框率可被獲得。
關於第2b圖，第2a圖之圖像編碼結構被顯示具有一額外的時間階層，TL＝4階層。對於圖像組201、203中的每個，具有8個TL＝4的B圖像121、123、125、127、129、131、133、135。一TL＝4階層B圖像緊接地被放在每個TL＝3階層B圖像之前及之後作為隔開。因此，在每個圖像組內，該等圖像相對於TL值之順序被顯示為4、3、4、2、4、3、4、1、4、3、4、2、4、3、4、0。此外，第2b圖顯示了對應該等圖像之已解碼順序的frame_num值。該等斜體值對應非參考圖像，換言之是沒有被用以提供資訊以幫助解碼其他圖像的圖像。若TL＝3及較低層允許一30Hz圖框率，則加上TL＝4層將不允許60Hz之圖框率。
使用第2b圖中所示的結構，以下的表1指出在解碼每一圖像之後，哪一參考圖像變成不需要用於進一步的中間預測參考。
依據表1，需要被儲存在該DPB內以供中間預測參考的圖像之最小數目是5，其中具有時間可縮放層中的5層。在編碼序號為4及20的圖像被解碼之後，達到峰值。
時間可縮放層之數目與被儲存在該DPB以供中間預測參考以解碼該信號的圖像之最小數目之間的關係保持類似的可縮放結構。因此，當層之數目等於N時，能夠解碼位元流之總的最小圖像空間也是N。
然而，從以下的表2及3中可看出，當一或多個高時間層被丟棄時，需要被儲存在該DPB內以供中間預測參考的圖像之最小數目也減少。表2顯示了當只解碼基層(TL等於0)時的DPB狀態。表3顯示了當解碼達到TL等於1的層(換言之，TL＝0及TL＝1層)時之情形。
從表3可看出，圖像8或24在其圖像本身被解碼之後不再需要被儲存以供中間預測參考。然而，因為以習知的編碼方式標記參考圖像發生在儲存目前已解碼的參考圖像之前，所以目前沒有任何方法以將目前已解碼的參考圖像標記為“未被用於參考”。
以下顯示的表4藉由顯示當解碼不同的時間層時被儲 存在該DPB以供中間預測參考的圖像所需的最小數目而進一步擴展此方法。
因此，一般而言，在具有階層預測結構的時間可縮放編碼中(其中時間可縮放層之數目等於Ｎt )，被儲存在該DPB以供中間預測參考以解碼具有TL大於或等於0且小於Nt 的一時間層所需的圖像之一最小數目是TL值加1(換言之為TL＋1)。
類似地，被重新排序以輸出的圖框之最大數目(由整個位元流之num_reorder_frames指出)基於被解碼的層之數目而不同。因此，當解碼低時間可縮放層時，需要進行較少的重新排序。
第3a及3b圖顯示了本發明之一第一實施例，其中上述可被實施以改良如第1圖中所示的設備。第3a及3b圖所示的實施例之操作進一步關於第4圖被描述。
第3a圖顯示了依據本發明之一第一實施例的一視訊編碼器301之一示意圖。該視訊編碼器301接收一原始資料串流307且輸出一具有層資訊的已編碼資料串流。該視訊編碼器包含一可縮放資料編碼器303，該可縮放資料編碼器303接收原始資料串流307且連接到一訊息形成單元305。該訊息形成單元進一步輸出該已編碼視訊資料309。
該可縮放資料編碼器303接收在第4圖中的步驟501中顯示的原始資料串流307。
該可縮放資料編碼器接著編碼該資料以產生一或多個可縮放已編碼層。該操作在第4圖中的步驟503中被顯示。
該可縮放資料編碼器進一步導出可縮放資訊且將該資訊與該等已編碼層一起傳遞給該訊息形成單元305。此操作在第5圖中的步驟505被顯示。
該訊息形成單元將此資訊插入該已編碼資料串流。在該第一實施例中，每一可縮放層之被提出的指示中的至少一者被包括在該時間可縮放位元流內，例如被包括在該序列參數組或一補充增強資訊(SEI)訊息內。
將該等指示發訊的一SEI訊息之語法及語義如下：
以上SEI訊息可與一即時解碼再新(IDR)存取單元相關聯。該SEI訊息內發訊的資訊惟獨對從包含該SEI訊息的存取單元到包含一相同類型的SEI訊息之下一個存取單元是有效的。
該訊息之語義是：
num_temp_layers_minus2 加2指出被包含在已編碼視訊序列內的時間可縮放層之數目。
max_dec_frame_buffering[i] 具有與H.264/AVC內的語法元件max_dec_frame_buffering相同的語義，唯一的差異是此處討論的位元流是包含具有等於i的時間階層之時間可縮放層以及所有更低的時間層之位元流。
num_reorder_frames[i] 具有與H.264/AVC內的語法元件num_reorder_frames相同的語義，唯一的差異是此處討論的位元流是包含具有等於i的時間階層之時間可縮放層以及所有更低的時間層之位元流。
此操作在第4圖中的步驟506中被顯示。
接著被輸出的已編碼資料串流被發送/儲存，如第4圖中的步驟507所示。
第3b圖顯示了依據本發明之第一實施例的一視訊解碼器351之一示意圖。該視訊解碼器接收已編碼視訊資料359且輸出已解碼視訊資料361。該解碼器包含一接收器353，該接收器353被配置以接收該已編碼資料且將一信號輸出給該訊息分解單元(message deforming unit)355。該訊息分解單元355進一步連接到該解碼器357。該解碼器進一步被配置以輸出該已解碼視訊資料361。
該解碼器351之接收器353接收該已編碼視訊資料359。此資料之接收或擷取在第4圖中的步驟509被顯示。
該訊息分解單元355自該接收器353接收被接收的視訊資料且自以上資料串流內顯示的SEI訊息取出指示資訊。在 本發明之一些實施例內，該訊息分解單元可以是一存取單元分解器。該指示資訊被傳遞給該解碼器357。此操作在第4圖中的步驟510內被顯示。
該解碼器357基於來自該訊息分解單元355的指示資訊被配置。該配置可包括解碼器圖像緩衝器(DPB)之大小的配置，基於用於儲存參考圖框的緩衝器之大小以及輸出重新排序緩衝器大小。此操作在第4圖中的步驟511被顯示。
該解碼器357一旦被配置，則被配置以解碼視訊資料。此操作在第4圖中的步驟513被顯示。
接著該解碼器357進一步被配置以輸出該已解碼視訊資料。此操作在第4圖中的步驟515被顯示。
實施本發明之實施例之優點可藉由以下例子被解釋。一串流化伺服器可包含一時間可縮放位元流，其所需的已解碼圖像緩衝器(DPB)大小是等於N1個圖框。該時間可縮放位元流包含一較低的時間層，其所需的DPB大小是等於N2圖框，其中N2<N1。整個位元流之結構及階層與較低的時間層位元流相同。一串流化客戶端能夠解碼較低的時間層，但是由於不具有足夠的記憶體不能夠解碼整個位元流。在客戶端自伺服器請求視訊內容之後，該伺服器將所需的DPB大小以及其他的通知給客戶端。
若沒有本發明，該串流化伺服器將通知客戶端，整個位元流或較低層位元流所需的DPB大小是N1。因此，該客戶端知道它不能夠自該伺服器解碼任何東西，且該請求失敗。藉由實施本發明，該伺服器可自被提出的發訊容易決 定較低時間層之實際所需的DPB大小且通知給該客戶端，使得被請求的串流化通訊期可啟動且該客戶端可成功接收且解碼(複數)較低時間層，且不需要保留不需要用以解碼(複數)較低時間層的記憶體及資源。
該客戶端可依據本發明進一步使用被重新排序以輸出的圖框之最大數目之被提出的發訊以盡可能立即啟動輸出且顯示已解碼圖像，因此減少了初始播放延遲。
在本發明之一第二實施例中，與以上相同的指示資訊可被包括在草案SVC標準中規定的可縮放性資訊SEI訊息內且不被包括在如以上所定義的一個別的SEI訊息內。因此，該指示資訊與每一時間階層之其他可縮放性資訊一起被傳遞給接收器，如該可縮放性資訊SEI訊息內被發訊的。在本發明之此等實施例中，該訊息分解單元被配置以自該可縮放性資訊SEI訊息的多數個欄位取出指示資訊。
在本發明之又一實施例中，SEI訊息不被用以傳遞該可縮放性指示資訊。在本發明之此等進一步的實施例中，該可縮放性指示資訊被包括在該時間可縮放位元流被儲存在其內的一容器檔案內。在此等實施例內，該等欄位max_dec_frame_buffering及num_reorder_frames被包括在如最新草案SVC檔案格式標準中定義的TierInfoBox內，這可於MPEG輸出文件N8874(2007年1月，摩洛哥，馬拉喀什)中可得。
在此等實施例中，該訊息形成單元305及訊息分解單元355使用該容器檔案以分別儲存該指示資訊且取出該資訊。
在本發明之又一實施例中，該資訊可在已編碼資料位元流外部被發訊。例如，在本發明之一些實施例中，該可縮放性指示資訊被發送或儲存以作為一對話啟動協定(SIP)對話描述協定(SDP)屬性之部分，其可自編碼器(伺服器)傳遞給解碼器(客戶端)。此傳輸可藉由使用即時串流化協定(RTSP)或對話啟動協定(SIP)被執行。
雖然以上描述的階層B圖像編碼結構是時間可縮放性之最典型的編碼結構，但是應該注意到的是，其他編碼結構在本發明之其他實施例中是可能的且被使用。GOP大小之數目以及該GOP內的圖像之結構可能隨著實施例不同而不同。此外，本發明之其他實施例內的GOP大小可能隨著時間不是常數的。在其他實施例內，在本發明之其他實施例內的時間增強層圖像可能未被編碼為B片段，而是也可能被編碼為P片段。
雖然以上例子描述了在一電子設備610內的一編碼解碼器內操作的本發明之實施例，但是將瞭解的是，以下描述的本發明可實施為任何可縮放視訊編碼解碼器之部分。
因此，使用者設備可包含如以上本發明之實施例內描述的一視訊編碼解碼器。
將瞭解的是，詞語“使用者設備”意指涵蓋任何適合類型的使用者設備，例如行動電話、可攜式資料處理設備或可攜式網頁流覽器。
一般而言，本發明之各個實施例可以硬體或專用電路、軟體、邏輯或者其任何組合實施。例如，一些層面可 以硬體實施，而其他層面可以可由一控制器、微處理器或其他計算裝置執行的韌體或軟體實施，雖然本發明並不限於此。雖然本發明之各個層面可被說明且描述為方塊圖、流程圖或者使用一些其他圖形表示，但是也應明白的是，本文所描述的該等方塊、裝置、系統、技術或方法可以(作為非限制例子)硬體、軟體、韌體、專用電路或邏輯、通用硬體或控制器或其他計算裝置或者其等之一些組合實施。
本發明之實施例可藉由行動裝置之一資料處理器(例如，處理器實體)執行的電腦軟體、藉由硬體或者藉由軟體與硬體之一組合實施。關於此方面應進一步注意到的是，該等圖式中的邏輯流之任何方塊可表示程式步驟或互連邏輯電路、方塊及功能或者程式步驟與邏輯電路、方塊及功能之一組合。
該記憶體可以是適用於局部技術環境的任何類型且可使用任何適合的資料儲存技術實施，例如基於半導體的記憶體裝置、磁記憶體裝置及系統、光記憶體裝置及系統、固定記憶體及可移除記憶體。該等資料處理器可以是適用於局部技術環境之任何類型且可包括通用電腦、專用電腦、微處理器、數位信號處理器(DSPs)及基於多核心處理器架構中的處理器的一者或多者，作為非限制例子。
本發明之實施例可以如積體電路模組此類的各種元件實施。積體電路之設計藉由一大的高度自動製程。複雜且功能強大的軟體工具可用於將一邏輯級設計轉換為易於在一半導體基材上蝕刻且形成的半導體電路設計。
利用良好建立的設計準則以及具有被預先儲存的設計模組庫在一半導體晶片上自動對導體佈線且定位元件的程式已被提出，如加州Mountain View的Synopsys公司以及加州San Jose之Cadence設計提供的。一旦一半導體電路之設計完成，產生的設計可以一標準化電子格式(例如，Opus、GDSII或類似者)被發送給一半導體製造設備或“fab”以製造。
以上描述已透過示範性且非限制例子被提供，可獲得本發明之示範性實施例之一全面且有助益的描述。然而，根據上述描述，當結合附圖及附加的申請專利範圍閱讀時，許多修改及變化對於相關領域內具有通常知識者而言是顯而易見的。然而，本發明之該等教示之所有此等及類似的修改仍落於如附加的申請專利範圍內定義的本發明之範圍內。
102‧‧‧圖像組
103‧‧‧圖像組
1O5a‧‧‧I或P圖像
105b‧‧‧I或P圖像
105c‧‧‧I或P圖像
107b‧‧‧B圖像
107c‧‧‧B圖像
109b‧‧‧B圖像
109c‧‧‧B圖像
111b‧‧‧B圖像
111c‧‧‧B圖像
113b‧‧‧B圖像
113c‧‧‧B圖像
115b‧‧‧B圖像
115c‧‧‧B圖像
117b‧‧‧B圖像
117c‧‧‧B圖像
119b‧‧‧B圖像
119c‧‧‧B圖像
121b‧‧‧B圖像
121c‧‧‧B圖像
123b‧‧‧B圖像
123c‧‧‧B圖像
125b‧‧‧B圖像
125c‧‧‧B圖像
127b‧‧‧B圖像
127c‧‧‧B圖像
129b‧‧‧B圖像
129c‧‧‧B圖像
131b‧‧‧B圖像
131c‧‧‧B圖像
133b‧‧‧B圖像
133c‧‧‧B圖像
135b‧‧‧B圖像
135c‧‧‧B圖像
201‧‧‧圖像組
203‧‧‧圖像組
301‧‧‧視訊編碼器
303‧‧‧可縮放資料編碼器
305‧‧‧訊息形成單元
307‧‧‧原始資料串流
309‧‧‧已編碼視訊資料
351‧‧‧視訊解碼器
353‧‧‧接收器
355‧‧‧訊息分解單元
357‧‧‧解碼器
359‧‧‧已編碼視訊資料
361‧‧‧已解碼視訊資料
501~515‧‧‧步驟
610‧‧‧電子設備
611‧‧‧麥克風
613‧‧‧收發器
614‧‧‧ADC/DAC
615‧‧‧使用者介面
621‧‧‧處理器
622‧‧‧記憶體
631‧‧‧視訊驅動器電路
633‧‧‧揚聲器
635‧‧‧照相機
637‧‧‧顯示器
第1圖示意性地顯示了使用本發明之實施例的一電子設備；第2a圖示意性地顯示了被用於本發明之實施例的視訊圖像之4個時間可縮放層之一階層結構；第2b圖示意性地顯示了被用於本發明之實施例的第2a圖中所示的視訊圖像之4個時間可縮放層具有一額外時間層的一階層結構；第3a圖示意性地顯示了依據本發明之實施例的一視訊編碼器； 第3b圖示意性地顯示了依據本發明之實施例的一視訊解碼器；以及第4圖顯示了描述依據本發明之一第一實施例的第3a及3b圖之編碼器及解碼器之操作的一流程圖。
610‧‧‧電子設備
611‧‧‧麥克風
613‧‧‧收發器
614‧‧‧類比對數位轉換器/數位對類比轉換器
615‧‧‧使用者介面
621‧‧‧處理器
622‧‧‧記憶體
631‧‧‧視訊驅動器電路
633‧‧‧揚聲器
635‧‧‧照相機
637‧‧‧顯示器

Claims (26)

  1. 一種編碼裝置，其包含至少一處理器、一具有儲存於其中之電腦程式碼指令的記憶體，當該等指令被處理器執行時，致使該裝置執行：產生具有包含一基層及至少一增強層之多個時間可縮放層的一已編碼可縮放資料串流，其中該裝置被進一步配置以產生在一補充增強資訊訊息中與該基層及該至少一增強層中的每個相關的資訊，該資訊包含：與該基層及該至少一增強層中的每個相關的一最小圖像緩衝器大小，其中該最小圖像緩衝器大小係依據該基層及該至少一增強層之時間階層；以及與該基層及該至少一增強層中的每個相關的一最大圖像重新排序大小，其中該最大圖像重新排序大小係依據該基層及該至少一增強層之該時間階層。
  2. 如申請專利範圍第1項所述之編碼裝置，進一步包含致使該裝置執行下列動作之指令：產生該已編碼可縮放資料串流；以及產生與該基層及該至少一增強層中的每個相關的該資訊且將該資訊儲存在一訊息內。
  3. 如申請專利範圍第2項所述之編碼裝置，進一步包含致使該裝置執行下列動作之指令：將該訊息合併到該已編碼可縮放資料串流內；以及 產生該補充增強資訊訊息。
  4. 如申請專利範圍第3項所述之編碼裝置，其中該補充增強資訊訊息進一步包含被包括在該已編碼可縮放資料串流內的時間可縮放層之數目的一指示。
  5. 如申請專利範圍第2項所述之編碼裝置，其中訊息形成器被配置以產生一容器檔案，其中該容器檔案包含一訊息內的與該基層及該至少一增強層中的每個相關的該資訊。
  6. 如申請專利範圍第1項所述之編碼裝置，其中該編碼裝置被配置以產生一發訊協定封包，該發訊協定封包包含與該基層及該至少一增強層中的每個相關的該資訊。
  7. 如申請專利範圍第6項所述之編碼裝置，其中該封包是一對話描述協定封包，以及與該基層及該至少一增強層中的每個相關的該資訊是對話描述協定封包屬性。
  8. 一種編碼方法，其包含以下步驟：使用一處理器產生具有包含一基層及至少一增強層之多個時間可縮放層的一已編碼可縮放資料串流；產生與該基層及該至少一增強層中的每個相關的資訊，以及將與該基層及該至少一增強層中的每個相關的該資訊包括在一補充增強資訊訊息中，該資訊包含：與該基層及該至少一增強層中的每個相關的一最小圖像緩衝器大小，其中該最小圖像緩衝器大小係依據該基層及該至少一增強層之時間階層；以 及與該基層及該至少一增強層中的每個相關的一最大圖像重新排序大小，其中該最大圖像重新排序大小係依據該基層及該至少一增強層之該時間階層。
  9. 如申請專利範圍第8項所述之方法，進一步包含以下步驟：將與該基層及該至少一增強層中的每個相關的該資訊儲存在一訊息內。
  10. 如申請專利範圍第9項所述之方法，進一步包含以下步驟：將該訊息合併到該已編碼可縮放資料串流內；以及產生該補充增強資訊訊息。
  11. 如申請專利範圍第10項所述之方法，包含以下步驟：將包含在該已編碼可縮放資料串流內的時間可縮放層之數目的一指示儲存在該補充增強資訊訊息內。
  12. 如申請專利範圍第9項所述之方法，包含以下步驟：產生一容器檔案，其中該容器檔案包含一訊息內的與該基層及該至少一增強層中的每個相關的該資訊。
  13. 如申請專利範圍第8項所述之方法，包含以下步驟：產生一發訊協定封包，該發訊協定封包包含與該基層及該至少一增強層中的每個相關的該資訊。
  14. 如申請專利範圍第13項所述之方法，其中產生該發訊協定封包包含產生一對話描述協定封包，以及產生包含與該基層及該至少一增強層中的每個相關的該資訊之對話描述協定封包屬性。
  15. 一種解碼裝置，其包含至少一處理器、一具有儲存於其中之電腦程式碼指令的記憶體，當該等指令被處理器執行時，致使該裝置執行：接收具有包含一基層及至少一增強層信號之多個時間可縮放層的一已編碼可縮放資料串流，並且輸出一已解碼視訊信號；接收與該基層及該至少一增強層中的每個相關的資訊，其中該裝置被進一步配置以自該可縮放資料串流產生已解碼視訊資料，以及被進一步配置以依據與該基層及該至少一增強層中的每個相關的經取出的資訊來組配該裝置；以及依據該組配來解碼該已編碼可縮放資料串流，其中該裝置被進一步配置來從在該已編碼資料串流中之一補充增強資訊訊息擷取與該基層及該至少一增強層中的每個相關的該資訊，其中該資訊包含：與該基層及該至少一增強層中的每個相關的一最小圖像緩衝器大小，其中該最小圖像緩衝器大小係依據該基層及該至少一增強層之時間階層；以及與該基層及該至少一增強層中的每個相關的一最大圖像重新排序大小，其中該最大圖像重新排序大小係依據該基層及該至少一增強層之該時間階層。
  16. 如申請專利範圍第15項所述之解碼裝置，其中該解碼裝 置被進一步配置以自該已編碼可縮放資料串流濾出該補充增強資訊訊息。
  17. 如申請專利範圍第16項所述之解碼裝置，其中該解碼裝置被進一步配置以自該補充增強資訊訊息取出包含在該已編碼可縮放資料串流內的時間可縮放層之數目的一指示。
  18. 如申請專利範圍第15項所述之解碼裝置，進一步被配置以自一發訊協定封包取出與該基層及該至少一增強層中的每個相關的該資訊。
  19. 如申請專利範圍第18項所述之解碼裝置，進一步被配置以自一對話描述協定封包取出與該基層及該至少一增強層中的每個相關的該資訊，其中與該基層及該至少一增強層中的每個相關的該資訊是對話描述協定封包屬性。
  20. 一種解碼方法，包含以下步驟：接收具有包含一基層及至少一增強層信號之多個時間可縮放層的一已編碼可縮放資料串流；接收與該基層及該至少一增強層中的每個相關的資訊，該資訊包含與該基層及該至少一增強層中的每個相關的一最小圖像緩衝器大小，其中該最小圖像緩衝器大小之值係至少部分基於該等時間可縮放層之數量；基於與該基層及該至少一增強層中的每個相關的該資訊來配置一解碼器；基於該解碼器之該配置來解碼該已編碼可縮放資 料串流；以及致使一已解碼視訊信號的輸出，該方法進一步包含：從在該已編碼資料串流中之一補充增強資訊訊息擷取與該基層及該至少一增強層中的每個相關的該資訊，其中該資訊包含：與該基層及該至少一增強層中的每個相關的一最小圖像緩衝器大小，其中該最小圖像緩衝器大小係依據該基層及該至少一增強層之時間階層；以及與該基層及該至少一增強層中的每個相關的一最大圖像重新排序大小，其中該最大圖像重新排序大小係依據該基層及該至少一增強層之該時間階層。
  21. 如申請專利範圍第20項所述之方法，進一步包含從該已編碼可縮放資料串流濾出該資訊訊息。
  22. 如申請專利範圍第21項所述之方法，其中取出之步驟進一步包含以下步驟：自該補充增強資訊訊息取出包含在該已編碼可縮放資料串流內的時間可縮放層之數目的一指示。
  23. 如申請專利範圍第20項所述之方法，其中取出之步驟進一步包含以下步驟：自一發訊協定封包取出與該基層及該至少一增強層中的每個相關的該資訊。
  24. 如申請專利範圍第23項所述之方法，其中取出之步驟進 一步包含以下步驟：自一對話描述協定封包取出與該基層及該至少一增強層中的每個相關的該資訊，其中與該基層及該至少一增強層中的每個相關的該資訊是對話描述協定封包屬性。
  25. 一種電腦程式產品，其中一軟體碼被儲存於一非暫時性電腦可讀媒體內，其中該碼被一處理器執行時實現下述步驟：產生具有包含一基層及至少一增強層之多個時間可縮放層的一已編碼可縮放資料串流；以及產生與該基層及該至少一增強層中的每個相關的資訊，將與該基層及該至少一增強層中的每個相關的該資訊包括在一補充增強資訊訊息中，其中該資訊包含：與該基層及該至少一增強層中的每個相關的一最小圖像緩衝器大小，其中該最小圖像緩衝器大小係依據該基層及該至少一增強層之時間階層；以及與該基層及該至少一增強層中的每個相關的一最大圖像重新排序大小，其中該最大圖像重新排序大小係依據該基層及該至少一增強層之該時間階層。
  26. 一種電腦程式產品，其中一軟體碼被儲存於一非暫時性電腦可讀媒體內，其中該碼被一處理器執行時實現下述步驟： 接收具有包含一基層及至少一增強層信號之多個時間可縮放層的一已編碼可縮放資料串流；接收與該基層及該至少一增強層中的每個相關的資訊；基於與該基層及該至少一增強層中的每個相關的經取出的資訊來配置一解碼器；基於該解碼器之該配置來解碼該已編碼可縮放資料串流；以及致使一已解碼視訊信號之輸出，該碼進一步組配來：從在該已編碼資料串流中之一補充增強資訊訊息擷取與該基層及該至少一增強層中的每個相關的該資訊，其中該資訊包含：與該基層及該至少一增強層中的每個相關的一最小圖像緩衝器大小，其中該最小圖像緩衝器大小係依據該基層及該至少一增強層之時間階層；以及與該基層及該至少一增強層中的每個相關的一最大圖像重新排序大小，其中該最大圖像重新排序大小係依據該基層及該至少一增強層之該時間階層。
TW097113223A 2007-04-13 2008-04-11 視訊編碼器 TWI489875B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2007/002344 WO2008125900A1 (en) 2007-04-13 2007-04-13 A video coder

Publications (2)

Publication Number Publication Date
TW200901773A TW200901773A (en) 2009-01-01
TWI489875B true TWI489875B (zh) 2015-06-21

Family

ID=38924277

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097113223A TWI489875B (zh) 2007-04-13 2008-04-11 視訊編碼器

Country Status (8)

Country Link
US (1) US8938012B2 (zh)
EP (1) EP2153658B1 (zh)
KR (1) KR101132386B1 (zh)
CN (1) CN101682760B (zh)
AU (1) AU2007350974B2 (zh)
TW (1) TWI489875B (zh)
WO (1) WO2008125900A1 (zh)
ZA (1) ZA200907916B (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685556B (zh) * 2007-04-18 2015-07-15 汤姆森许可贸易公司 编码系统
US20140072058A1 (en) * 2010-03-05 2014-03-13 Thomson Licensing Coding systems
US20100142613A1 (en) * 2007-04-18 2010-06-10 Lihua Zhu Method for encoding video data in a scalable manner
US8345774B2 (en) * 2008-01-11 2013-01-01 Apple Inc. Hypothetical reference decoder
JP2010166387A (ja) * 2009-01-16 2010-07-29 Panasonic Corp バッファ制御装置及び無線通信端末
KR20110121612A (ko) * 2009-02-06 2011-11-07 가부시키가이샤 니콘 인코더
US8570361B2 (en) * 2010-01-11 2013-10-29 Mediatek Inc. Decoding method and decoding apparatus for using parallel processing scheme to decode pictures in different bitstreams after required decoded data derived from decoding preceding picture(s) is ready
JP5706771B2 (ja) * 2010-07-30 2015-04-22 キヤノン株式会社 動画像の予測符号化装置及びその制御方法、コンピュータプログラム
US8885729B2 (en) 2010-12-13 2014-11-11 Microsoft Corporation Low-latency video decoding
KR101852789B1 (ko) * 2011-04-26 2018-06-04 엘지전자 주식회사 참조 픽쳐 리스트 관리 방법 및 이러한 방법을 사용하는 장치
SG10201408609SA (en) * 2011-06-30 2015-02-27 Microsoft Technology Licensing Llc Reducing latency in video encoding and decoding
CN103843340B (zh) * 2011-09-29 2018-01-19 瑞典爱立信有限公司 参考图片列表处理
CN103037209B (zh) * 2011-09-30 2016-05-04 腾讯科技（深圳）有限公司 视频帧的解码处理方法和装置
WO2013108954A1 (ko) * 2012-01-20 2013-07-25 전자부품연구원 하이브리드 전송환경에서 스케일러블 초고해상도 비디오 서비스를 위한 프로그램 구성 정보 송수신 방법, 효율적인 스케일러 계층 정보 전송을 위한 방법 및 스케일러 계층 정보 전송을 위한 장치
KR101951084B1 (ko) 2012-01-31 2019-02-21 브이아이디 스케일, 인크. 스케일러블 고효율 비디오 코딩(hevc)을 위한 참조 픽처 세트(rps) 시그널링
US20140152593A1 (en) * 2012-12-03 2014-06-05 Industrial Technology Research Institute Method And System For Operating Portable Devices
US9942545B2 (en) 2013-01-03 2018-04-10 Texas Instruments Incorporated Methods and apparatus for indicating picture buffer size for coded scalable video
US9369711B2 (en) 2013-01-07 2016-06-14 Qualcomm Incorporated Conditional signaling of picture order count timing information for video timing in video coding
KR20140092198A (ko) 2013-01-07 2014-07-23 한국전자통신연구원 계층적 비디오 부호화에서의 스케일러빌리티 정보 표현방식
EP2965524B1 (en) 2013-04-08 2021-11-24 ARRIS Enterprises LLC Individual buffer management in video coding
US9571318B2 (en) * 2013-09-27 2017-02-14 Samsung Electronics Co., Ltd. Transmitting apparatus, receiving apparatus, and method of controlling the same
KR102233430B1 (ko) * 2013-10-12 2021-03-29 삼성전자주식회사 멀티 레이어 비디오의 복호화 및 부호화를 위한 버퍼 관리 방법 및 장치
KR20150043222A (ko) * 2013-10-12 2015-04-22 삼성전자주식회사 멀티 레이어 비디오 부호화 방법 및 그 장치, 멀티 레이어 비디오 복호화 방법 및 그 장치
CN106105210B (zh) * 2014-01-03 2019-04-26 三星电子株式会社 管理用于对多层视频进行编码和解码的缓冲器的方法和设备
CA3060496C (en) 2014-05-21 2022-02-22 Arris Enterprises Llc Signaling and selection for the enhancement of layers in scalable video
WO2015179596A1 (en) * 2014-05-21 2015-11-26 Arris Enterprises, Inc. Individual buffer management in transport of scalable video
US10356415B2 (en) * 2014-06-20 2019-07-16 Qualcomm Incorporated Systems and methods for constraining representation format parameters for a parameter set
EP3179729B1 (en) * 2014-08-07 2021-08-25 Sony Group Corporation Transmission device, transmission method and reception device
US20170048532A1 (en) * 2015-08-13 2017-02-16 Microsoft Technology Licensing, Llc Processing encoded bitstreams to improve memory utilization
US10750217B2 (en) * 2016-03-21 2020-08-18 Lg Electronics Inc. Broadcast signal transmitting/receiving device and method
FR3070566B1 (fr) * 2017-08-30 2020-09-04 Sagemcom Broadband Sas Procede de recuperation d'un fichier cible d'un logiciel d'exploitation et dispositif d'utilisation
US11736687B2 (en) * 2017-09-26 2023-08-22 Qualcomm Incorporated Adaptive GOP structure with future reference frame in random access configuration for video coding
US11606528B2 (en) * 2018-01-03 2023-03-14 Saturn Licensing Llc Advanced television systems committee (ATSC) 3.0 latency-free display of content attribute
US10966001B2 (en) 2018-04-05 2021-03-30 Tvu Networks Corporation Remote cloud-based video production system in an environment where there is network delay
US11463747B2 (en) * 2018-04-05 2022-10-04 Tvu Networks Corporation Systems and methods for real time control of a remote video production with multiple streams
GB2598701B (en) * 2020-05-25 2023-01-25 V Nova Int Ltd Wireless data communication system and method
CN113709510A (zh) * 2021-08-06 2021-11-26 联想(北京)有限公司 高速率数据实时传输方法及装置、设备、存储介质
KR20240028174A (ko) * 2022-08-24 2024-03-05 삼성전자주식회사 전자 장치 및 그 제어 방법
CN120604516A (zh) * 2022-11-19 2025-09-05 Lg电子株式会社 图像编码/解码方法、用于发送比特流的方法及用于存储比特流的记录介质
JP2025536681A (ja) * 2022-11-19 2025-11-07 エルジー エレクトロニクス インコーポレイティド Ｎｎｐｆｃ ｓｅｉメッセージの反復を処理する映像符号化／復号化方法、ビットストリームを伝送する方法、及びビットストリームを保存している記録媒体
EP4645868A1 (en) * 2023-01-01 2025-11-05 LG Electronics Inc. Image encoding/decoding method, method for transmitting bitstream, and recording medium for storing bitstream

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040179619A1 (en) * 2002-11-06 2004-09-16 Nokia Corporation Picture buffering for prediction references and display
TW200627964A (en) * 2004-04-27 2006-08-01 Broadcom Corp Video encoder and method for detecting and encoding noise
US20060233242A1 (en) * 2005-04-13 2006-10-19 Nokia Corporation Coding of frame number in scalable video coding
US20060256851A1 (en) * 2005-04-13 2006-11-16 Nokia Corporation Coding, storage and signalling of scalability information

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7133449B2 (en) * 2000-09-18 2006-11-07 Broadcom Corporation Apparatus and method for conserving memory in a fine granularity scalability coding system
FR2867328A1 (fr) * 2004-03-02 2005-09-09 Thomson Licensing Sa Procede de decodage d'une sequence d'images codee avec echelonnabilite spatiale et temporelle
US20060239563A1 (en) * 2005-04-25 2006-10-26 Nokia Corporation Method and device for compressed domain video editing
US20070014346A1 (en) * 2005-07-13 2007-01-18 Nokia Corporation Coding dependency indication in scalable video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040179619A1 (en) * 2002-11-06 2004-09-16 Nokia Corporation Picture buffering for prediction references and display
TW200627964A (en) * 2004-04-27 2006-08-01 Broadcom Corp Video encoder and method for detecting and encoding noise
US20060233242A1 (en) * 2005-04-13 2006-10-19 Nokia Corporation Coding of frame number in scalable video coding
US20060256851A1 (en) * 2005-04-13 2006-11-16 Nokia Corporation Coding, storage and signalling of scalability information

Also Published As

Publication number Publication date
AU2007350974B2 (en) 2013-07-18
US20110002397A1 (en) 2011-01-06
EP2153658A1 (en) 2010-02-17
CN101682760A (zh) 2010-03-24
US8938012B2 (en) 2015-01-20
KR20100005124A (ko) 2010-01-13
EP2153658B1 (en) 2013-08-14
WO2008125900A1 (en) 2008-10-23
ZA200907916B (en) 2011-04-28
TW200901773A (en) 2009-01-01
KR101132386B1 (ko) 2012-07-16
CN101682760B (zh) 2013-08-21
AU2007350974A1 (en) 2008-10-23

Similar Documents

Publication Publication Date Title
TWI489875B (zh) 視訊編碼器
US11553198B2 (en) Removal delay parameters for video coding
US11653011B2 (en) Decoded picture buffer removal
US10841619B2 (en) Method for decoding a video bitstream
US10154289B2 (en) Signaling DPB parameters in VPS extension and DPB operation
US10284862B2 (en) Signaling indications and constraints
US10250897B2 (en) Tile alignment signaling and conformance constraints
US12389040B2 (en) Method and device using high layer syntax architecture for coding and decoding
US20160173887A1 (en) Scaling list signaling and parameter sets activation
US9699480B2 (en) Level limits
US12356013B2 (en) System and method for decoding including network abstraction layer unit structure with picture header
US10904545B2 (en) Method for syntax controlled decoded picture buffer management