TWI408965B - 可調節視訊編碼之改良加強層編碼之方法、設備及電腦可讀媒體 - Google Patents
可調節視訊編碼之改良加強層編碼之方法、設備及電腦可讀媒體 Download PDFInfo
- Publication number
- TWI408965B TWI408965B TW97139596A TW97139596A TWI408965B TW I408965 B TWI408965 B TW I408965B TW 97139596 A TW97139596 A TW 97139596A TW 97139596 A TW97139596 A TW 97139596A TW I408965 B TWI408965 B TW I408965B
- Authority
- TW
- Taiwan
- Prior art keywords
- video block
- video
- coefficient
- coefficients
- refinement
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 104
- 239000013598 vector Substances 0.000 claims abstract description 169
- 238000004458 analytical method Methods 0.000 claims abstract description 28
- 238000004891 communication Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 15
- 230000002787 reinforcement Effects 0.000 claims description 13
- 238000007670 refining Methods 0.000 claims description 12
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims 1
- 238000013139 quantization Methods 0.000 description 87
- 238000010586 diagram Methods 0.000 description 26
- 230000033001 locomotion Effects 0.000 description 16
- 230000005540 biological transmission Effects 0.000 description 14
- 230000002123 temporal effect Effects 0.000 description 8
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 239000005022 packaging material Substances 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 108091026890 Coding region Proteins 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
本發明係關於數位視訊寫碼,且更特定而言係關於對視訊資料的可調節視訊寫碼。
本申請案主張2007年10月15日申請之美國臨時申請案第60/979,919號及2007年10月16日申請的美國臨時申請案第60/940,214號之權利。此等申請案中之每一者的內容以引用方式併入本文中。
數位視訊能力可併入於廣泛範圍之設備中,包括數位電視、數位直播系統、無線通信設備、無線廣播系統、個人數位助理(PDA)、膝上型電腦或桌上型電腦、數位相機、數位記錄設備、視訊遊戲設備、視訊遊戲機、蜂巢式或衛星無線電話,及其類似者。數位視訊設備實施視訊壓縮技術,諸如運動圖像專家組(MPEG)-2、MPEG-4或國際電信聯盟標準化部門(ITU-T)H.264/MPEG-4部分10進階視訊寫碼(AVC)(下文中為"H.264/MPEG-4部分10 AVC標準),以更有效地傳輸並接收數位視訊。視訊壓縮技術執行空間及時間預測以減少或移除視訊序列中的固有冗餘。
在視訊寫碼中,視訊壓縮通常包括空間預測及/或運動估計及運動補償以產生預測視訊區塊。框內寫碼依靠空間預測來減少或移除給定寫碼單元(例如,圖框或片)內之視訊區塊之間的空間冗餘。換言之,視訊編碼器執行空間預測以基於同一寫碼單元內之其他資料來壓縮資料。相反,框間寫碼依靠時間預測來減少或移除視訊序列之連續視訊圖框之視訊區塊之間的時間冗餘。因此,對於框間寫碼而言,視訊編碼器執行運動估計及運動補償以追蹤兩個或兩個以上相鄰寫碼單元的匹配之視訊區塊的移動。
在空間或時間預測之後,藉由自正被寫碼之原始視訊區塊減去預測視訊區塊而產生剩餘係數之區塊(稱為剩餘區塊或剩餘資訊)。剩餘區塊可為量化預測視訊區塊與原始區塊之間的差之係數值的二維矩陣。視訊編碼器可對剩餘區塊應用變換、量化及熵寫碼過程以進一步減少與剩餘區塊之通信相關聯的位元率。變換技術可包含離散餘弦變換(DCT)、小波變換、整數變換或其他類型變換。
在DCT變換中,例如,變換過程將一組像素域係數轉換為變換係數,該等變換係數表示像素域係數在頻域或變換域中的能量。向變換係數應用量化以產生經量化之變換係數。量化通常限制與任何給定係數相關聯之位元的數目。視訊編碼器熵編碼經量化之變換係數以進一步壓縮經量化的變化係數。視訊編碼器可使用可變長度寫碼(VLC)、算術寫碼、固定長度寫碼或其組合來熵編碼該等係數。視訊解碼器可執行逆操作以重建視訊序列。
諸如MPEG-2之一些視訊寫碼標準以相對恆定之品質、位元率或空間解析度來編碼視訊。此技術可能足以向具有類似解碼器能力(例如,記憶體或處理資源)及/或連接品質之設備提供視訊應用。然而,多數現代視訊傳輸系統通常包括具有變化之解碼器能力及/或連接品質的設備。在此等系統中,傳輸以相對恆定之品質、位元率或空間解析度編碼之視訊導致視訊應用程式對於具有適當解碼器能力及/或連接品質之設備工作,且對於不具有適當解碼器能力及/或連接品質的設備不工作。在無線情形下,例如,靠近視訊傳輸源定位之設備與遠離源定位之設備相比較可能具有較高品質連接。同樣,遠離源定位之設備可能不能接收以恆定品質、位元率或空間解析度傳輸的經編碼之視訊。
其他視訊寫碼標準利用可調節寫碼技術來克服此等問題。(例如)根據ITU-T H.264/MPEG-4部分10 AVC之擴展的可調節視訊寫碼(SVC)指代其中將視訊序列編碼為一基礎層及一或多個可調節加強層的視訊寫碼。對於SVC而言,基礎層通常載運具有基本空間、時間及/或品質等級的視訊資料。一或多個增強層載運額外視訊資料以支援更高空間、時間及/或品質等級。加強層可(例如)向基礎層之圖框添加空間解析度,或可添加額外圖框以增加總圖框率。在一些例子中,可以比加強層之傳輸更可靠的方式傳輸基礎層。同樣,遠離編碼視訊源定位或具有較低解碼器能力之設備可能能夠接收基礎層,且因此接收視訊序列,即使處於最低空間、時間及/或品質等級。
本發明描述允許在單一寫碼一次操作中熵編碼加強層位元流的可調節視訊寫碼技術。習知地,使用多個寫碼一次操作來編碼加強層位元流。對於加強層之每一視訊區塊而言,例如,第一寫碼一次操作可收集在選擇用於熵寫碼區塊之寫碼表(或碼簿)中使用的區塊之統計數據,且第二寫碼一次操作可使用所選擇之寫碼表來熵編碼區塊。然而,根據本發明中之技術,在不執行收集在視訊寫碼表選擇中使用的統計數據之第一寫碼一次操作情況下熵編碼加強層位元流之視訊區塊。
實情為,使用一在單一寫碼一次操作中在逐係數基礎上編碼加強層之係數的寫碼技術來編碼加強層。在一例子中,對於加強層視訊區塊之非零係數中的每一者而言,視訊編碼器可編碼區塊結束(EOB)符號、運程長度及正負號。視訊編碼器可使用僅單一寫碼表來編碼加強層之視訊區塊,藉此消除執行一收集用於選擇寫碼表之統計數據的第一寫碼一次操作之需要。
另外,視訊編碼器可能並不編碼加強層中之非零係數的量值。以此方式,加強層之所有非零係數的量值可限制至為量值1。不編碼加強層之係數之量值可導致峰值訊雜比(PSNR)的某一損耗,但減少用以編碼加強層之位元的數目。本發明之技術可提供若干優點。舉例而言,該等技術可減少用於編碼加強層位元流之寫碼複雜性、寫碼延遲及記憶體要求,同時維持寫碼效率。
在一態樣中,一種使用可調節視訊寫碼來編碼視訊資料之方法包含以第一品質編碼視訊區塊作為基礎層位元流的部分。方法亦包括編碼視訊區塊之精化作為至少一加強層位元流的部分,該等視訊區塊之精化在與以第一品質編碼之視訊區塊組合時導致具有大於第一品質之第二品質的視訊區塊。方法亦包括,在單一編碼一次操作中編碼視訊區塊的精化。
在另一態樣中,一種用於使用可調節視訊寫碼來編碼視訊資料的設備包含至少一編碼器,該至少一編碼器以第一品質編碼視訊區塊作為基礎層位元流的部分,且編碼視訊區塊之精化作為至少一加強層位元流的部分,該等視訊區塊之精化在與以第一品質編碼之視訊區塊組合時導致具有大於第一品質之第二品質的視訊區塊。在單一編碼一次操作中編碼視訊區塊的精化。
在又一態樣中,一種包含指令之電腦可讀媒體,該等指令使得一或多個處理器以第一品質編碼視訊區塊作為基礎層位元流的部分;且編碼視訊區塊之精化作為至少一加強層位元流的部分,該等視訊區塊之精化在與以第一品質編碼之視訊區塊組合時導致具有大於第一品質之第二品質的視訊區塊。在單一編碼一次操作中編碼視訊區塊的精化。
在再一態樣中,一種用於使用可調節視訊寫碼來編碼視訊資料的設備包含:用於以第一品質編碼視訊區塊作為基礎層位元流之部分的第一構件;及用於編碼視訊區塊之精化作為至少一加強層位元流之部分的第二構件,該等視訊區塊之精化在與以第一品質編碼之視訊區塊組合時導致具有大於第一品質之第二品質的視訊區塊。在單一編碼一次操作中編碼視訊區塊的精化。
在另一態樣中,一種使用可調節視訊寫碼來解碼視訊資料之方法包含解碼基礎層位元流以獲得第一品質的視訊區塊,及解碼加強層位元流以獲得視訊區塊之精化,該等視訊區塊之精化在與第一品質的經解碼視訊區塊組合時導致具有第二品質的視訊區塊。解碼加強層包括對於視訊區塊之精化之每一非零係數而言解碼一指示存在至少一殘餘非零係數的符號、一指示非零係數之前的零值係數之數目的運程長度及非零係數的正負號。
在又一態樣中,一種用於使用可調節視訊寫碼來解碼視訊資料之設備包含至少一解碼器,該至少一解碼器解碼基礎層位元流以獲得第一品質的視訊區塊,且解碼加強層位元流以獲得視訊區塊之精化,該等視訊區塊之精化在與第一品質的經解碼視訊區塊組合時導致具有第二品質的視訊區塊。至少一解碼器對於視訊區塊之精化之每一非零係數而言解碼一指示存在至少一殘餘非零係數的符號、一指示非零係數之前的零值係數之數目的運程長度及非零係數的正負號。
在再一態樣中,一種包含指令之電腦可讀媒體,該等指令使得一或多個處理器解碼基礎層位元流以獲得第一品質的視訊區塊;且解碼加強層位元流以獲得視訊區塊之精化,該等視訊區塊之精化在與第一品質的經解碼視訊區塊組合時導致具有第二品質的視訊區塊。指令使得一或多個處理器對於視訊區塊之精化之每一非零係數而言解碼一指示存在至少一殘餘非零係數的符號、一指示非零係數之前的零值係數之數目的運程長度及非零係數的正負號。
在另一態樣中,一種用於使用可調節視訊寫碼來解碼視訊資料之設備包含:用於解碼基礎層位元流以獲得第一品質的視訊區塊之第一構件;及用於解碼加強層位元流以獲得視訊區塊之精化之第二構件,該等視訊區塊之精化在與第一品質的經解碼視訊區塊組合時導致具有第二品質的視訊區塊。該第二解碼構件對於視訊區塊之精化之每一非零係數而言解碼一指示存在至少一殘餘非零係數的符號、一指示非零係數之前的零值係數之數目的運程長度及非零係數的正負號。
本發明中所描述之技術可以硬體、軟體、韌體或其任何組合來實施。若以軟體來實施,則軟體可執行於處理器中,該處理器可指代一或多個處理器,諸如,微處理器、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)或數位信號處理器(DSP),或其他等效積體或離散邏輯電路中。包含用以執行該等技術之指令的軟體最初可儲存於電腦可讀媒體中,且被載入並由處理器來執行。
因此,本發明亦預期到包含指令之電腦可讀媒體,該等指令使得處理器執行如本發明中所描述之各種技術中的任一者。在一些狀況下,電腦可讀媒體可形成電腦程式產品之部分,該電腦程式產品可出售給製造商及/或用於設備中。電腦程式產品可包括電腦可讀媒體,且在一些狀況下亦可包括包裝材料。
在隨附圖式及以下描述中闡述本發明之一或多個態樣的細節。本發明中描述之技術的其他特徵、目標及優點將自描述及圖式且自申請專利範圍而顯而易見。
圖1為說明一支援視訊可調節性之視訊傳輸系統10的方塊圖。在圖1之實例中,視訊傳輸系統10包括一源設備12及多個目的地設備14A、14B(共同地為"目的地設備14")。源設備12自一或多個源獲得數位視訊內容,且編碼視訊內容以供傳輸至目的地設備14。視訊內容可(例如)被即時或接近即時地擷取、存檔(例如,預先擷取)、電腦產生,或其組合。在每一狀況下,視訊內容可藉由源設備12來編碼以經由通信頻道傳輸至目的地設備14。源設備12可包括或耦接至一傳輸器,該傳輸器包括適當射頻(RF)調變、濾波,及放大器組件以驅動一或多個天線經由通信頻道遞送經編碼視訊。
為了支援可調節視訊,源設備12將源視訊編碼為基礎層位元流(或基礎層)及一或多個可調節加強層位元流(或加強層)。基礎層位元流通常載運具有基礎品質等級之視訊資料。一或多個加強層載運本文中稱為精化之額外視訊資料以支援較高品質等級。在加強層中編碼之精化可(例如)藉由提供額外較高頻率係數或進一步精製現有係數而逐漸增加保真度(例如,視覺品質)。在一些例子中,可以比加強層之傳輸更可靠的方式(例如,以較低封包錯誤率(PER))傳輸基礎層。
在圖1中所說明之實例中,為了簡單,展示一頻道之基礎層及一單一加強層。然而,源設備12可編碼該頻道之載運額外視訊資料的一個以上加強層。在一些例子中,源設備12可在單獨位元流中編碼源視訊以支援用於由與目的地設備14相關聯之使用者選擇的不同頻道。通常同時傳輸頻道,使得目的地設備14在任何時間可選擇不同頻道以用於觀看。因此,非常類似於電視觀看體驗,目的地設備14在使用者控制下可選擇一頻道以觀看體育,且接著選擇另一頻道以觀看新聞或某一其他經排程的廣播節目事件。一般而言,可將每一頻道編碼為一基礎層及一或多個加強層。
此外,為了說明性目的,在品質可調節性(亦稱為訊雜比(SNR)可調節性)情形下描述本發明的技術。然而,可將技術擴展至空間可調節性。在空間可調節性應用中,基礎層以基礎空間解析度載運視訊資料,且加強層載運額外視訊資料從而支援較高空間解析度。在一些例子中,系統10可利用組合SNR、空間及/或時間可調節性的視訊可調節性。
源設備12可(例如)根據ITU-T H.264/MPEG-4部分10 AVC標準之SVC擴展而將源視訊編碼為基礎層,且根據本發明中描述的技術將源視訊編碼為加強層。同樣,如本發明中描述之技術在一些態樣中可經應用以實施設備之視訊可調節性擴展,其另外符合H.264標準。實際上,本發明之技術可表示用於H.264標準或其他標準之將來版本或擴展的潛在修改。然而,可結合以下各種其他視訊壓縮標準中之任一者來使用該等技術,諸如,在MPEG-1及MPEG-2中界定之彼等標準、ITU-T H.263標準、電影電視工程師協會(SMPTE)421M視訊CODEC標準(統稱為"VC-1")、藉由中國音訊視訊寫碼標準工作小組界定之標準(統稱為"AVS")以及藉由標準組織界定或藉由組織開發為專屬標準的任何其他視訊寫碼標準。
目的地設備14可支援經編碼視訊之有線及/或無線接收。目的地設備14可包含諸如無線通信設備之能夠接收並解碼數位視訊資料的任何設備,例如蜂巢式或衛星無線電話、無線廣播系統、個人數位助理(PDA)、膝上型電腦或桌上型電腦、數位相機、數位記錄設備、視訊遊戲設備、視訊遊戲機、數位電視、數位直播系統,及其類似者。在圖1之實例中,展示兩個目的地設備14A、14B。然而,系統10可包括任何數目之目的地設備14。目的地設備14亦可根據上述各種視訊壓縮標準中之任一者來操作。
圖1表示目的地設備14相對於傳輸經編碼視訊之源設備12的定位。詳言之,目的地設備14A較靠近傳輸源(亦即,圖1中之源設備12),且目的地設備14B遠離傳輸源。在以較低PER編碼基礎層的狀況下,兩個目的地設備14A及14B可可靠地接收並解碼基礎層。較靠近源設備12定位之目的地設備14A亦可可靠地接收加強層。然而,遠離源設備12定位之目的地設備14B可能(例如)歸因於網路或頻道條件而無法可靠地接收加強層。
同樣,因為基礎層資料及加強層資料兩者為可用的,所以較靠近之目的地設備14A能夠具有較高品質視訊;而目的地設備14B僅能夠呈現由基礎層資料提供的最小品質等級。因此,在加強層之額外位元可經解碼並添加至基礎層位元流以增加經解碼視訊之訊雜比(SNR)之意義上,藉由目的地設備14獲得之視訊為可調節的。然而,僅當加強層資料存在時,可調節性為可能的。因此,如本發明中使用之術語"品質"可指代客觀及/或主觀視覺品質。換言之,加強層精化導致為原始資料之較高品質再現的視訊資料。以此方式,藉由加強層來增加視訊的保真度。
在其他例子中,網路或頻道條件對於目的地設備14A及14B兩者可能皆足以接收基礎層及加強層。然而,目的地設備14A及14B可具有不同解碼器能力,該等不同解碼器能力防止目的地設備14A及14B中之一者使用加強層之額外視訊資料來產生較高品質視訊。若目的地設備14中之一者為用戶端設備,諸如,行動手持裝置或(例如)其他小型攜帶型設備,則可能存在歸因於計算複雜性及記憶體要求的限制。因此,可以具有有限計算或記憶體資源之目的地設備14可僅解碼基礎層之方式來設計可調節視訊寫碼。以此方式,具有較好網路或頻道條件及/或較高解碼器能力之目的地設備14將能夠使用加強層之額外視訊資料重建具有較高視訊品質的視訊。
本發明中描述之技術利用促進加強層位元流之有效寫碼的熵寫碼技術。本發明之熵寫碼技術可賦能在單一編碼一次操作中在加強層位元流中寫碼(例如)呈精化形式之額外視訊資料,藉此減少寫碼複雜性、寫碼延遲及記憶體要求。如將進一步詳細描述,源設備12在一些例子中可在不知曉任何後續係數(亦即,當前正被寫碼之非零係數之後的任何係數)的情況下編碼加強層之係數向量中的每一非零係數。在單一一次操作中寫碼加強層可消除執行一用以分析係數向量之第一一次操作及用於基於分析而寫碼係數向量的第二一次操作之需要。
舉例而言,一些習知熵編碼器可執行第一編碼一次操作以產生用以表示係數向量的符號,符號中的至少一些表示一個以上非零係數。換言之,需要知曉後續係數以編碼係數向量的非零係數。另外或或者,一些習知熵編碼器亦可在第一或後續編碼一次操作期間選擇VLC表以用於編碼符號。在一態樣中,可基於所產生之符號來選擇VLC表。或者,可藉由在第一編碼一次操作期間分析係數向量而收集統計數據,且可基於所收集之統計數據來選擇VLC表。
接著藉由習知熵編碼器來執行第二編碼一次操作以基於在第一編碼一次操作期間執行之分析來熵編碼係數向量。作為一實例,一些習知熵編碼器在第二編碼一次操作期間可使用基於所產生之符號或其他統計數據選擇之VLC表來編碼在第一一次操作期間產生的符號。產生表示一個以上非零係數之符號及/或基於所產生之符號或其他統計數據選擇VLC表可允許更有效地編碼係數向量。
本發明之技術不僅消除使用一個以上編碼一次操作來編碼加強層之需要,而且本發明之熵寫碼技術可另外導致在不儲存並存取基礎層之視訊資料的係數資訊的情況下寫碼加強層,從而進一步減少計算複雜性及記憶體要求。
源設備12、目的地設備14或兩者可為如上所述之無線或有線通信設備。又,源設備12、目的地設備14或兩者可實施為積體電路設備(諸如,積體電路晶片或晶片組),該積體電路設備可併入至無線或有線通信設備中或支援數位視訊應用的另一類型設備中,諸如,數位媒體播放器、個人數位助理(PDA)、數位電視或類似者。
圖2為進一步詳細說明寫碼系統10之源設備12及目的地設備14的方塊圖。目的地設備14可(例如)為圖1之目的地設備14A或14B中的任一者。如圖2中所示,源設備12可包括:一視訊源18、一視訊編碼器20及一傳輸器22。源設備12之視訊源18可包括一視訊擷取設備,諸如,攝影機、含有先前擷取之視訊的視訊存檔或來自視訊內容提供者的視訊饋入。作為另一替代實例,視訊源18可產生基於電腦圖形之資料作為源視訊,或者實況視訊及電腦產生視訊之組合。在一些狀況下,源設備12可為所謂之相機電話或視訊電話,在此狀況下視訊源18可為攝影機。在每一狀況下,經擷取,預擷取或電腦產生之視訊可由視訊編碼器20編碼從而經由傳輸器22及通信頻道16自源設備12傳輸至目的地設備14。
視訊編碼器20自視訊源18接收視訊資料,且將視訊資料編碼為基礎層位元流及一或多個加強層位元流。在圖2中所說明之實例中,視訊編碼器20包括一基礎層編碼器30及一加強層編碼器32。基礎層編碼器30及加強層編碼器32自視訊源18接收共用視訊資料。基礎層編碼器30以第一位元率編碼視訊資料以產生視訊的處於第一品質等級之基礎層位元流。加強層編碼器32編碼額外位元以產生一或多個加強層,該一或多個加強層在添加至基礎層位元等級時將視訊加強為第二較高品質等級。換言之,加強層在添加至基礎層時提供第二較高位元率,該第二較高位元率提供較高品質等級。因而,可將加強層看作在基礎層中編碼之視訊資料的編碼精化。精化可(例如)為額外係數及/或對現有係數的精化。在加強層中之精化隨著其解碼而逐漸增加視訊資料之品質的意義上,在加強層中編碼之精化可為階層式的。因而,對所有加強層之精化的解碼(例如)將導致最高位元率及最大品質,而僅對第一加強層之精化之解碼相對於僅對基礎層之解碼將產生位元率及品質的遞增增加。
自視訊源18接收到之視訊資料可為一系列視訊圖框。基礎層編碼器30及加強層編碼器32將一系列圖框分為寫碼單元,並處理該等寫碼單元以編碼該系列視訊圖框。寫碼單元可(例如)為整個圖框或圖框之部分(諸如,圖框之片)。基礎層編碼器30及加強層編碼器32將每一寫碼單元分為像素區塊(本文中稱為視訊區塊或區塊),且對個別寫碼單元內之視訊區塊操作以便編碼視訊資料。同樣,視訊資料可包括多個圖框,一圖框可包括多個片,且一片可包括多個視訊區塊。
視訊區塊可具有固定或變化之大小,且根據特定寫碼標準可在大小上有所不同。作為一實例,ITU-T H.264/MPEG-4部分10 AVC支援各種區塊大小之框內預測,諸如用於亮度分量之16乘16、8乘8或4乘4,及用於色度分量之8x8,以及支援各種區塊大小之框間預測,諸如用於亮度分量之16乘16、16乘8、8乘16、8乘8、8乘4、4乘8及4乘4及用於色度分量之相應可調節的大小。在H.264/MPEG-4部分10 AVC中,可將通常稱為巨集區塊(MB)之每一視訊區塊再分為具有固定或變化之大小的子區塊。亦即,寫碼單元可含有具有相同或不同大小的子區塊。一般而言,MB及各種子區塊可視作視訊區塊。因此,MB可視作視訊區塊,且在經分割或次分割情況下,MB自身可被視作界定視訊區塊集合。
編碼器30、32執行圖框之視訊區塊的框內寫碼及框間寫碼。框內寫碼依靠空間預測來減少或移除給定寫碼單元(例如,圖框或片)內之視訊資料中的空間冗餘。對於框內寫碼而言,編碼器30、32基於與當前正被寫碼之區塊相同之圖框內的一或多個先前編碼之區塊而形成空間預測區塊。預測區塊可為當前正被寫碼之視訊區塊的預測型式。基礎層編碼器30可(例如)藉由使用當前圖框之基礎層內之一或多個先前編碼區塊的像素值來執行內插(根據與區塊相關聯之框內寫碼模式)而基於圖框內之一或多個先前編碼區塊而產生預測區塊。加強層編碼器32可基於圖框內之一或多個先前編碼區塊而產生預測區塊。加強層編碼器32可(例如)基於來自圖框內之基礎層及加強層之一或多個先前編碼視訊區塊而產生預測區塊。舉例而言,加強層編碼器32可使用來自以下兩者之像素值之加權和而產生預測區塊:來自基礎層之至少一先前編碼視訊區塊及來自加強層之至少一先前編碼視訊區塊。
框間寫碼依靠時間預測來減少或移除視訊序列之相鄰圖框內的時間冗餘。對於框間寫碼而言,編碼器30、32執行運動估計以追蹤寫碼單元內之兩個或兩個以上相鄰圖框之間的密切匹配之視訊區塊的移動。在框間預測狀況下,編碼器30、32可基於來自寫碼單元內之其他圖框之一或多個先前編碼區塊產生時間預測區塊。編碼器30、32可(例如)比較當前視訊區塊與一或多個相鄰視訊圖框中之區塊以識別相鄰圖框中之與當前視訊區塊最密切地匹配的區塊,例如,一或多個相鄰圖框中之具有最小均方誤差(MSE)、平方差和(SSD)、絕對差和(SAD)或其他差異量度的區塊。編碼器30、32選擇相鄰圖框中之經識別區塊作為預測區塊。基礎層編碼器30比較當前視訊區塊與基礎層之一個以上相鄰圖框中的區塊。加強層編碼器32可比較當前視訊區塊與基礎層及/或加強層中之一或多個相鄰圖框中的區塊。
在視訊區塊之基於框內或框間的預測之後,編碼器30、32藉由自正被寫碼之原始視訊區塊減去所產生之預測區塊而產生剩餘區塊。剩餘區塊因此指示預測區塊與正被寫碼之當前區塊之間的差。編碼器30、32可應用變換、量化及熵寫碼過程以進一步減少與剩餘區塊之通信相關聯的位元率。可包括離散餘弦變換(DCT)、整數變換、小波變換、方向變換或其他變換運算之變換技術將一組像素差值改變為剩餘變換係數,該等剩餘變換係數表示像素差值在頻域中的能量。編碼器30、32向剩餘變換係數應用量化,其通常涉及限制與任何給定係數相關聯之位元的數目之過程。編碼器30、32掃描二維剩餘區塊以產生係數之一維向量,並熵編碼係數向量以進一步壓縮剩餘係數。熵編碼可(例如)包括可變長度寫碼(VLC)、算術寫碼、固定長度寫碼、內容適應性VLC(CAVLC)、內容適應性二進位算術寫碼(CABAC)及/或其他熵寫碼技術。
SNR可調節性可藉由剩餘量化來達成。詳言之,基礎層編碼器30可使用第一量化參數(QP)來量化剩餘變換係數,且加強層編碼器32可使用第二QP來量化剩餘變換係數。在ITU-T H.264/MPEG-10 AVC中,較大QP通常導致使用較小數目之位元以較低品質編碼視訊資料,而較小QP導致使用較大數目之位元以較高品質編碼視訊資料。因而,以最小品質等級編碼視訊資料之基礎層編碼器30可使用大於加強層編碼器32用以量化加強層之係數之QP值的QP值來量化基礎層的係數。結果,來自基礎層編碼器30之經量化之剩餘變換係數表示處於第一品質的視訊序列,且來自加強層編碼器之經量化之剩餘變換係數表示額外係數或對視訊序列之現有係數的精化,該等額外係數或精化在與基礎層組合時將視訊序列之品質增加至第二較高品質。
編碼器30、32各自接收分別表示基礎層及加強層之經量化之剩餘變換係數的一維係數向量。換言之,基礎層編碼器30接收基礎層之係數向量,且加強層編碼器32接收相應加強層的係數向量。雖然編碼器30、32接收相同之原始視訊資料,但係數向量可為不同的。此可係歸因於產生不同預測區塊之基礎層編碼器30及加強層編碼器32,例如,基礎層編碼器30自一或多個先前編碼之基礎層區塊產生預測區塊,且加強層編碼器32自一或多個先前編碼之基礎層區塊及加強層區塊產生預測區塊。
基礎層編碼器30及加強層編碼器32各自編碼各別係數向量以分別產生基礎層位元流及至少一加強層位元流。根據本發明之技術,基礎層編碼器30及加強層編碼器32使用不同寫碼技術編碼各別係數向量。基礎層編碼器30可使用多個編碼一次操作過程來編碼係數向量,在該等多個編碼一次操作中,基礎層編碼器30在至少一編碼一次操作期間分析係數向量,且基於該分析在至少一後續編碼一次操作期間編碼係數向量。在一例子中,基礎層編碼器30可根據如在H.264/MPEG-4部分10 AVC標準中界定之CAVLC來編碼基礎層係數向量之經量化的剩餘變換係數。如在H.264/MPEG-4部分10 AVC標準中界定之CAVLC可使用多個編碼一次操作來編碼基礎層係數向量。
在第一編碼一次操作期間,基礎層編碼器30可產生用以表示係數向量之符號,該等符號中之至少一些表示一個以上非零係數,且在一些狀況下表示係數向量之全部係數。基礎層編碼器30可(例如)根據如在H.264/MPEG-4部分10 AVC標準中界定之CAVLC產生符號,該等符號表示係數向量中之係數的總數("TotalCoeffs")、係數向量中之尾隨的1的數目("T1s")、任何尾隨的1之正負號、除尾隨的1外之非零係數的量值(或位準)、所有運程之和("sumRuns")及每一非零係數之前的運程。為了產生符號中之一些,諸如,TotalCoeff及sumRuns,基礎層編碼器30可分析整個係數向量。
在第一編碼一次操作期間,基礎層編碼器30亦可基於對係數向量之分析選擇VLC表以在後續編碼一次操作期間使用。在一些例子中,基礎層編碼器30可基於在第一寫碼一次操作期間產生之符號選擇VLC表以在後續(例如,第二)編碼一次操作期間使用。舉例而言,基礎層編碼器30可基於區塊中之係數之總數(TotalCoeffs)選擇VLC表以在編碼sumRuns符號時使用,因為在此等兩個值之間存在某一關係。詳言之,隨著TotalCoeffs增加,sumRuns降低,且隨著TotalCoeffs降低,sumRuns增加。又,基於區塊中之係數之總數(TotalCoeffs)選擇VLC表以在編碼sumRuns符號時使用可允許基礎層編碼器30選擇更有效地編碼sumRuns的VLC表。可針對待編碼之其他符號或使用其他所收集之統計數據來執行類似VLC表選擇。
基礎層編碼器30在第二或其他後續編碼一次操作期間編碼表示係數向量中之非零係數之總數的符號(TotalCoeff)及表示尾隨的1之數目的符號(稱為T1s)。尾隨的1之數目為具有為1之量值之係數的數目,在以倒序(亦即,自係數向量之末端開始)讀取係數向量時,該等係數在具有大於1之量值之係數出現之前出現在係數向量中。基礎層編碼器30可基於非零係數之預測數目來選擇VLC表以在編碼TotalCoeff及T1符號中使用,且使用所選擇之VLC表來編碼TotalCoeff及T1符號。基於非零係數之預測數目來選擇VLC表以在編碼TotalCoeff及T1符號中使用可允許基礎層編碼器30選擇更有效地編碼TotalCoeff及T1符號的VLC表。因而,不同VLC表對於非零係數之不同預測數目可為更有效的。在一實例中,基礎層編碼器30可基於一或多個先前編碼之視訊區塊(例如,上部鄰近視訊區塊及左側鄰近視訊區塊)之非零係數的數目預測當前區塊中之非零係數的數目。
基礎層編碼器30可編碼任何尾隨的1的正負號。舉例而言,對於尾隨的1中之每一者而言,基礎層編碼器30可編碼"1"(若尾隨的1之正負號為正),且編碼"0"(若尾隨的1之正負號為負)。因而,基礎層編碼器30可能不需要針對正負號而執行VLC表選擇。基礎層編碼器30可編碼除尾隨的1外之非零係數的量值。基礎層編碼器30可使用VLC表、固定長度寫碼或其他類型熵寫碼來編碼非零係數的位準。舉例而言,基礎層編碼器30可使用二進位寫碼來編碼非零係數的位準。
基礎層編碼器30可編碼表示在最後非零係數之前在係數向量中發生的零值係數之數目的符號(sumRuns)。如上所述,基礎層編碼器30可基於區塊中之係數之總數(TotalCoeffs)選擇VLC表以在編碼sumRuns符號時使用,因為在此等兩個值之間存在某一關係。
基礎層編碼器30可編碼自係數向量之最後非零係數開始在每一非零係數之前發生的運程(或運程長度)。運程長度為非零係數之前的零值係數之數目。因此,基礎層編碼器30可首先編碼係數向量之最後非零係數之前的運程長度(亦即,零值係數之數目),繼之以前一非零係數之前的運程長度等,直至編碼係數向量之第一非零係數之前的運程長度為止。
基礎層編碼器30可選擇VLC表以用來單獨地編碼運程長度中的每一者。基礎層編碼器30可基於運程之和(sumRuns)符號及迄今為止經寫碼之運程之和來選擇VLC表以用來編碼當前運程值。作為一實例,若係數向量具有為八之運程和(sumRuns),且在編碼之最後非零係數之前編碼的運程為六,則所有殘餘運程必須為零、一或二。因為可能之運程長度隨著每一額外運程經編碼而逐漸變短,所以基礎層編碼器30可選擇更有效之VLC表以減少用以表示運程的位元之數目。
以此方式,基礎層編碼器30執行多一次操作編碼以編碼基礎層係數,該多一次操作編碼包括一分析基礎層剩餘區塊之係數向量(例如)以產生符號及/或選擇VLC表的第一一次操作及一基於分析編碼係數向量的第二編碼一次操作。雖然基礎層編碼器30上文中被描述為使用如在H.264/MPEG-4部分10 AVC標準中界定之CAVLC編碼經量化之剩餘變換係數,但基礎層編碼器30可使用其他寫碼方法來編碼經量化的剩餘變換係數。
加強層編碼器32編碼可呈係數向量形式之加強層的經量化剩餘變換係數。加強層編碼器32可產生不同於基礎層之經量化剩餘係數的經量化剩餘係數。加強層之經量化剩餘係數歸因於在量化期間使用不同QP而可不同於基礎層的經量化剩餘係數。另外,經量化之剩餘變換係數可不同於基礎層之經量化剩餘變換係數,此係因為剩餘區塊表示原始視訊區塊與使用形成基礎層及加強層之先前編碼區塊產生的預測區塊之間的差。基礎層之剩餘區塊為原始視訊區塊與使用僅來自基礎層之先前編碼區塊產生之預測區塊之間的差。因而,加強層可包括額外係數及/或對現有係數的精化。在此意義上,加強層中之視訊區塊之經量化剩餘變換係數表示對基礎層中之以第一品質編碼的視訊區塊之精化,且在添加至基礎層時提供較高品質視訊資料。
加強層編碼器32視可用位元率而定在編碼期間可丟棄係數向量之經量化剩餘係數中的一或多者。舉例而言,在如圖3中所說明使用Z字形掃描完成係數掃描時,加強層編碼器32可丟棄對應於高頻率變換基礎函數的係數,例如,位置靠近係數向量之末端的係數。根據如在H.264/MPEG-4部分10 AVC標準中界定之CAVLC編碼經量化剩餘係數可能不允許加強層編碼器32丟棄係數,此係因為待編碼之符號中之至少某些(例如,TotalCoeffs及sumRuns)涉及區塊中的所有係數。若加強層編碼器32丟棄係數向量之係數中的一或多者,則接收到之資訊將為冗餘的,因此導致較低寫碼效率。此外,因為解碼器必須接收區塊中之所有非零係數的運程以在使用如在H.264/MPEG-4部分10 AVC標準中界定之CAVLC進行編碼時能夠在Z字形掃描中適當地解碼每一係數的位置,所以加強層編碼器32可能不能丟棄來自加強層之係數向量的係數。
因而,加強層編碼器32根據本發明之寫碼技術來編碼加強層之係數。加強層編碼器32在單一編碼一次操作中編碼係數向量之經量化剩餘變換係數。換言之,加強層編碼器32並不執行用以分析係數向量之第一一次操作,且並不接著基於分析在第二一次操作期間編碼符號。實情為,加強層編碼器32自係數向量之開始起始,且在單一編碼一次操作中逐一地編碼非零係數中的每一者。以此方式,加強層編碼器32可在不分析係數向量中之任何後續係數的情況下(亦即,在不知曉係數向量之任何後續係數的情況下)編碼非零係數中的每一者。
在一態樣中,加強層編碼器32對於非零係數中之每一者而言可編碼一指示在係數向量中存在至少一殘餘非零係數的符號。符號可(例如)為區塊結束(EOB)符號。加強層編碼器32可使用單一位元來編碼符號。舉例而言,加強層編碼器32在存在至少一殘餘非零係數(例如,至少當前非零係數)時可編碼零,且在不再存在殘餘非零係數時可編碼一。
在每一係數之EOB符號之後,加強層編碼器32編碼當前非零係數之前的運程。如上所述,運程表示在係數向量之先前非零係數或係數向量之開始(在第一非零係數的狀況下)與當前非零係數之間發生之零值係數的數目。加強層編碼器32可使用單一VLC表來編碼運程。在一例子中,在TotalCoeffs等於一時,加強層編碼器32可使用在如H.264/MPEG-4部分10 AVC標準中界定之CAVLC中使用之VLC表來編碼運程以寫碼sumRuns。換言之,加強層編碼器32可重新使用已由視訊編碼器20維持之VLC表中的一者。在其他例子中,加強層編碼器32可使用已由視訊編碼器20維持之其他VLC表中的一者來編碼運程。或者,加強層編碼器32可維持一經特定地設計以編碼加強層之係數向量之運程的單獨VLC表。在任一狀況下,加強層編碼器32可能不需要適應性地選擇VLC表以用於編碼運程。實情為,加強層編碼器32可使用單一VLC表,因此消除對一收集用以選擇VLC表之統計數據之第一一次操作的需要。
在每一係數之經編碼運程之後,加強層編碼器32編碼非零係數的正負號。加強層編碼器32可(例如)編碼"1"(若非零係數之正負號為正),且編碼"0"(若非零係數之正負號為負)。加強層編碼器32可藉由將非零係數之量值設定為一而調整非零係數的量值。在一些例子中,加強層編碼器32可能不編碼非零係數的量值。以此方式,加強層編碼器32可將非零係數之量值限制為一。目的地設備14接著經組態以解碼在精化中識別之所有非零係數以具有等於一的量值。不編碼加強層之係數之量值可導致峰值訊雜比(PSNR)之某一損耗,但減少用以編碼係數之位元的數目。
以此方式,加強層編碼器32可(例如)在不知曉係數向量中之任何後續係數的情況下在單一一次操作中編碼加強層位元流的係數。由於加強層編碼器32並不需要分析係數向量(例如)以產生表示向量之一個以上非零係數的符號或選擇VLC表以編碼符號,所以僅執行一編碼一次操作。習知編碼器通常執行至少兩個一次操作;(1)分析係數向量之第一一次操作,及(2)基於分析編碼係數向量的第二一次操作。另外,加強層編碼器32可使用單一VLC表編碼加強層之係數,因此消除執行一用以形成用於適應性地選擇寫碼表之符號的編碼一次操作之需要。以此方式,加強層編碼器32可減少寫碼複雜性、寫碼延遲及記憶體要求。此外,本發明之熵寫碼技術可另外導致在不儲存並存取基礎層之係數資訊的情況下寫碼加強層之係數,從而進一步減少計算複雜性及記憶體要求。
源設備12經由傳輸器22向目的地設備14傳輸經編碼之視訊資料。目的地設備14可包括接收器24、視訊解碼器26及顯示設備28。接收器24經由頻道16自源設備12接收經編碼之視訊位元流。如上所述,經編碼之視訊位元流包括一基礎層位元流及一或多個加強層位元流。視訊解碼器26解碼基礎層及(若可用)一或多個加強層以獲得視訊資料。
詳言之,視訊解碼器26包括一基礎層解碼器34及一加強層解碼器36。基礎層解碼器34解碼經由頻道16接收到之基礎層位元流以產生處於第一品質之視訊資料以供呈現於顯示設備28上。加強層解碼器36解碼一或多個加強層之位元流以獲得額外視訊資料(例如,精化),該額外視訊資料將經解碼之視訊資料之品質增加至第二較高品質。又,藉由目的地設備14接收到之加強層之數目(例如,一、二、三或三以上)可視頻道條件或其他限制而定。此外,藉由加強層解碼器36處理之接收到之加強層的數目可視解碼器限制而定。一般而言,與所選擇數目之加強層結合的基礎層之編碼及解碼准許經解碼視訊之SNR品質的增量改良。
基礎層解碼器34解碼基礎層以獲得表示基礎層之經量化剩餘係數之向量的符號。基礎層解碼器34可解碼基礎層以獲得區塊中之非零係數的總數、區塊之尾隨的1的數目、尾隨的1之正負號、除尾隨的1外之係數的量值、所有運程之和及非零係數中之每一者之前的運程。基礎層解碼器34可進一步解碼基礎層位元流以識別用於解碼基礎層符號的VLC表。在其他例子中,基礎層解碼器34可基於先前解碼之符號而選擇VLC表以供使用。使用經解碼之符號,基礎層解碼器34可重建基礎層的係數向量。
加強層解碼器36解碼加強層之位元流以獲得(例如)呈額外剩餘係數之向量或對現有剩餘係數之精化形式的加強層之精化。詳言之,加強層解碼器36使用與藉由加強層編碼器32使用之VLC表相同的VLC表解碼加強層係數之運程及正負號,直至EOB符號指示不再殘餘非零係數為止。使用經解碼之符號,加強層解碼器36重建加強層區塊的係數向量。
解碼器34、36使用經解碼之經量化剩餘係數重建經寫碼單元之區塊中的每一者。在產生係數向量之後,解碼器34、36反向掃描係數向量以產生經量化剩餘係數之二維區塊。解碼器34、36逆量化(亦即,解量化)經量化剩餘係數且向經解量化之剩餘係數應用逆變換(例如,逆DCT、逆整數變換、逆小波變換或逆方向變換)以產生像素值的剩餘區塊。
解碼器34、36對藉由解碼器34、36產生之預測區塊與像素值之剩餘區塊求和,以分別形成經重建之基礎層視訊區塊及加強層視訊區塊。基礎層視訊區塊及加強層視訊區塊經組合以形成具有較高解析度的視訊區塊。解碼器34、36以與如上文關於編碼器30、32描述之方式相同的方式產生預測區塊。目的地設備14可經由顯示設備28將重建之視訊區塊顯示給使用者。顯示設備28可包含各種顯示設備中之任一者,諸如,陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、發光二極體(LED)顯示器、有機LED顯示器或另一類型顯示單元。
在一些例子中,視訊編碼器20及視訊解碼器26經組態以提供可經任意截斷的可調節加強位元流。因此,系統10可避免使用必須整體進行寫碼之離散加強層以便達成可調節性。然而,在一些實施例中,系統10可經組態以(例如)在選擇性基礎上使用廣義精細粒度可調節性(FGS)方法或離散加強層來支援可調節性。
源設備12及目的地設備14可以大體上對稱之方式來操作。舉例而言,源設備12及目的地設備14可各自包括視訊編碼及解碼組件。因此,系統10可支援設備12、14之間的(例如)用於視訊串流、視訊廣播或視訊電話之單向或雙向視訊傳輸。
在一些態樣中,對於視訊廣播而言,本發明中所描述之技術可應用於經加強之H.264視訊寫碼以用於在使用僅前向鏈路(FLO)空中介面規範"用於地面行動多媒體多播之僅前向鏈路空中介面規範"(作為技術標準TIA-1099("FLO規範")在2007年7月發表)之地面行動多媒體多播(TM3)系統中遞送即時視訊服務。亦即,通信頻道16可包含用以根據FLO規範或其類似者而廣播無線視訊資訊之無線資訊頻道。FLO規範包括界定位元流語法及語義以及適於FLO空中介面之解碼過程的實例。
或者,可根據諸如DVB-H(掌上型數位視訊廣播)、ISDB-T(地面整合服務數位廣播)或DMB(數位媒體廣播)之其他標準而廣播視訊。因此,源設備12可為行動無線終端機、視訊串流伺服器或視訊廣播伺服器。然而,本發明中描述之技術並不限於任何特定類型之廣播、多播或點對點系統。在廣播之狀況下,源設備12可將視訊資料之若干頻道廣播至多個目的地設備,其每一者可與圖1之目的地設備14類似。因此,雖然在圖1中展示單一目的地設備14,但對於視訊廣播而言,源設備12通常將同時向許多目的地設備廣播視訊內容。
在其他實例中,傳輸器22、通信頻道16及接收器24可經組態以根據任何有線或無線通信系統通信,該通信系統包括以下各者中之一或多者:乙太網路、電話(例如,POTS)、線纜、電力線及光纖系統及/或無線系統,該無線系統包含以下各物中之一或多者:分碼多向近接(CDMA或CDMA2000)通信系統、分頻多向近接(FDMA)系統、正交分頻多向(OFDM)近接系統、分時多向近接(TDMA)系統(諸如,GSM(全球行動通信系統)、GPRS(通用封包無線電服務)或EDGE(加強型資料GSM環境))、TETRA(地面中繼式無線電)行動電話系統、寬頻分碼多向近接(WCDMA)系統、高資料速率1xEV-DO(第一代演進唯資料)或1xEV-DO黃金多播系統、IEEE 402.18系統、MediaFLOTM
系統、DMB系統、DVB-H系統,或用於兩個或兩個以上設備之間的資料通信之另一方案。
視訊編碼器20及視訊解碼器26可各自實施為一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。視訊編碼器20及視訊解碼器26中之每一者可包括於一或多個編碼器或解碼器中,其任一者可在各別行動設備、用戶設備、廣播設備、伺服器或其類似者中整合為經組合編碼器/解碼器(CODEC)的部分。此外,源設備12及目的地設備14各自可包括用於傳輸及接收經編碼視訊之適當調變、解調變、頻率轉換、濾波及放大組件,如可適用地,包括足以支援無線通信的射頻(RF)無線組件及天線。然而,為易於說明,此等組件概括為圖1中之源設備12之傳輸器22及目的地設備14的接收器24。
圖3為進一步詳細地說明實例基礎層編碼器30及加強層編碼器32的方塊圖。在圖3之實例中,基礎層編碼器包括一預測單元33A、圖框儲存器35A、變換單元38A、量化單元40A、係數掃描單元41A、逆量化單元42A、逆變換單元44A、基礎層熵編碼器46及求和器48A及48B("求和器48")。將圖3中之不同特徵描繪為單元意欲突出所說明設備之不同功能態樣,且並不一定暗示此等單元必須藉由單獨硬體或軟體組件來實現。實情為,與一或多個單元相關聯之功能性可整合至共用或單獨硬體或軟體組件內。
預測單元33A使用框內預測或框間預測產生預測區塊。預測區塊可為正被寫碼之當前視訊區塊的預測型式。如上所述,預測單元33A可基於與當前正在寫碼之區塊相同之圖框內之基礎層的一或多個先前編碼區塊而使用框內預測產生預測區塊。或者,預測單元可基於基礎層之一或多個相鄰圖框內之一或多個先前編碼區塊而使用框間預測而產生預測區塊。預測單元33A可自圖框儲存器35A提取先前編碼區塊。
在視訊區塊之基於框內或框間之預測之後,基礎層編碼器30藉由在求和器48A處自當前視訊區塊減去藉由預測單元33A產生之預測區塊而產生剩餘區塊。剩餘區塊包括量化當前視訊區塊之像素值與預測區塊的像素值之間的差之像素差值集合。剩餘區塊可以二維區塊格式(例如,像素值之二維矩陣或陣列)來表示。換言之,剩餘區塊為像素值的二維表示。
變換單元38A向剩餘區塊應用變換以產生剩餘變換係數。變換單元38A可(例如)應用DCT、整數變換、方向變換、小波變換或其組合。在向像素值之剩餘區塊應用變換之後,量化單元40A量化變換係數以進一步減少位元率。在量化之後,逆量化單元42A及逆變換單元44A可分別應用逆量化及逆變換以重建剩餘區塊。求和器48B將經重建之剩餘區塊與藉由預測單元33A產生之預測區塊相加以產生經重建的視訊區塊以供儲存於圖框儲存器35A中。儲存於圖框儲存器35A中之經重建之視訊區塊可由基礎層編碼器30之預測單元32來使用以框內或框間寫碼後續視訊區塊。另外,如以下將更詳細描述,儲存於圖框儲存器35A中之經重建之視訊區塊可由加強層編碼器32之預測單元33B使用以框內或框間寫碼加強層中之視訊區塊的精化。
在量化之後,係數掃描單元41A將係數自二維區塊格式掃描為一維向量格式,該過程通常稱為係數掃描。係數掃描單元41A可(例如)使用如在圖7中進一步詳細描述之Z字形掃描次序來掃描係數之二維區塊。在掃描之後,基礎層熵編碼器46熵編碼一維向量的係數。基礎層編碼器46可(例如)使用如在H.264/MPEG-4部分10 AVC標準中界定且以上關於圖2詳細描述的CAVLC來熵編碼係數向量的係數。
加強層編碼器32包括一預測單元33B、圖框儲存器35B、變換單元38B、量化單元40B、係數掃描單元41B、逆量化單元42B、逆變換單元44B、一加強層熵編碼器49及求和器48C及48D("求和器48")。加強層編碼器32之單元大體上類似於基礎層編碼器30之經類似編號之彼等單元。因而,將僅描述差異。
加強層編碼器32之預測單元33B產生為當前視訊區塊之預測型式的預測區塊。不同於基礎層編碼器30之僅使用基礎層之先前編碼區塊產生預測區塊的預測單元33A,加強層編碼器32之預測單元33B可基於基礎層及加強層之一或多個先前編碼區塊而產生預測區塊。換言之,預測單元33B可使用來自基礎層之經重建視訊區塊及加強層之經重建視訊區塊而產生預測區塊。舉例而言,預測單元33B可組合基礎層之經重建視訊區塊與加強層之經重建區塊以產生處於第二較高品質的預測區塊。
因為藉由預測單元33B產生之預測區塊係基於基礎層及加強層兩者之經重建視訊區塊而產生,所以在求和器48C處產生之剩餘區塊表示當前視訊區塊與自基礎層及加強層建構(亦即,處於第二較高視覺品質)之先前編碼區塊之間的差。
雖然操作上類似於基礎層編碼器30之量化單元40A,但加強層編碼器32之量化單元40B可使用不同QP以量化變換係數。如上文關於圖2所描述,SNR可調節性可藉由使用不同量化參數而達成。舉例而言,當基礎層編碼器30及加強層編碼器32根據ITU-T H.264/MPEG-10 AVC操作時,量化單元40A可使用大於由量化單元40B使用之QP值的QP值而編碼視訊資料。結果,來自基礎層編碼器30之經量化之剩餘變換係數表示處於第一品質的視訊序列,且來自加強層編碼器32之經量化之剩餘變換係數表示額外係數或對視訊序列之現有係數的精化,該等額外係數或精化在與基礎層組合時將視訊序列之品質增加至第二較高視覺品質。此外,如關於圖2詳細描述,加強層熵編碼器49在單一編碼一次操作中編碼經量化之剩餘變換係數。換言之,加強層熵編碼器49可在不知曉係數向量之任何後續係數的情況下編碼加強層之係數向量的每一非零係數。在單一一次操作中寫碼加強層可消除執行一分析係數向量之第一一次操作及用於基於分析而寫碼係數向量的第二一次操作之需要。實情為,加強層熵編碼器49自係數向量之開始起始,且在單一編碼一次操作中逐一地編碼係數中的每一者。以下關於圖4描述關於加強層之熵編碼的更多細節。
圖4為進一步詳細地說明實例基礎層熵編碼器46及加強層熵編碼器49的方塊圖。基礎層熵編碼器46可包括一分析單元50、複數個VLC表52A至52N("VLC表52")、一總係數編碼器54、一尾隨的1(T1s)編碼器56、一正負號編碼器58、一係數量值編碼器60、一和運程編碼器62及一運程長度編碼器64。加強層熵編碼器49可包括一EOB符號編碼器66、一運程長度編碼器68、一正負號編碼器70及一VLC表69。
基礎層熵編碼器46藉由執行多個編碼一次操作而編碼表示處於第一品質之視訊區塊的係數向量。根據如在H.264/MPEG-4部分10 AVC標準中界定之CAVLC,例如,基礎層熵編碼器46可執行一分析係數向量以(例如)產生表示係數向量的符號及/或選擇VLC表之第一編碼一次操作及基於分析編碼係數向量的第二編碼一次操作。
作為一實例,基礎層熵編碼器46之分析單元50可分析係數向量以產生表示係數區塊之一或多個符號。分析單元50可(例如)根據H.264/MPEG-4部分10 AVC標準來判定區塊中之總係數的數目(TotalCoeff)、尾隨的1之數目(T1)、每一尾隨的1之正負號、每一非零係數的量值、運程之總和(sumRuns)及每一非零係數之前的運程長度。藉由分析單元50產生之符號中之至少一些(例如,TotalCoeff及sumRuns)可表示係數向量之全部係數。分析單元50在其他例子中可產生較多符號或較少符號。
另外或或者,分析單元50在第一或後續編碼一次操作期間可選擇VLC表52之子集以用於編碼符號。在一態樣中,分析單元50可基於所產生之符號來選擇VLC表52的子集。或者,分析單元50可在係數向量之分析期間收集統計數據,基於收集到之統計數據而選擇VLC表52的子集。舉例而言,基礎層編碼器30可基於區塊中之係數之總數(TotalCoeffs)選擇VLC表以在編碼sumRuns符號時使用,因為在此等兩個值之間存在某一關係。如以下將詳細描述,基於所產生之符號或其他統計數據來選擇VLC表52之子集可能賦能更有效地編碼表示係數向量的符號。
基礎層熵編碼器46在第二或其他後續寫碼一次操作期間編碼係數向量。詳言之,總係數編碼器54編碼係數向量中之非零係數的總數(TotalCoeff)。總係數編碼器54可使用基於當前係數向量之非零係數的數目之預測而選擇之VLC表52中的一者而編碼TotalCoeff。在一實例中,可基於一或多個先前編碼之視訊區塊(例如,上部鄰近視訊區塊及左側鄰近視訊區塊)之非零係數的數目而進行對當前係數向量之非零係數的數目之預測。以此方式,基礎層熵解碼器可基於先前解碼之區塊而選擇同一VLC表。
在總係數編碼器54編碼非零係數之總數之後,T1s編碼器56編碼T1s符號。T1s編碼器56可(例如)以與以上關於總係數編碼器54描述之方式相同之方式使用基於非零係數之經預測數目選擇的VLC表52中之一者來編碼T1s符號。
正負號編碼器58編碼任何尾隨的1的正負號。舉例而言,對於尾隨的1中之每一者而言,正負號編碼器58可編碼"1"(若尾隨的1之正負號為正),且編碼"0"(若尾隨的1之正負號為負)。係數量值編碼器60編碼除尾隨的1外之非零係數的位準(例如,量值)。係數量值編碼器60可使用VLC表、固定長度寫碼或其他類型熵寫碼來編碼非零係數的位準。
運程和編碼器62可編碼表示在最後非零係數之前在係數向量中發生的零值係數之數目的符號,亦即sumRuns符號。運程和編碼器62使用基於區塊中之係數之總數(TotalCoeffs)選擇之VLC表52中的一者而編碼sumRuns符號。又,基於區塊中之係數之總數(TotalCoeffs)選擇VLC表以在編碼sumRuns符號時使用可允許運程和編碼器62選擇更有效地編碼sumRuns的VLC表。
運程長度編碼器64編碼係數向量之運程長度。運程長度編碼器64可首先編碼係數向量之最後非零係數的運程長度,繼之以前一非零係數的運程長度等,直至編碼係數向量之第一非零係數之前的運程長度為止。換言之,運程長度編碼器可以首先開始編碼最後的運程長度。運程長度編碼器64可使用基於係數向量之總運程之和(sumRuns)及迄今為止經寫碼之運程之和選擇之VLC表52而編碼運程長度中的每一者。作為一實例,若係數向量具有為八之運程和(sumRuns),且在編碼之最後非零係數之前編碼的運程為六,則所有殘餘運程必須為零、一或二。因為可能之運程長度隨著每一額外運程經編碼而逐漸變短,所以運程長度編碼器64可選擇更有效之VLC表以減少用以表示運程的位元之數目。以此方式,由運程長度編碼器64使用之VLC表52對於運程長度中之每一者而言可變。
加強層熵編碼器49在單一編碼一次操作中編碼表示(例如)呈額外係數或對現有係數的精化形式的對視訊區塊之精化之係數向量以形成加強層。如將進一步詳細描述,源設備12在一些例子中可在不知曉任何後續係數的情況下編碼加強層之係數向量中的每一非零係數。加強層熵編碼器49可自係數向量之開始起始,且在單一編碼一次操作中逐一編碼係數中的每一者。以此方式,加強層編碼器49在不分析在係數向量中稍後發生之係數的情況下在逐係數基礎上編碼係數向量。在單一一次操作中寫碼加強層可消除執行一分析係數向量之第一一次操作及用於基於分析而寫碼係數向量的第二一次操作之需要。
對於非零係數中之每一者而言,EOB符號編碼器66編碼一指示在係數向量中存在至少一殘餘非零係數的EOB符號。舉例而言,EOB符號編碼器66在存在至少一殘餘非零係數(例如,至少當前非零係數)時可編碼零,且在不再存在殘餘非零係數時可編碼一。
在編碼每一係數之EOB符號之後,運程長度編碼器68編碼非零係數之前的運程長度。如上所述,運程長度表示先於當前非零係數之零值係數的數目。運程長度編碼器68可使用單一VLC表69來編碼運程長度。在一例子中,VLC表69可與基礎層熵編碼器46之VLC表52中的一者相同。或者,運程長度編碼器68可維持一經特定地設計以編碼加強層之係數向量之運程的單獨VLC表。在任一狀況下,運程長度編碼器68可能不需要適應性地選擇VLC表以用於編碼運程。實情為,運程長度編碼器68可使用單一VLC表,因此消除對一收集用以選擇VLC表之統計數據之第一一次操作的需要。
在每一係數之經編碼的運程長度之後,正負號編碼器70編碼非零係數的正負號。正負號編碼器70可(例如)編碼"1"(若非零係數之正負號為正),且編碼"0"(若非零係數之正負號為負)。加強層熵編碼器49可能不編碼加強層之非零係數之量值,其可導致峰值訊雜比(PSNR)之某一損耗,但減少用以編碼係數之位元的數目。
本發明之熵寫碼技術可允許加強層熵編碼器49在單一一次操作中編碼加強層位元流的係數。由於加強層熵編碼器49並不分析係數向量(例如)以產生符號及/或選擇VLC表,所以僅需要一編碼一次操作。習知編碼器通常執行至少兩個一次操作;(1)分析係數向量之第一一次操作,及(2)基於分析編碼係數向量的第二一次操作。另外,加強層熵編碼器49可使用單一VLC表編碼加強層之係數,因此消除執行一用以自各種VLC表做出選擇的編碼一次操作之需要。以此方式,加強層熵編碼器49可減少寫碼複雜性、寫碼延遲及記憶體要求。此外,本發明之熵寫碼技術可另外導致在不儲存並存取基礎層之係數資訊的情況下寫碼加強層之係數,從而進一步減少計算複雜性及記憶體要求。
圖5為進一步詳細地說明基礎層解碼器34及加強層解碼器36之實例的方塊圖。基礎層解碼器34包括一基礎層熵解碼器72、係數掃描單元74A、逆量化單元76A、逆變換單元78A、預測單元80A、圖框儲存器82A及求和器84A。加強層解碼器36包括一加強層熵解碼器86、係數掃描單元74B、逆量化單元76B、逆變換單元78B、預測單元80B、圖框儲存器82B及求和器84B。
基礎層熵解碼器72解碼接收到之基礎層位元流以產生處於第一品質之視訊資料以供呈現於顯示設備上。基礎層熵解碼器72接收基礎層位元流且解碼基礎層位元流以獲得(例如,呈經量化剩餘係數之一維向量形式之)剩餘資訊及(例如,呈一或多個標頭語法要素形式的)標頭資訊。基礎層熵解碼器72執行藉由圖3及圖4之基礎層熵編碼器46執行之編碼的互逆解碼功能。
詳言之,基礎層熵解碼器72解碼基礎層以獲得表示基礎層之經量化剩餘係數之向量的符號。在使用如在H.264/MPEG-4部分10 AVC標準中界定之CAVLC進行寫碼時,例如,基礎層熵解碼器72可解碼基礎層以獲得區塊中之非零係數的總數(TotalCoeff)、區塊之尾隨的l的數目(Tls)、尾隨的l之正負號、除尾隨的l外之係數的量值、所有運程之和(sumRuns)及非零係數中之每一者之前的運程。在一些例子中,針對解碼選擇之VLC表可基於先前解碼之區塊或當前區塊之先前解碼符號來選擇。在其他例子中,基礎層熵解碼器34可解碼基礎層位元流以識別用於解碼基礎層符號的VLC表。使用經解碼之符號,基礎層解碼器34可重建基礎層的係數向量。
在產生係數向量之後,係數掃描單元74A反向掃描係數向量以產生經量化剩餘係數之二維區塊。逆量化單元76A逆量化(亦即,解量化)經量化剩餘係數,且逆變換單元78A向經解量化之剩餘係數應用逆變換(例如,逆DCT、逆整數變換、逆小波變換或逆方向變換)以產生像素值的剩餘區塊。
預測單元80A在框內預測的狀況下使用共同圖框內之一或多個相鄰區塊或在框間預測的狀況下使用相鄰圖框內之一或多個區塊來產生預測區塊。預測單元僅使用來自基礎層之先前編碼區塊而產生預測區塊。求和器84A對藉由預測單元80A產生之預測區塊與像素值之剩餘區塊求和以形成經重建的基礎層視訊區塊。將基礎層視訊區塊儲存於圖框儲存器82A內以用於產生後續預測區塊。
加強層解碼器36解碼加強層之位元流以獲得(例如)呈額外剩餘係數之向量或對現有剩餘係數之精化形式的對視訊資料之精化。加強層熵解碼器86使用與藉由加強層熵編碼器49使用之VLC表相同的VLC表解碼加強層係數之運程及正負號,直至EOB符號指示不再殘餘非零係數為止。使用經解碼之符號,加強層熵解碼器86重建加強層區塊的係數向量。經解碼之係數向量表示額外位元,該等額外位元表示在與基礎層之位元組合時使經解碼之視訊資料品質增加至第二較高品質的精化。
在產生係數向量之後,係數掃描單元74B反向掃描係數向量以產生經量化剩餘係數之二維區塊。逆量化單元76B逆量化(亦即,解量化)經量化剩餘係數,且逆變換單元78B向經解量化之剩餘係數應用逆變換(例如,逆DCT、逆整數變換、逆小波變換或逆方向變換)以產生像素值的剩餘區塊。
預測單元80B在框內預測的狀況下使用共同圖框內之一或多個相鄰區塊或在框間預測的狀況下使用相鄰圖框內之一或多個區塊來產生預測區塊。預測單元使用來自基礎層及加強層兩者之先前編碼區塊而產生預測區塊。求和器84B對藉由預測單元80B產生之預測區塊與像素值之剩餘區塊求和以形成經重建的加強層視訊區塊。將加強層視訊區塊儲存於圖框儲存器82B內以藉由預測單元80B用於產生後續預測區塊。在求和器84C處組合經重建之基礎層視訊區塊與經重建之加強層視訊區塊以形成具有較高品質的視訊區塊。
圖6為進一步詳細地說明實例基礎層熵解碼器72及加強層熵解碼器86的方塊圖。基礎層熵解碼器72可包括複數個VLC表52A至52N("VLC表52")、一總係數解碼器90、一尾隨的1(T1s)解碼器92、一正負號解碼器94、一係數量值解碼器96、一和運程解碼器98及一運程長度解碼器100。加強層熵解碼器86可包括一EOB符號解碼器102、一運程長度解碼器104、一正負號解碼器106及一VLC表69。
基礎層熵解碼器72解碼基礎層位元流以獲得表示處於基本品質等級之視訊區塊之係數向量的符號。總係數解碼器90使用VLC表52中之一者解碼位元流以獲得係數向量中之非零係數的總數(TotalCoeff)。總係數解碼器90可基於對當前係數向量之非零係數之數目的預測(例如,基於一或多個先前解碼之視訊區塊之非零係數的數目)而選擇用於解碼TotalCoeff的VLC表52。以此方式,總係數解碼器90可選擇與由總係數編碼器54使用之VLC表相同的VLC表52來編碼TotalCoeff符號。
在總係數解碼器90解碼非零係數之總數之後,T1s解碼器92解碼T1s符號。T1s符號表示具有為一之量值之係數的數目,在以倒序讀取係數向量時,在遇到具有大於一之量值的係數之前遇到該等係數。T1s解碼器92可使用基於非零係數之預測數目所選擇之VLC表52中的一者來解碼T1s符號。
正負號解碼器94解碼任何尾隨的1的正負號。舉例而言,正負號解碼器94對於尾隨的1中之每一者而言在接收到"1"時可判定係數之正負號為正,且在接收到"0"時可判定係數之正負號為負。係數量值解碼器96解碼除尾隨的1外之非零係數的量值。係數量值解碼器96可使用VLC表、固定長度寫碼或其他類型熵寫碼來解碼非零係數的位準。
運程和解碼器98可解碼表示在最後非零係數之前在係數向量中發生的零值係數之數目的符號,亦即sumRuns符號。運程和解碼器98使用基於區塊中之係數的總數(TotalCoeffs)選擇之VLC表52中的一者而解碼sumRuns符號,區塊中之係數之總數(TotalCoeff)藉由總係數解碼器90進行先前解碼。又,基於區塊中之係數之總數(TotalCoeffs)選擇VLC表以在解碼sumRuns符號時使用可允許運程和解碼器98選擇更有效地解碼sumRuns的VLC表。
運程長度解碼器100解碼係數向量之運程長度。運程長度解碼器100可首先解碼係數向量之最後非零係數的運程長度,繼之以前一非零係數的運程長度等,直至解碼係數向量之第一非零係數之前的運程長度為止。換言之,運程長度解碼器100可以首先開始解碼最後運程長度。運程長度解碼器100可使用基於係數向量之總運程之和(sumRuns)及迄今為止經寫碼之運程之和選擇之VLC表52而解碼運程長度中的每一者。運程和解碼器98先前解碼sumRuns符號。然而,運程長度解碼器100可收集關於迄今為止經解碼之運程之和的統計數據。因為可能之運程長度隨著每一額外運程經解碼而逐漸變短,所以運程長度解碼器100可選擇更有效之VLC表以減少用以表示運程的位元之數目。
以此方式,由運程長度解碼器100使用之VLC表52對於運程長度中之每一者而言可變。
加強層熵解碼器86解碼加強層之位元流以獲得(例如)呈額外係數之向量或對現有係數之精化形式的對視訊區塊之精化。EOB符號解碼器102判定EOB符號是否指示是否存在至少一殘餘非零係數。在存在至少一殘餘非零係數時,運程長度解碼器104解碼下一非零係數之前的運程長度。運程長度解碼器104可使用與藉由運程長度編碼器68使用之VLC表相同的VLC表69來解碼下一非零係數的運程長度。正負號解碼器106解碼非零係數之正負號。舉例而言,正負號解碼器106可判定係數之正負號為正(在接收到"1"時),及為負(在接收到"0"時)。加強層熵解碼器86繼續解碼非零係數,直至EOB符號解碼器102指示不存在殘餘非零係數為止。
圖7為說明4x4係數區塊40之Z字形掃描的概念圖。展示於圖7中之Z字形掃描可藉由圖2之編碼器30、32來實施。展示於圖7中之此Z字形掃描之掃描次序遵循通過視訊區塊110的箭頭,且在掃描次序中以係數c1至c16來標註。詳言之,展示於圖7中之數值指示係數在順序一維向量內的位置,且並不表示係數的實際值。說明於圖7中之Z字形掃描的結果為一維係數向量X
,其中X
=[c1,c2,c3,c4,c5,c6,c7,c8,c9,c10,c11,c12,c13,c14,c15,c16]其中c1至c16表示係數之二維陣列內的係數位置。
本發明之技術並不限於任何特定掃描次序或技術。舉例而言,本發明中使用之掃描次序可為展示於圖7中的Z字形掃描次序。或者,本發明中使用之掃描次序可為其他掃描次序,諸如,水平掃描、垂直掃描或任何其他掃描技術。
圖8為說明加強層之係數的係數區塊120之假設實例的概念圖。在此實例中,展示於圖8中之數值指示位置處之係數的實際值。係數區塊120之實際係數值可表示經量化之剩餘係數、未量化之變換係數,或加強層中視訊區塊的其他類型係數。在說明於圖8中之實例中,係數區塊120為4x4區塊。然而,本發明之技術可經擴展以應用至任何大小的區塊。在根據說明於圖3中之Z字形掃描而掃描係數區塊120之後,所得係數向量V
為:
V
=[4,0,0,-2,0,1,0,0,0,0,0,0,0,0,0,0]。
加強層編碼器32根據本發明中描述之技術來編碼係數向量V
之係數中的每一者。作為一實例,對於係數向量V
之非零係數中的每一者而言,加強層編碼器32編碼EOB符號、運程長度及正負號。如上詳細描述,EOB符號指示在係數向量中是否存在任何殘餘非零係數,運程長度表示在係數向量之當前非零係數之前發生的零值係數之數目,且正負號指示係數值為正還是為負。
根據本發明之一態樣,加強層編碼器32可能並不編碼係數之量值。實情為,加強層編碼器32可如同所有非零係數的量值等於1一般而編碼非零係數中的每一者。以此方式,加強層編碼器32可被看作編碼以下係數向量V'
而非V
。
V'
=[1,0,0,-1,0,1,0,0,0,0,0,0,0,0,0,0]
加強層編碼器32可(例如)使用等於零之EOB、為零之運程的碼字組及等於一之正負號來編碼第一係數(亦即,係數向量V
中之4或係數向量V'
中的1),使用等於零之EOB、為二之運程的碼字組及等於零之正負號來編碼第二係數(亦即,係數向量V
中之-2或係數向量V'
中的-1),且由等於零之EOB、為一之運程的碼字組及等於一之正負號繼之以等於一的EOB符號來編碼第三非零係數(亦即,係數向量V
或係數向量V'
中的1)。如上所述,可自在H.264/MPEG-4部分10 AVC標準中界定之VLC表獲得用以編碼運程之碼字組。
為了說明目的而描述實例經編碼之位元流。加強層編碼器32可在不背離本發明之範疇的情況下以不同方式來編碼係數向量V
、V'
。舉例而言,可將EOB符號編碼為一以表示區塊中之額外非零係數,且編碼為零以表示無殘餘非零係數。同樣,可將正負號符號編碼為零以表示為正之非零係數,且編碼為一以表示為負的非零係數。作為另一實例,針對每一非零係數編碼之EOB符號可表示當前係數是否為向量的最後非零係數。因而,在經編碼位元流之結束處可能不存在EOB符號。實情為,在EOB符號指示當前係數為最後非零係數時,視訊解碼器知曉在解碼當前係數之運程及符號之後不存在區塊的額外係數。
圖9為說明執行本發明之可調節視訊寫碼技術之視訊編碼器(諸如,圖2的視訊編碼器20)之實例操作的流程圖。視訊編碼器20之基礎層編碼器30及加強層編碼器32自視訊源18獲得視訊資料(130)。如上所述,基礎層編碼器30及加強層編碼器32獲得相同之原始視訊資料。自視訊源18獲得之視訊資料可(例如)為一系列視訊圖框。
對於每一視訊區塊而言,基礎層編碼器30使用執行多個編碼一次操作之寫碼技術來編碼基礎層(132)。基礎層以第一品質等級編碼視訊區塊。基礎層編碼器30可產生表示處於第一品質之視訊區塊的係數向量,且編碼區塊之剩餘變換係數以產生基礎層。基礎層編碼器30可根據如在H.264/MPEG-4部分10 AVC標準中界定之CAVLC編碼係數向量以產生基礎層。如上文關於圖2詳細描述,基礎層編碼器30可執行用以分析係數向量之第一編碼一次操作及用以基於分析編碼係數向量的第二一次操作。
對於每一視訊區塊而言,加強層編碼器32使用執行單一編碼一次操作之寫碼技術來將額外位元編碼為加強層(134)。加強層位元流之額外位元編碼精化,該等精化在添加至基礎層位元流時將視訊增強為第二較高品質等級。雖然在此實例中將加強層編碼器32描述為僅編碼單一加強層,但加強層編碼器32可編碼一個以上加強層位元流。在該狀況下,在加強層隨著其經解碼而提供逐漸較高之品質的意義上,加強層可為階層式的。
由加強層編碼器32使用之第二熵寫碼技術對於加強層之係數向量之非零係數中的每一者而言可編碼EOB符號、運程及正負號。如上詳細描述,EOB符號可指示是否存在任何殘餘非零係數,運程長度表示在非零係數之前發生的零值係數之數目,且正負號指示係數值為正還是為負。在最後非零係數之正負號之後,加強層編碼器32可編碼EOB符號以指示不存在殘餘非零係數。
基礎層編碼器30及加強層編碼器32分別輸出經編碼之基礎層位元流及加強層位元流(136)。由加強層編碼器32使用之熵寫碼技術可允許在無寫碼效率之大量損耗情況下以較低計算及實施複雜性來編碼加強層的剩餘係數。本發明之熵寫碼技術可賦能加強層位元流中之(例如)呈精化形式之額外視訊資料在單一編碼一次操作中的寫碼,藉此減少寫碼複雜性、寫碼延遲及記憶體要求。例如,加強層編碼器32可在不知曉任何後續係數的情況下編碼加強層之係數向量的每一非零係數,從而允許在單一一次操作中寫碼係數向量,且消除執行一用以分析係數向量之第一一次操作及用於基於分析寫碼係數向量的第二一次操作之需要。
圖10為說明根據本發明之一態樣之編碼加強層的視訊區塊之剩餘係數之加強層編碼器(諸如,圖2之加強層編碼器32)的實例操作之流程圖。加強層編碼器32識別加強層區塊之係數向量中的第一非零係數(140)。加強層編碼器32編碼一指示在加強層區塊之係數向量存在至少一殘餘非零係數的EOB符號(142)。加強層編碼器32可使用單一位元編碼EOB符號,例如,在存在至少一殘餘非零係數時編碼零且在不存在殘餘非零係數時編碼一。
加強層編碼器32編碼一指示先於非零係數之零值係數之數目的運程(144)。加強層編碼器32在一些例子中可使用針對如在H.264/MPEG-4部分10AVC標準中界定之CAVLC已儲存的VLC表而編碼運程。舉例而言,加強層編碼器32可使用用以在係數之總數(TotalCoeffs)等於一時寫碼總運程之和(sumRuns)的VLC表來編碼運程。或者,加強層編碼器32可維持一經特定地設計以編碼加強層之係數向量之運程的單獨VLC表。
加強層編碼器32可編碼非零係數之正負號(146)。加強層編碼器32可(例如)編碼"1"(若非零係數之正負號為正),且編碼"0"(若非零係數之正負號為負)。在一些例子中,加強層編碼器32可能不編碼非零係數的量值。以此方式,加強層編碼器32可將非零係數之量值限制為一。因而,將具有大於一之量值的任何非零係數設定為等於一。不編碼加強層之非零係數之量值可導致峰值訊雜比(PSNR)之某一損耗,但減少用以編碼非零係數之位元的數目。
加強層編碼器32判定在加強層區塊中是否存在任何殘餘非零係數(148)。當在加強層區塊中存在至少一殘餘非零係數時,加強層編碼器32繼續編碼殘餘非零係數中之每一者的EOB、運程及正負號。當在加強層區塊中不存在殘餘非零係數時,加強層編碼器32編碼EOB符號,以指示在加強層區塊之係數向量中不存在殘餘非零係數(149)。如上所述,將加強層連同基礎層一起傳輸。
因為圖10中描述之加強層寫碼技術並不寫碼涉及一個以上係數之符號,所以加強層寫碼技術視可用位元率而可允許加強層編碼器32在編碼期間丟棄係數向量之經量化剩餘係數中的一或多者。此外,加強層寫碼技術減少寫碼複雜性及實施。
圖11為說明解碼加強層位元流以獲得剩餘變換係數之向量的加強層解碼器(諸如,圖2之加強層解碼器36)之實例操作的流程圖。加強層解碼器36獲得加強層位元流(150)。加強層解碼器36分析EOB符號以判定是否存在任何殘餘非零係數(152)。加強層解碼器36可(例如)在EOB符號等於零時判定存在至少一殘餘非零係數,且在EOB符號等於一時判定不存在殘餘非零係數。
當加強層解碼器36判定存在至少一殘餘非零係數(例如,EOB符號等於零)時,加強層解碼器36解碼與下一非零係數相關聯的運程(154)。與下一非零係數相關聯之運程表示非零係數之前的零值係數之數目。加強層解碼器36使用與由加強層編碼器32使用之VLC表相同的VLC表來解碼運程。在一例子中,加強層解碼器36可使用用於如界定於H.264/MPEG-4部分10AVC標準中之CAVLC中的用於寫碼總運程和(sumRuns)中(當係數之總數(TotalCoeffs)等於一時)的VLC表來解碼運程。然而,可使用其他VLC表,只要其為由加強層編碼器32使用之同一表便可。加強層解碼器36將等於非零係數之前的運程長度之數目個係數設定為等於零(156)。若運程長度等於二,則(例如)加強層解碼器36可將非零係數之前的兩個係數設定為等於零。
加強層解碼器36解碼非零係數之正負號(158)。非零係數之正負號可解碼為正(在正負號符號等於一時),及解碼為負(在正負號符號等於零時)。在解碼非零係數之正負號之後,加強層解碼器36可基於經解碼之正負號將非零係數設定為等於正一或負一(160)。如上所述,加強層可能不編碼加強層之係數的量值。同樣,加強層解碼器36可經組態以將所有非零係數之量值設定為等於一。
加強層解碼器36繼續解碼非零係數之運程及正負號直至加強層解碼器36判定不存在殘餘非零係數(例如,EOB符號等於一)為止。在此點上,若殘餘任何係數,則加強層解碼器36將向量之殘餘係數設定為等於零(162)。如關於圖2詳細描述,加強層解碼器36使用除預測區塊外之係數向量及其他資料以重建視訊區塊以供呈現給顯示器28。
圖12至圖15為說明用於可調節視訊寫碼中之編碼器及/或解碼器的不同組態之方塊圖。此等實例編碼器及解碼器係為了說明可利用本發明之技術的編碼器類型。然而,實例組態決不應限制如所描述的技術。技術可用於任何可調節視訊編碼器中。
說明於圖12至圖15中之實例視訊編碼器及解碼器中之每一者可利用本發明中描述之熵寫碼技術以促進加強層位元流的有效寫碼。本發明之熵寫碼技術可賦能在單一編碼一次操作中對加強層位元流中之(例如)呈精化形式之額外視訊資料的寫碼,藉此減少寫碼複雜性、寫碼延遲及記憶體要求。如將進一步詳細描述,可在不知曉任何後續係數(亦即,當前正被寫碼之非零係數之後的任何係數)的情況下編碼加強層之係數向量中的每一非零係數。在單一一次操作中寫碼加強層可消除執行一分析係數向量之第一一次操作及用於基於分析而寫碼係數向量的第二一次操作之需要。
圖12為說明實例可調節視訊編碼器170的方塊圖。可調節視訊編碼器170可(例如)與圖2之視訊編碼器20對應。在圖12之實例中,可調節視訊編碼器170包括一基礎層編碼器30,該基礎層編碼器30包括一預測單元172、圖框儲存器173、變換單元174、量化單元175A及175B、逆量化單元176A及176B、逆變換單元177、多工模組178及求和器179A至179C。將圖3中之不同特徵描繪為單元意欲突出所說明設備之不同功能態樣,且並不一定暗示此等單元必須藉由單獨硬體或軟體組件來實現。實情為,與一或多個單元相關聯之功能性可整合至共同或單獨硬體或軟體組件內。
預測單元172使用框內預測或框間預測產生預測區塊。預測區塊可為正被寫碼之當前視訊區塊的預測型式。如上所述,預測單元172可基於與當前正被寫碼之區塊相同之圖框內之基礎層的一或多個先前編碼區塊而使用框內預測產生預測區塊。或者,預測單元可基於基礎層之一或多個相鄰圖框內之一或多個先前編碼區塊而使用框間預測產生預測區塊。預測單元172可自圖框儲存器173提取先前編碼區塊。
在視訊區塊之基於框內或框間之預測之後,基礎層編碼器30藉由在求和器179A處自當前視訊區塊減去藉由預測單元172產生之預測區塊而產生剩餘區塊。剩餘區塊包括量化當前視訊區塊之像素值與預測區塊的像素值之間的差之像素差值集合。剩餘區塊可以二維區塊格式(例如,像素值之二維矩陣或陣列)來表示。換言之,剩餘區塊為像素值的二維表示。
變換單元174向剩餘區塊應用變換以產生剩餘變換係數。變換單元174可(例如)應用DCT、整數變換、方向變換、小波變換或其組合。在向像素值之剩餘區塊應用變換之後,量化單元175A量化變換係數以進一步減少位元率。量化單元175A之對應於與基礎層相關聯之經量化係數的輸出被提供至多工模組178。
在量化之後,逆量化單元176A應用逆量化以產生變換係數之剩餘區塊的經重建型式。求和器179B自由變換單元174輸出之變換係數之原始剩餘區塊減去自逆量化單元176A輸出的變換係數的剩餘區塊之經重建型式。將本文中稱為變換差區塊之此區塊提供至量化單元175B。量化單元175B量化變換係數以進一步減少位元率。量化單元175B之對應於與加強層相關聯之經量化係數的輸出被提供至多工模組178。在一實例中,量化單元175A可使用第一QP量化剩餘係數,且量化單元175B可使用第二QP量化剩餘係數差。第二QP可(例如)為第一QP之值的一半,亦即,QP/2。
在藉由量化單元175B進行之量化之後,逆量化單元176B應用逆量化以產生變換差區塊的經重建型式。求和器179C對自逆量化單元176A輸出之變換係數之剩餘區塊之經重建型式與藉由逆量化單元176B輸出的變換差區塊之經重建型式求和以產生經重建的剩餘區塊。
逆變換單元177對視訊區塊之經重建型式應用逆變換。經重建型式之視訊區塊儲存於圖框儲存器173中,且可由預測單元172使用以框內或框間寫碼後續視訊區塊。預測單元172可向多工模組178提供控制資料,諸如,運動向量、分割大小、框內寫碼模式或其類似者。多工模組178可組合基礎層資料與加強層資料。在一些例子中,多工模組178可包括用於熵編碼基礎層資料及加強層資料的熵編碼器。在其他例子中,基礎層編碼器及加強層編碼器可獨立於多工模組。
圖13為說明實例可調節視訊解碼器180的方塊圖。可調節視訊解碼器180可(例如)與圖2之視訊解碼器26對應。圖13之可調節視訊解碼器180包括解多工模組181、逆量化單元182A及182B、逆變換單元183、預測單元184、圖框儲存器185及求和器186A及186B。
解多工模組181接收可調節編碼視訊,且解多工信號。在一些例子中,解多工模組181可包括用於熵解碼基礎層資料及加強層資料的熵解碼器。在其他例子中,基礎層解碼器及加強層解碼器可獨立於解多工模組。
逆量化單元182A逆量化(亦即,解量化)與基礎層相關聯之經量化剩餘係數,且逆量化單元182B解量化與加強層相關聯的經量化剩餘係數。在一實例中,逆量化單元182A可使用第一QP量化剩餘係數,且逆量化單元182B可使用第二QP量化剩餘係數差。第二QP可(例如)為第一QP之值的一半,亦即,QP/2。在求和器186A處將由逆量化單元182A及182B輸出之經解量化之變換係數的各別集合相加以產生經重建的剩餘變換區塊。如上所述,由逆量化單元182A輸出之經解量化之變換係數可與基本品質等級對應,且由逆量化單元182B輸出之經解量化之變換係數在添加至逆量化單元182B之輸出時導致增加之品質等級。
逆變換單元183向經解量化之剩餘係數區塊之和應用逆變換(例如,逆DCT、逆整數變換、逆小波變換或逆方向變換)以產生像素值的剩餘區塊。求和器186B將藉由預測單元184產生之預測區塊與像素值之剩餘區塊相加以形成經重建的基礎層視訊區塊。如上詳細所述,預測單元184可在框內預測的狀況下使用共同圖框內之一或多個相鄰區塊或在框間預測的狀況下使用相鄰圖框內之一或多個區塊產生預測區塊,該預測區塊可儲存於圖框儲存器185內。
圖14為說明另一實例可調節視訊解碼器190的方塊圖。可調節視訊解碼器190可(例如)與圖2之視訊解碼器26對應。圖14之可調節視訊解碼器190包括解多工模組191、逆量化單元192A及192B、逆變換單元193A及193B、預測單元194、圖框儲存器195及求和器196A及196B。
解多工模組191接收可調節編碼視訊,且解多工信號。在一些例子中,解多工模組181可包括用於熵解碼基礎層資料及加強層資料的熵解碼器。在其他例子中,基礎層解碼器及加強層解碼器可獨立於解多工模組。
逆量化單元192A及逆變換單元193A對與基礎層相關聯之經解碼剩餘係數應用逆量化(亦即,解量化)及逆變換操作以獲得基礎層的剩餘區塊之經重建型式。逆量化單元192B及逆變換單元193B對與加強層相關聯之經解碼剩餘係數應用逆量化(亦即,解量化)及逆變換操作以獲得加強層的剩餘區塊之經重建型式。在一實例中,逆量化單元192A可使用第一QP量化剩餘係數,且逆量化單元192B可使用第二QP量化剩餘係數差。第二QP可(例如)為第一QP之值的一半,亦即,QP/2。
預測單元194可在框內預測的狀況下使用共同圖框內之一或多個相鄰區塊或在框間預測的狀況下使用相鄰圖框內之一或多個區塊產生預測區塊,該預測區塊可儲存於圖框儲存器195內。求和器196A將由預測單元194產生之預測區塊與自逆變換單元193A輸出之經重建的剩餘區塊相加以產生處於基本品質等級的經解碼視訊資料。自可調節視訊解碼器190輸出具有基本品質等級的經解碼視訊資料。
具有基本品質等級之經解碼視訊資料亦被提供至求和器196B。求和器196B將求和器196A之輸出與自逆變換單元193B輸出之加強層的剩餘區塊之經重建型式相加以產生處於第二較高品質等級的經解碼視訊資料。自可調節視訊解碼器190輸出具有基本品質等級的經解碼視訊資料。
圖15為說明另一實例視訊編碼器200的方塊圖。在圖15之實例中,基礎層編碼器30包括一預測單元33A、圖框儲存器35A、變換單元38A、量化單元40A、係數掃描單元41A、逆量化單元42A、逆變換單元44A、基礎層熵編碼器46、求和器48A至48C及框內預測單元40A。將圖3中之不同特徵描繪為單元意欲突出所說明設備之不同功能態樣,且並不一定暗示此等單元必須藉由單獨硬體或軟體組件來實現。實情為,與一或多個單元相關聯之功能性可整合至共同或單獨硬體或軟體組件內。
預測單元33A使用框間預測(例如,經運動補償之預測)而產生預測區塊。預測區塊可為正被寫碼之當前視訊區塊的預測型式。如上所述,預測單元33A可基於基礎層之一或多個相鄰圖框內之一或多個先前編碼區塊使用框間預測而產生預測區塊。預測單元33A可自圖框儲存器35A提取先前編碼區塊。
在視訊區塊之基於框間之預測之後,基礎層編碼器30藉由在求和器48A處自當前視訊區塊減去由預測單元33A產生之預測區塊而產生剩餘區塊。剩餘區塊包括量化當前視訊區塊之像素值與預測區塊的像素值之間的差之像素差值集合。剩餘區塊可以二維區塊格式(例如,像素值之二維矩陣或陣列)來表示。換言之,剩餘區塊為像素值的二維表示。
變換單元38A向剩餘區塊應用變換以產生剩餘變換係數。變換單元38A可(例如)應用DCT、整數變換、方向變換、小波變換或其組合。在向像素值之剩餘區塊應用變換之後,量化單元40A量化變換係數以進一步減少位元率。在量化之後,逆量化單元42A及逆變換單元44A可分別應用逆量化及逆變換以重建剩餘區塊。求和器48B將經重建之剩餘區塊與由預測單元33A產生之預測區塊相加以產生經重建的視訊區塊以供儲存於圖框儲存器35A中。儲存於圖框儲存器35A中之經重建之視訊區塊可由基礎層編碼器30之預測單元32使用以框內或框間寫碼後續視訊區塊。另外,如以下將更詳細描述,儲存於圖框儲存器35A中之經重建之視訊區塊可由加強層編碼器32之預測單元33B使用以框內或框間寫碼加強層中之視訊區塊的精化。
在量化之後,求和器48C自經量化剩餘係數減去由框內預測單元40A產生之經框內預測的區塊。框內預測單元40A可基於與當前正被寫碼之區塊相同之圖框內的一或多個先前編碼區塊使用框內預測而產生預測區塊。基礎層熵編碼器46(例如)使用如在H.264/MPEG-4部分10 AVC標準中界定且以上關於圖2詳細描述的CAVLC而熵編碼自求和器48C輸出的係數。
加強層編碼器32包括一預測單元33B、圖框儲存器35B、變換單元38B、量化單元40B、係數掃描單元41B、逆量化單元42B、逆變換單元44B、加強層熵編碼器49及求和器48D至48F。加強層編碼器32之單元大體上類似於基礎層編碼器30之經類似編號之彼等單元。因而,將僅描述差異。
加強層編碼器32之預測單元33B產生為當前視訊區塊之預測型式的預測區塊。不同於基礎層編碼器30之使用基礎層之先前編碼區塊來產生預測區塊的預測單元33A,加強層編碼器32之預測單元33B可基於加強層之一或多個先前編碼區塊而產生預測區塊。加強層之經重建視訊區塊可處於高於基礎層之預測區塊之品質等級的第二品質等級。
加強層編碼器32與基礎層編碼器30之間的額外差異為,在求和器48F處將加強層編碼器32之逆量化單元42B的輸出與加強層編碼器30之逆量化單元42A的輸出組合。將逆量化單元42A與42B之輸出相加產生較高品質之經重建視訊區塊,因此允許上述預測單元進行的較好預測。
本發明中所描述之技術可以硬體、軟體、韌體或其任何組合來實施。描述為單元或組件之任何特徵可一起實施於整合邏輯設備中或單獨地實施為離散但可互操作的邏輯設備。若以軟體來實施,則技術可由包含指令之電腦可讀媒體至少部分地實現,當該等指令經執行時,執行上文所描述之一或多種方法。電腦可讀媒體可形成電腦程式產品之部分,該產品可包括包裝材料。電腦可讀媒體可包含諸如同步動態隨機存取記憶體(SDRAM)之隨機存取記憶體(RAM)、唯讀記憶體(ROM)、非揮發性隨機存取記憶體(NVRAM)、電可擦可程式唯讀記憶體(EEPROM)、快閃記憶體、磁性或光學資料儲存媒體,及其類似者。另外或替代地,該等技術可由載運或傳遞呈指令或資料結構之形式且可由電腦存取、讀取及/或執行的代碼之電腦可讀通信媒體至少部分地實現。
代碼可由一或多個處理器執行,諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式邏輯陣列(FPGA)或其他等效整合或離散邏輯電路。因此,如本文所使用之術語"處理器"可指代任何前述結構或任何其他適於本文所描述之技術的實施之結構。此外,在一些態樣中,本文所描述之功能性可提供於經組態以用於編碼及解碼之專用軟體單元或硬體單元內,或併入於經組合之視訊編碼器-解碼器(CODEC)中。將不同特徵描繪為單元意欲突出所說明設備之不同功能態樣,且並不一定暗示此等單元必須藉由單獨硬體或軟體組件來實現。實情為,與一或多個單元相關聯之功能性可整合至共同或單獨硬體或軟體組件內。
已描述各種實施例。此等及其他實施例在以下申請專利範圍之範疇內。
10...視訊傳輸系統
12...源設備
14...目的地設備
14A...多個目的地設備
14B...多個目的地設備
16...通信頻道
18...視訊源
20...視訊編碼器
22...傳輸器
24...接收器
26...視訊解碼器
28...顯示設備
30...基礎層編碼器
32...加強層編碼器
33A...預測單元
33B...預測單元
34...基礎層解碼器
35A...圖框儲存器
35B...圖框儲存器
36...加強層解碼器
38A...變換單元
38B...變換單元
40A...量化單元
40B...量化單元
41A...係數掃描單元
41B...係數掃描單元
42A...逆量化單元
42B...逆量化單元
44A...逆變換單元
44B...逆變換單元
46...基礎層熵編碼器
48...求和器
48A...求和器
48B...求和器
48C...求和器
48D...求和器
48E...求和器
48F...求和器
49...加強層熵編碼器
50...分析單元
52...VLC表
52A~52N...VLC表
54...總係數編碼器
56...尾隨的1(T1)編碼器
58...正負號編碼器
60...係數量值編碼器
62...和運程編碼器
64...運程長度編碼器
66...EOB符號編碼器
68...運程長度編碼器
69...VLC表
70...正負號編碼器
72...基礎層熵解碼器
74A...係數掃描單元
74B...係數掃描單元
76A...逆量化單元
76B...逆量化單元
78A...逆變換單元
78B...逆變換單元
80A...預測單元
80B...預測單元
82A...圖框儲存器
82B...圖框儲存器
84A...求和器
84B...求和器
86...加強層熵解碼器
90...總係數解碼器
92...尾隨的1(T1)解碼器
94...正負號解碼器
96...係數量值解碼器
98...和運程解碼器
100...運程長度解碼器
102...EOB符號解碼器
104...運程長度解碼器
106...正負號解碼器
110...視訊區塊
120...係數區塊
170...實例可調節視訊編碼器
172...預測單元
173...圖框儲存器
174...變換單元
175A...量化單元
175B...量化單元
176A...逆量化單元
176B...逆量化單元
177...逆變換單元
178...多工模組
179A...求和器
179B...求和器
179C...求和器
180...實例可調節視訊解碼器
181...解多工模組
182A...逆量化單元
182B...逆量化單元
183...逆變換單元
184...預測單元
185...圖框儲存器
186A...求和器
186B...求和器
190...實例可調節視訊解碼器
191...解多工模組
192A...逆量化單元
192B...逆量化單元
193A...逆變換單元
193B...逆變換單元
194...預測單元
195...圖框儲存器
196A...求和器
196B...求和器
200...實例視訊編碼器
圖1為說明一支援視訊可調節性之視訊傳輸系統的方塊圖。
圖2為進一步詳細地說明圖1之寫碼系統之源設備及目的地設備的方塊圖。
圖3為進一步詳細地說明實例基礎層編碼器及加強層編碼器的方塊圖。
圖4為進一步詳細地說明實例基礎層熵編碼器及加強層熵編碼器的方塊圖。
圖5為進一步詳細地說明基礎層解碼器及加強層解碼器之實例的方塊圖。
圖6為進一步詳細地說明實例基礎層熵解碼器及加強層熵解碼器的方塊圖。
圖7為說明4x4係數區塊之Z字形掃描的概念圖。
圖8為說明加強層視訊區塊之係數區塊之假設實例的概念圖。
圖9為說明執行本發明之可調節視訊寫碼技術的視訊編碼器之實例操作的流程圖。
圖10為說明根據本發明之一態樣之編碼加強層視訊區塊的剩餘係數之加強層編碼器的實例操作之流程圖。
圖11為說明解碼加強層位元流以獲得剩餘變換係數之向量的加強層解碼器之實例操作的流程圖。
圖12至圖15為說明根據本發明之用於可調節視訊寫碼中之編碼器及/或解碼器的不同組態之方塊圖。
(無元件符號說明)
Claims (66)
- 一種使用可調節視訊寫碼編碼視訊資料之方法,該方法包含:以一視訊寫碼裝置以一第一品質編碼一視訊區塊作為一基礎層位元流之部分;以該視訊寫碼裝置編碼該視訊區塊之精化作為至少一加強層位元流的部分,該等精化在與以該第一品質編碼之該視訊區塊組合時導致具有一大於該第一品質之第二品質的該視訊區塊,其中該視訊區塊之該等精化係在不執行收集在視訊寫碼表選擇中使用的統計數據之第一寫碼一次操作情況下編碼,其中該等精化為額外係數及現有係數之精化之至少一者,且其中編碼該等精化包含對於該視訊區塊之該等精化的每一非零係數而言編碼一指示存在至少一殘餘非零係數之符號、一指示該非零係數之前的零值係數之一數目的運程長度及該非零係數的一正負號,且以該視訊寫碼裝置將該視訊區塊之該等精化的該等非零係數之量值調整為等於一。
- 如請求項1之方法,其中編碼該視訊區塊之該等精化包含在不分析任何後續係數的情況下編碼該等精化的每一非零係數。
- 如請求項1之方法,其進一步包含編碼一符號以指示在編碼一最後非零係數之後在該視訊區塊之該等精化中不 存在殘餘非零係數。
- 如請求項1之方法,其中將該視訊區塊之該等精化的該等非零係數中之每一者之該量值調整為等於一包含在不編碼該等非零係數之量值的情況下編碼該等係數。
- 如請求項1之方法,其中編碼該視訊區塊之該等精化作為該加強層位元流之部分包含編碼該視訊區塊之該等精化,使得該視訊區塊之該等精化的係數在不存取以該第一品質編碼為該基礎層位元流之部分的該視訊區塊之係數資訊的情況下為可解碼的。
- 如請求項1之方法,其進一步包含僅使用一單一可變長度寫碼(VLC)表來編碼該視訊區塊之該等精化。
- 如請求項1之方法,其中以該第一品質編碼該視訊區塊作為該基礎層之部分包含使用一寫碼技術以該第一品質來編碼該視訊區塊,該寫碼技術在一第一寫碼一次操作中分析該視訊區塊之一係數向量,且基於該分析在第二寫碼一次操作中編碼該係數向量。
- 如請求項7之方法,其中:以該第一品質編碼該視訊區塊包含根據ITU-T H.264/MPEG-4部分10進階視訊寫碼(AVC)標準使用一內容適應性可變長度寫碼(CAVLC)過程以該第一品質來編碼該視訊區塊;及編碼該視訊區塊之該等精化包含使用在該CAVLC過程中界定之VLC表中的一者來編碼該視訊區塊之該等精化。
- 如請求項1之方法,其中該第一品質及該第二品質包含一第一訊雜比(SNR)及一第二訊雜比(SNR)中的一者與一第一空間解析度及一第二空間解析度中的一者。
- 一種使用可調節視訊寫碼編碼視訊資料之設備,該設備包含至少一編碼器以:以一第一品質編碼一視訊區塊作為一基礎層位元流之部分;編碼該視訊區塊之精化作為至少一加強層位元流的部分,該等精化在與以該第一品質編碼之該視訊區塊組合時導致具有一大於該第一品質之第二品質的該視訊區塊,其中該視訊區塊之該等精化係在不執行收集在視訊寫碼表選擇中使用的統計數據之第一寫碼一次操作情況下編碼,且其中該等精化為額外係數及現有係數之精化之至少一者;對於該視訊區塊之該等精化的每一非零係數而言編碼一指示存在至少一殘餘非零係數之符號、一指示一非零係數之前的零值係數之一數目的運程長度及該非零係數的一正負號,且將該視訊區塊之該等精化的該等非零係數之量值調整為等於一。
- 如請求項10之設備,其中該至少一編碼器在不分析任何後續係數的情況下編碼該等精化的每一非零係數。
- 如請求項10之設備,其中該至少一編碼器編碼一符號以指示在編碼一最後非零係數之後在該視訊區塊之該等精 化中不存在殘餘非零係數。
- 如請求項10之設備,其中該至少一編碼器在不編碼該等非零係數之量值的情況下編碼該等係數。
- 如請求項10之設備,其中該至少一編碼器編碼該視訊區塊之該等精化,使得該視訊區塊之該等精化的係數在不存取以該第一品質編碼為該基礎層位元流之部分的該視訊區塊之係數資訊的情況下為可解碼的。
- 如請求項10之設備,其中該至少一編碼器僅使用一單一可變長度寫碼(VLC)表來編碼該視訊區塊之該等精化。
- 如請求項10之設備,其中該至少一編碼器使用一寫碼技術以該第一品質來編碼該視訊區塊,該寫碼技術在一第一寫碼一次操作中分析該視訊區塊之一係數向量,且基於該分析在第二寫碼一次操作中編碼該係數向量。
- 如請求項16之設備,其中該至少一編碼器:以該第一品質編碼該視訊區塊包含根據ITU-T H.264/MPEG-4部分10進階視訊寫碼(AVC)標準使用一內容適應性可變長度寫碼(CAVLC)過程以該第一品質來編碼該視訊區塊;及編碼該視訊區塊之該等精化包含使用在該CAVLC過程中界定之VLC表中的一者來編碼該視訊區塊之該等精化。
- 如請求項10之設備,其中該第一品質及該第二品質包含一第一訊雜比(SNR)及一第二訊雜比(SNR)中的一者與一第一空間解析度及一第二空間解析度中的一者。
- 如請求項10之設備,其中該至少一編碼器包含:一基礎層編碼器,該基礎層編碼器以該第一品質編碼該視訊區塊作為一基礎層位元流之部分,及一加強層編碼器,該加強層編碼器編碼該視訊區塊之精化作為該至少一加強層位元流的部分,該等精化在與以該第一品質編碼之該視訊區塊組合時導致具有大於該第一品質之該第二品質的該視訊區塊。
- 如請求項10之設備,其中該設備包含一無線通信設備。
- 如請求項10之設備,其中該設備包含一積體電路設備。
- 一種包含指令之電腦可讀媒體,該等指令使得一或多個處理器進行以下操作:以一第一品質編碼一視訊區塊作為一基礎層位元流之部分;及編碼該視訊區塊之精化作為至少一加強層位元流的部分,該等精化在與以該第一品質編碼之該視訊區塊組合時導致具有一大於該第一品質之第二品質的該視訊區塊,其中該視訊區塊之該等精化係在不執行收集在視訊寫碼表選擇中使用的統計數據之第一寫碼一次操作情況下編碼,其中該等精化為額外係數及現有係數之精化之至少一者,且其中使得該一或多個處理器編碼該等精化之該等指令包含多個指令,該等指令使得一或多個處理器對於該視訊區塊之該等精化的每一非零係數而言編碼一指示存在 至少一殘餘非零係數之符號、一指示一非零係數之前的零值係數之一數目的運程長度及該非零係數的一正負號;且將該視訊區塊之該等精化的該等非零係數之量值調整為等於一。
- 如請求項22之電腦可讀媒體,其中該等指令使得一或多個處理器在不分析任何後續係數的情況下編碼該等精化的每一非零係數。
- 如請求項22之電腦可讀媒體,其中該等指令使得一或多個處理器編碼一符號以指示在編碼一最後非零係數之後在該視訊區塊之該等精化中不存在殘餘非零係數。
- 如請求項22之電腦可讀媒體,其中該等指令使得一或多個處理器在不編碼該等非零係數之量值的情況下編碼該等係數。
- 如請求項22之電腦可讀媒體,其中該等指令使得一或多個處理器編碼該視訊區塊之該等精化,使得該視訊區塊之該等精化的係數在不存取以該第一品質編碼為該基礎層位元流之部分的該視訊區塊之係數資訊的情況下為可解碼的。
- 如請求項22之電腦可讀媒體,其中該等指令使得一或多個處理器僅使用一單一可變長度寫碼(VLC)表來編碼該視訊區塊之該等精化。
- 如請求項22之電腦可讀媒體,其中該等指令使得一或多個處理器使用一寫碼技術以該第一品質來編碼該視訊區 塊,該寫碼技術在一第一寫碼一次操作中分析該視訊區塊之一係數向量,且基於該分析在第二寫碼一次操作中編碼該係數向量。
- 如請求項28之電腦可讀媒體,其中該等指令使得一或多個處理器進行以下操作:以該第一品質編碼該視訊區塊包含根據ITU-T H.264/MPEG-4部分10進階視訊寫碼(AVC)標準使用一內容適應性可變長度寫碼(CAVLC)過程以該第一品質來編碼該視訊區塊;及編碼該視訊區塊之該等精化包含使用在該CAVLC過程中界定之VLC表中的一者來編碼該視訊區塊之該等精化。
- 如請求項22之電腦可讀媒體,其中該第一品質及該第二品質包含一第一訊雜比(SNR)及一第二訊雜比(SNR)中的一者與一第一空間解析度及一第二空間解析度中的一者。
- 一種使用可調節視訊寫碼編碼視訊資料之設備,該設備包含:用於以一第一品質編碼一視訊區塊作為一基礎層位元流之部分的第一構件;及用於編碼該視訊區塊之精化作為至少一加強層位元流的部分之第二構件,該等精化在與以該第一品質編碼之該視訊區塊組合時導致具有一大於該第一品質之第二品質的該視訊區塊,其中該視訊區塊之該等精化係在不執 行收集在視訊寫碼表選擇中使用的統計數據之第一寫碼一次操作情況下編碼,其中該等精化為額外係數及現有係數之精化之至少一者,且其中該第二編碼構件對於該視訊區塊之該等精化的每一非零係數而言編碼一指示存在至少一殘餘非零係數之符號、一指示該非零係數之前的零值係數之該數目的運程長度及該非零係數的一正負號,且其中該第二編碼構件將該視訊區塊之該等精化的該等非零係數之量值調整為等於一。
- 如請求項31之設備,其中該第二編碼構件在不分析任何後續係數的情況下編碼該等精化的每一非零係數。
- 如請求項32之設備,其中該第二編碼構件編碼一符號以指示在編碼一最後非零係數之後在該視訊區塊之該等精化中不存在殘餘非零係數。
- 如請求項31之設備,其中該第二編碼構件在不編碼該等非零係數之量值的情況下編碼該等係數。
- 如請求項31之設備,其中該第二編碼構件編碼該視訊區塊之該等精化,使得該視訊區塊之該等精化的係數在不存取以該第一品質編碼為該基礎層位元流之部分的該視訊區塊之係數資訊的情況下為可解碼的。
- 如請求項31之設備,其中該第二編碼構件僅使用一單一可變長度寫碼(VLC)表來編碼該視訊區塊之該等精化。
- 如請求項31之設備,其中該第一編碼構件以該第一品質編碼該視訊區塊作為該基礎層之部分包含使用一寫碼技 術以該第一品質來編碼該視訊區塊,該寫碼技術在一第一寫碼一次操作中分析該視訊區塊之一係數向量,且基於該分析在第二寫碼一次操作中編碼該係數向量。
- 如請求項37之設備,其中該第一編碼構件進行以下操作:以該第一品質編碼該視訊區塊包含根據ITU-T H.264/MPEG-4部分10進階視訊寫碼(AVC)標準使用一內容適應性可變長度寫碼(CAVLC)過程以該第一品質來編碼該視訊區塊;及編碼該視訊區塊之該等精化包含使用在該CAVLC過程中界定之VLC表中的一者來編碼該視訊區塊之該等精化。
- 如請求項31之設備,其中該第一品質及該第二品質包含一第一訊雜比(SNR)及一第二訊雜比(SNR)中的一者與一第一空間解析度及一第二空間解析度中的一者。
- 一種使用可調節視訊寫碼解碼視訊資料之方法,該方法包含:以一視訊寫碼裝置解碼一基礎層位元流以獲得一第一品質的一視訊區塊;以該視訊寫碼裝置解碼一加強層位元流以獲得該視訊區塊之精化,該等精化在與該第一品質的經解碼的該視訊區塊組合時導致具有一第二品質的該視訊區塊,其中該等精化為額外係數及現有係數之精化之至少一者,且 其中解碼該加強層包括對於該視訊區塊之該等精化的每一非零係數而言解碼一指示存在至少一殘餘非零係數之符號、一指示該非零係數之前的零值係數之一數目的運程長度及該非零係數的一正負號;且以該視訊寫碼裝置將該每一非零係數的一量值設定為等於一。
- 如請求項40之方法,其進一步包含在一最後非零係數之後解碼一指示在該視訊區塊之該等精化中不存在殘餘非零係數的符號。
- 如請求項41之方法,其進一步包含使用每一係數之該經解碼之運程、每一係數之該正負號及指示不存在殘餘非零係數的該符號來產生該視訊區塊之該等精化的係數之一向量。
- 如請求項40之方法,其中解碼該視訊區塊之該等精化包含在不存取以該第一品質編碼之該視訊區塊的係數資訊的情況下解碼該視訊區塊之該等精化。
- 如請求項40之方法,其進一步包含僅使用一單一可變長度寫碼(VLC)表來解碼該視訊區塊之該等精化。
- 如請求項44之方法,其中該單一VLC表包含在如界定於ITU-T H.264/MPEG-4部分10進階視訊寫碼(AVC)標準中之CAVLC中所規定的VLC表中之一者。
- 一種使用可調節視訊寫碼解碼視訊資料之設備,該設備包含至少一解碼器,其:解碼一基礎層位元流以獲得一第一品質的一視訊區 塊;解碼一加強層位元流以獲得該視訊區塊之精化,該等精化在與該第一品質的經解碼的該視訊區塊組合時導致具有一第二品質的該視訊區塊,其中該等精化為額外係數及現有係數之精化之至少一者,且其中該至少一解碼器對於該視訊區塊之該等精化的每一非零係數而言解碼一指示存在至少一殘餘非零係數之符號、一指示該非零係數之前的零值係數之一數目的運程長度及該非零係數的一正負號;且將該每一非零係數的一量值設定為等於一。
- 如請求項46之設備,其中該至少一解碼器在一最後非零係數之後解碼一指示在該視訊區塊之該等精化中不存在殘餘非零係數的符號。
- 如請求項47之設備,其中該至少一解碼器使用每一係數之該經解碼之運程、每一係數之該正負號及指示不存在殘餘非零係數的該符號來產生該視訊區塊之該等精化的係數之一向量。
- 如請求項46之設備,其中該至少一解碼器在不存取以該第一品質編碼之該視訊區塊的係數資訊的情況下解碼該視訊區塊之該等精化。
- 如請求項46之設備,其中該至少一解碼器僅使用一單一可變長度寫碼(VLC)表來解碼該視訊區塊的該等精化。
- 如請求項50之設備,其中該單一VLC表包含在如界定於 ITU-T H.264/MPEG-4部分10進階視訊寫碼(AVC)標準中之CAVLC中所規定的VLC表中之一者。
- 如請求項46之設備,其中該至少一解碼器包含:一基礎層解碼器,該基礎層解碼器以該第一品質解碼該基礎層位元流以獲得該視訊區塊;及一加強層解碼器,該加強層解碼器解碼該加強層位元流以獲得該視訊區塊的該等精化。
- 如請求項46之設備,其中該設備包含一無線通信設備。
- 如請求項46之設備,其中該設備包含一積體電路設備。
- 一種包含指令之電腦可讀媒體,該等指令使得一或多個處理器進行以下操作:解碼一基礎層位元流以獲得一第一品質的一視訊區塊;解碼一加強層位元流以獲得該視訊區塊之精化,該等精化在與該第一品質的經解碼的該視訊區塊組合時導致具有一第二品質的該視訊區塊,其中該等精化為額外係數及現有係數之精化之至少一者,且其中該等指令使得該一或多個處理器對於該視訊區塊之該等精化的每一非零係數而言解碼一指示存在至少一殘餘非零係數之符號、一指示該非零係數之前的零值係數之一數目的運程長度及該非零係數的一正負號;且將該每一非零係數的一量值設定為等於一。
- 如請求項55之電腦可讀媒體,其中該等指令使得一或多 個處理器在一最後非零係數之後解碼一指示在該視訊區塊之該等精化中不存在殘餘非零係數的符號。
- 如請求項56之電腦可讀媒體,其中該等指令使得一或多個處理器使用每一係數之該經解碼之運程、每一係數之該正負號及指示不存在殘餘非零係數的該符號來產生該視訊區塊之該等精化的係數之一向量。
- 如請求項55之電腦可讀媒體,其中該等指令使得一或多個處理器在不存取以該第一品質編碼之該視訊區塊的係數資訊的情況下解碼該視訊區塊的該等精化。
- 如請求項55之電腦可讀媒體,其中該等指令使得一或多個處理器僅使用一單一可變長度寫碼(VLC)表來解碼該視訊區塊之該等精化。
- 如請求項59之電腦可讀媒體,其中該單一VLC表包含在如界定於ITU-T H.264/MPEG-4部分10進階視訊寫碼(AVC)標準中之CAVLC中所規定的VLC表中之一者。
- 一種使用可調節視訊寫碼解碼視訊資料之設備,該設備包含:用於解碼一基礎層位元流以獲得一第一品質的一視訊區塊之第一構件;及用於解碼一加強層位元流以獲得該視訊區塊之精化的第二構件,該等精化在與該第一品質的經解碼的該視訊區塊組合時導致具有一第二品質的該視訊區塊,其中該等精化為額外係數及現有係數之精化之至少一者,且 其中該第二解碼構件對於該視訊區塊之該等精化的每一非零係數而言解碼一指示存在至少一殘餘非零係數之符號、一指示該非零係數之前的零值係數之一數目的運程長度及該非零係數的一正負號;及將該每一非零係數的一量值設定為等於一之構件。
- 如請求項61之設備,其中該第二解碼構件在一最後非零係數之後解碼一指示在該視訊區塊之該等精化中不存在殘餘非零係數的符號。
- 如請求項62之設備,其進一步包含用於使用每一係數之該經解碼之運程、每一係數之該正負號及指示不存在殘餘非零係數的該符號來產生該視訊區塊之該等精化的係數之一向量之構件。
- 如請求項61之設備,其中該第二解碼構件在不存取以該第一品質編碼之該視訊區塊的係數資訊的情況下解碼該視訊區塊之該等精化。
- 如請求項61之設備,其中該第二解碼構件僅使用一單一可變長度寫碼(VLC)表來解碼該視訊區塊之該等精化。
- 如請求項65之設備,其中該單一VLC表包含在如界定於ITU-T H.264/MPEG-4部分10進階視訊寫碼(AVC)標準中之CAVLC中所規定的VLC表中之一者。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US97991907P | 2007-10-15 | 2007-10-15 | |
| US98021407P | 2007-10-16 | 2007-10-16 | |
| US12/250,784 US8848787B2 (en) | 2007-10-15 | 2008-10-14 | Enhancement layer coding for scalable video coding |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW200934250A TW200934250A (en) | 2009-08-01 |
| TWI408965B true TWI408965B (zh) | 2013-09-11 |
Family
ID=40344656
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW97139596A TWI408965B (zh) | 2007-10-15 | 2008-10-15 | 可調節視訊編碼之改良加強層編碼之方法、設備及電腦可讀媒體 |
Country Status (9)
| Country | Link |
|---|---|
| EP (1) | EP2213099A1 (zh) |
| JP (2) | JP5248619B2 (zh) |
| KR (1) | KR101147943B1 (zh) |
| CN (1) | CN101855908B (zh) |
| BR (1) | BRPI0818077A2 (zh) |
| CA (1) | CA2702488C (zh) |
| RU (1) | RU2463728C2 (zh) |
| TW (1) | TWI408965B (zh) |
| WO (1) | WO2009052206A1 (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8306153B2 (en) * | 2009-09-21 | 2012-11-06 | Techwell Llc | Method and system for tracking phase in a receiver for 8VSB |
| EP2596637B1 (en) | 2010-07-21 | 2021-08-04 | Dolby Laboratories Licensing Corporation | Systems and methods for multi-layered frame-compatible video delivery |
| US8634668B2 (en) * | 2011-02-25 | 2014-01-21 | Sony Corporation | Method of compression of digital images using a fixed number of bits per block |
| US20120257675A1 (en) * | 2011-04-11 | 2012-10-11 | Vixs Systems, Inc. | Scalable video codec encoder device and methods thereof |
| US9565431B2 (en) * | 2012-04-04 | 2017-02-07 | Qualcomm Incorporated | Low-delay video buffering in video coding |
| US9602841B2 (en) * | 2012-10-30 | 2017-03-21 | Texas Instruments Incorporated | System and method for decoding scalable video coding |
| US20150312571A1 (en) * | 2012-11-29 | 2015-10-29 | Lg Electronics Inc. | Method and device for encoding/ decoding image supporting plurality of layers |
| KR102242721B1 (ko) * | 2012-12-26 | 2021-04-22 | 소니 주식회사 | 화상 처리 장치 및 방법 |
| US9998735B2 (en) * | 2013-04-01 | 2018-06-12 | Qualcomm Incorporated | Inter-layer reference picture restriction for high level syntax-only scalable video coding |
| GB2512829B (en) | 2013-04-05 | 2015-05-27 | Canon Kk | Method and apparatus for encoding or decoding an image with inter layer motion information prediction according to motion information compression scheme |
| US9848199B2 (en) * | 2014-03-17 | 2017-12-19 | Qualcomm Incorporated | Device and method for scalable coding of video information |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060171463A1 (en) * | 2003-02-28 | 2006-08-03 | Media Glue Corporation | Apparatus, system for, method of and computer program product for separating and merging coded signal |
| US20070211950A1 (en) * | 2006-03-08 | 2007-09-13 | Masato Shima | VLC Technique for Layered Video Coding Using Distinct Element Grouping |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040058304A (ko) * | 2001-11-21 | 2004-07-03 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 개선된 비트 평면 압축 방법 |
| JP4447197B2 (ja) * | 2002-01-07 | 2010-04-07 | 三菱電機株式会社 | 動画像符号化装置および動画像復号装置 |
| CN1620816A (zh) * | 2002-01-22 | 2005-05-25 | 诺基亚有限公司 | 图像/视频编码器和/或解码器中的编码变换系数 |
| JP3893350B2 (ja) * | 2002-11-29 | 2007-03-14 | キヤノン株式会社 | 符号化データ変換装置及びその方法 |
| JP4014098B2 (ja) * | 2003-06-26 | 2007-11-28 | 株式会社Kddi研究所 | 画像の階層的符号化装置および復号装置 |
| KR100736086B1 (ko) * | 2005-09-06 | 2007-07-06 | 삼성전자주식회사 | 엔트로피 코딩의 성능 향상 방법 및 장치, 상기 방법을이용한 비디오 코딩 방법 및 장치 |
| KR100714706B1 (ko) * | 2005-09-26 | 2007-05-04 | 삼성전자주식회사 | 엔트로피 코딩의 성능 향상 방법 및 장치, 상기 방법을이용한 비디오 코딩 방법 및 장치 |
| KR100763192B1 (ko) * | 2005-09-26 | 2007-10-04 | 삼성전자주식회사 | Fgs 계층의 비디오 데이터를 엔트로피 부호화 및복호화하는 방법 및 장치 |
| US7778472B2 (en) * | 2006-03-27 | 2010-08-17 | Qualcomm Incorporated | Methods and systems for significance coefficient coding in video compression |
| KR100834757B1 (ko) * | 2006-03-28 | 2008-06-05 | 삼성전자주식회사 | 엔트로피 부호화 효율을 향상시키는 방법 및 그 방법을이용한 비디오 인코더 및 비디오 디코더 |
-
2008
- 2008-10-15 WO PCT/US2008/080034 patent/WO2009052206A1/en not_active Ceased
- 2008-10-15 EP EP08839798A patent/EP2213099A1/en not_active Ceased
- 2008-10-15 KR KR1020107010570A patent/KR101147943B1/ko not_active Expired - Fee Related
- 2008-10-15 JP JP2010530087A patent/JP5248619B2/ja not_active Expired - Fee Related
- 2008-10-15 CN CN200880115482.8A patent/CN101855908B/zh not_active Expired - Fee Related
- 2008-10-15 TW TW97139596A patent/TWI408965B/zh active
- 2008-10-15 CA CA2702488A patent/CA2702488C/en not_active Expired - Fee Related
- 2008-10-15 BR BRPI0818077-6A patent/BRPI0818077A2/pt not_active IP Right Cessation
- 2008-10-15 RU RU2010119448/07A patent/RU2463728C2/ru not_active IP Right Cessation
-
2012
- 2012-10-03 JP JP2012221420A patent/JP5456867B2/ja not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060171463A1 (en) * | 2003-02-28 | 2006-08-03 | Media Glue Corporation | Apparatus, system for, method of and computer program product for separating and merging coded signal |
| US20070211950A1 (en) * | 2006-03-08 | 2007-09-13 | Masato Shima | VLC Technique for Layered Video Coding Using Distinct Element Grouping |
Non-Patent Citations (1)
| Title |
|---|
| Yan Ye, et al, "Adaptive Variable Length Coding for FGS," JVT-T086, 2006。 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101855908B (zh) | 2012-11-21 |
| CN101855908A (zh) | 2010-10-06 |
| RU2010119448A (ru) | 2011-11-27 |
| JP5456867B2 (ja) | 2014-04-02 |
| KR101147943B1 (ko) | 2012-05-23 |
| JP5248619B2 (ja) | 2013-07-31 |
| CA2702488C (en) | 2013-04-02 |
| CA2702488A1 (en) | 2009-04-23 |
| KR20100066584A (ko) | 2010-06-17 |
| RU2463728C2 (ru) | 2012-10-10 |
| EP2213099A1 (en) | 2010-08-04 |
| TW200934250A (en) | 2009-08-01 |
| WO2009052206A1 (en) | 2009-04-23 |
| BRPI0818077A2 (pt) | 2015-03-31 |
| JP2013051699A (ja) | 2013-03-14 |
| JP2011501572A (ja) | 2011-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI408965B (zh) | 可調節視訊編碼之改良加強層編碼之方法、設備及電腦可讀媒體 | |
| US8848787B2 (en) | Enhancement layer coding for scalable video coding | |
| TWI501648B (zh) | 層狀編碼位元流結構 | |
| JP4981927B2 (ja) | Svccgs拡張層コーディングに関するcavlc拡張 | |
| JP5795416B2 (ja) | スケーラブルビット深度のためのスケーラブルビデオコーディング手法 | |
| RU2452128C2 (ru) | Адаптивное кодирование информации заголовка видеоблока | |
| RU2463729C2 (ru) | Отделимые направленные преобразования | |
| TWI445408B (zh) | 使用大於4x4及8x8之轉換之視訊編碼 | |
| JP5259828B2 (ja) | 4×4および8×8よりも大きい変換を使用するビデオ符号化 | |
| US8395991B2 (en) | Non-scalable to scalable video converter | |
| US9503724B2 (en) | Interleave block processing ordering for video data coding | |
| Martínez et al. | DISTRIBUTED VIDEO CODING IN TRANSFORM DOMAIN |