TW201720150A - 用於視訊寫碼之調色板預測初始化及合併 - Google Patents
用於視訊寫碼之調色板預測初始化及合併 Download PDFInfo
- Publication number
- TW201720150A TW201720150A TW105130037A TW105130037A TW201720150A TW 201720150 A TW201720150 A TW 201720150A TW 105130037 A TW105130037 A TW 105130037A TW 105130037 A TW105130037 A TW 105130037A TW 201720150 A TW201720150 A TW 201720150A
- Authority
- TW
- Taiwan
- Prior art keywords
- palette
- syntax element
- pps
- prediction
- sps
- Prior art date
Links
- 238000000034 method Methods 0.000 claims description 113
- 238000003860 storage Methods 0.000 claims description 32
- 230000004044 response Effects 0.000 claims 2
- AZFKQCNGMSSWDS-UHFFFAOYSA-N MCPA-thioethyl Chemical compound CCSC(=O)COC1=CC=C(Cl)C=C1C AZFKQCNGMSSWDS-UHFFFAOYSA-N 0.000 claims 1
- 238000012545 processing Methods 0.000 description 50
- 239000000523 sample Substances 0.000 description 31
- 238000013139 quantization Methods 0.000 description 26
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 24
- 241000023320 Luma <angiosperm> Species 0.000 description 24
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 24
- 239000013598 vector Substances 0.000 description 23
- 238000004891 communication Methods 0.000 description 15
- 230000006835 compression Effects 0.000 description 14
- 238000007906 compression Methods 0.000 description 14
- 239000012634 fragment Substances 0.000 description 14
- 238000013507 mapping Methods 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 13
- 230000011664 signaling Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000001914 filtration Methods 0.000 description 10
- 238000013500 data storage Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000012432 intermediate storage Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000013074 reference sample Substances 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000007727 signaling mechanism Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/93—Run-length coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本發明描述一種用於解碼視訊資料之器件,該器件包括一記憶體,其經組態以儲存該視訊資料;及一或多個處理器,其經組態以在一圖像參數集(PPS)中接收一第一語法元素,該第一語法元素指示將使用PPS層級調色板預測初始化器產生一調色板預測;在該PPS中接收一第二語法元素,該第二語法元素指示包括於該PPS中之該等PPS層級調色板預測初始化器之一數目等於零;且基於該第一語法元素及該第二語法元素解碼一視訊資料區塊。
Description
本發明係關於視訊編碼及視訊解碼。
數位視訊能力可併入至廣泛範圍之器件中,包括數位電視、數位直播廣播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、所謂的「智慧型電話」、視訊電話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊壓縮技術,諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)、最近定案之ITU-T H.265定義之標準、高效率視訊寫碼(HEVC)標準及此等標準之擴展中所描述之彼等技術。視訊器件可藉由實施此等視訊壓縮技術而更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。 視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測以減少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼,可將視訊片段(亦即,視訊圖框或視訊圖框之一部分)分割為視訊區塊(其亦可被稱作樹型區塊)、寫碼單元(CU)及/或寫碼節點。圖像之經框內寫碼(I)片段中的視訊區塊係使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼。圖像之經框間寫碼(P或B)片段中之視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框,且參考圖像可被稱作參考圖框。 空間或時間預測導致待寫碼之區塊的預測性區塊。殘餘資料表示在待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差異之殘餘資料來編碼經框間寫碼區塊。根據框內寫碼模式及殘餘資料來編碼經框內寫碼區塊。為進行進一步壓縮,可將殘餘資料自像素域變換至變換域,從而產生殘餘變換係數,可接著量化該等殘餘變換係數。可依次序掃描最初配置成二維陣列之經量化變換係數以便產生變換係數之一維向量,且可應用熵寫碼以達成甚至更多壓縮。
本發明描述用於視訊寫碼(例如,視訊編碼及視訊解碼)及壓縮之技術。特定而言,本發明描述用於視訊資料之基於調色板之寫碼的技術,且更特定言之,本發明描述用於初始化調色板預測之技術。 在一個實例中,解碼視訊資料之方法包括:在圖像參數集(PPS)中接收第一語法元素,該第一語法元素指示將使用PPS層級調色板預測初始化器產生調色板預測;在PPS中接收第二語法元素,該第二語法元素指示包括於PPS中之PPS層級調色板預測初始化器之數目等於零;及基於第一語法元素及第二語法元素解碼視訊資料區塊。 在另一實例中,編碼視訊資料之方法包括:針對經編碼視訊資料之位元串流中之圖像參數集(PPS)語法結構中之包涵物產生第一語法元素,該第一語法元素指示將使用PPS層級調色板預測條目產生調色板預測;針對PPS語法結構中之包涵物產生第二語法元素,該第二語法元素指示包括於PPS中之PPS層級調色板預測條目之數目等於零;及輸出包括第一語法元素及第二語法元素的經編碼視訊資料之位元串流。 根據另一實例,用於解碼視訊資料之器件包括:記憶體,其經組態以儲存視訊資料;及一或多個處理器,其經組態以在圖像參數集(PPS)中接收第一語法元素,該第一語法元素指示將使用PPS層級調色板預測初始化器產生調色板預測;在PPS中接收第二語法元素,該第二語法元素指示包括於PPS中之PPS層級調色板預測初始化器之數目等於零;且基於第一語法元素及第二語法元素解碼視訊資料區塊。 在另一實例中,用於編碼視訊資料之器件包括記憶體及一或多個處理器,該記憶體經組態以儲存視訊資料,該一或多個處理器經組態以:針對經編碼視訊資料之位元串流中之圖像參數集(PPS)語法結構中之包涵物產生第一語法元素,該第一語法元素指示將使用PPS層級調色板預測條目產生調色板預測;針對PPS語法結構中之包涵物產生第二語法元素,該第二語法元素指示包括於PPS中之PPS層級調色板預測條目之數目等於零;及輸出包括第一語法元素及第二語法元素的經編碼視訊資料之位元串流。 在另一實例中,用於解碼視訊資料之裝置包括:用於在圖像參數集(PPS)中接收第一語法元素之構件,該第一語法元素指示將使用PPS層級調色板預測初始化器產生調色板預測;在PPS中接收第二語法元素之構件,該第二語法元素指示包括於PPS中之PPS層級調色板預測初始化器之數目等於零;及基於第一語法元素及第二語法元素對視訊資料區塊進行解碼之構件。 在另一實例中,用於編碼視訊資料之裝置包括:用於針對經編碼視訊資料之位元串流中之圖像參數集(PPS)語法結構中之包涵物產生第一語法元素之構件,該第一語法元素指示將使用PPS層級調色板預測條目產生調色板預測;用於針對PPS語法結構中之包涵物產生第二語法元素之構件,該第二語法元素指示包括於PPS中之PPS層級調色板預測條目之數目等於零;及用於輸出包括第一語法元素及第二語法元素的經編碼視訊資料之位元串流的構件。 在另一實例中,電腦可讀儲存媒體儲存當由一或多個處理器執行時使得該一或多個處理器進行以下各者的指令:在圖像參數集(PPS)中接收第一語法元素,該第一語法元素指示將使用PPS級調色板預測初始化器產生調色板預測;在PPS中接收第二語法元素,該第二語法元素指示包括於PPS中之PPS層級調色板預測初始化器之數目等於零;及基於第一語法元素及第二語法元素解碼視訊資料區塊。 在另一實例中,電腦可讀儲存媒體儲存當由一或多個處理器執行時使得該一或多個處理器進行以下各者的指令:針對經編碼視訊資料之位元串流中之圖像參數集(PPS)語法結構中之包涵物產生第一語法元素,該第一語法元素指示將使用PPS層級調色板預測條目產生調色板預測;針對PPS語法結構中之包涵物產生第二語法元素,該第二語法元素指示包括於PPS中之PPS層級調色板預測條目之數目等於零;及輸出包括第一語法元素及第二語法元素的經編碼視訊資料之位元串流。 在附圖及以下描述中闡明本發明之一或多個實例的細節。其他特徵、目標及優勢自描述、圖式及申請專利範圍將係顯而易見的。
本發明主張2015年9月14日申請之美國臨時專利申請案第62/218,497號及2015年10月6日申請之美國臨時專利申請案第62/237,952號之益處,該等案中之每一者之全部內容以引用之方式併入本文中。 本發明描述用於視訊寫碼(例如,視訊編碼及視訊解碼)及壓縮之技術。特定而言,本發明描述用於視訊資料之基於調色板之寫碼的技術。在基於調色板之視訊寫碼中,視訊寫碼器(例如,視訊編碼器或視訊解碼器)導出用於像素之區塊的調色板表(亦簡稱為「調色板」),其中調色板表中之各條目包括藉由調色板表中之索引識別之色彩值。 作為以調色板模式對區塊進行寫碼之部分,視訊寫碼器首先判定待用於區塊之調色板表。接著,可寫碼用於區塊之各像素(或樣本)的調色板索引以指示來自調色板的哪一條目將用於預測或重建構像素(樣本)。本發明大體上係針對用於產生調色板之技術,亦即判定調色板之調色板條目。更具體言之,本發明係針對用於初始化調色板預測之技術。初始化調色板預測大體上指代產生用於圖像、片段、方塊或其他此類群組之視訊區塊之第一區塊的調色板預測之過程。如將在以下更詳細地解釋,通常藉由更新先前所使用之調色板預測來產生用於後續區塊之調色板預測。然而,對於第一區塊,先前所使用之調色板預測為不可用的,且因此需要初始化調色板預測。 為減少傳信調色板條目所需要之位元,視訊解碼器可利用用於判定新調色板條目之調色板預測。調色板預測可(例如)包括來自先前所使用之調色板的條目。在一些實施方案中,調色板預測可經設定等於最近所使用之調色板且包括最近所使用之調色板的全部條目,而在其他實施方案中,調色板預測可包括比來自最近所使用之調色板的全部條目少的條目。除僅最近所使用之調色板以外,調色板預測還可包括來自其他先前所使用之調色板的條目。調色板預測可具有與用於寫碼區塊之調色板相同的大小或可大於或小於寫碼區塊所使用之調色板。 為利用調色板預測產生用於視訊資料區塊之調色板,視訊解碼器可(例如)接收用於調色板預測之各條目的一位元旗標,其中該旗標的第一值指示調色板預測之相關聯條目包括於調色板中且該旗標的第二值指示調色板預測之相關聯條目不包括於調色板中。在調色板預測大於用於視訊資料區塊之調色板的例項中,一旦達到調色板之最大大小,則視訊解碼器可停止接收旗標。 可直接地傳信調色板之一些條目,而非使用調色板預測來判定。對於此類條目,視訊解碼器可(例如)接收指示用於與條目相關聯之明度及兩個色度分量之色彩值的三個單獨m位元值,其中m表示視訊資料之位元深度。由於自調色板預測導出之彼等調色板條目與用於直接地傳信之條目所需要之多個m位元值相比僅需要一位元旗標,使用調色板預測傳信一些或全部調色板條目可減少傳信新調色板之條目所需要之位元之數目,且因此改良調色板模式寫碼之整體寫碼效率。 如上文所解釋,在許多情況下,基於用於寫碼一或多種已寫碼區塊的調色板來判定用於一個區塊之調色板預測。然而,在一些寫碼情景中,諸如當寫碼片段或方塊中之第一寫碼樹單元時,但是經先前寫碼區塊之調色板可為不可用的,且因此不能使用先前所使用之調色板之條目來產生調色板預測。在此例項中,可在序列參數集(SPS)及/或圖像參數集(PPS)中傳信調色板預測初始化器。當先前所使用之調色板不可用時,調色板預測初始化器為可用於產生調色板預測之值。 PPS通常指代含有應用於如藉由在各片段分段標頭中所見之語法元素判定之零或多個完整經寫碼圖像的語法元素之語法結構。SPS通常指代含有應用於如藉由在PPS中所見之語法元素之內容判定之零或多個完整CVS的語法元素之語法結構,該PPS係由在各片段分段標頭中所見之語法元素指代。因此,通常將SPS視為比PPS更高層級之語法結構,意謂包括於SPS中之語法元素通常變化不太頻繁且應用於比包括於PPS中之語法元素相更大視訊部分。 在調色板模式寫碼之現有實施方案中,若在SPS層級處啟用調色板預測初始化,則PPS層級語法僅使得視訊解碼器能夠在使用SPS層級調色板預測條目(在本文中亦被稱作SPS層級調色板預測初始化器)產生調色板預測與使用PPS層級調色板預測條目(在本文中亦被稱作PPS層級調色板預測初始化器)產生調色板預測之間選擇。調色板模式寫碼之現有實施方案不允許在SPS層級處啟用後在PPS層級處禁用調色板預測初始化。本發明引入藉由將調色板預測之大小設定為零來禁用PPS層級處之調色板預測初始化之技術。 此外,在調色板模式寫碼之現有實施方案中,視訊解碼器基於SPS調色板預測初始化器或PPS調色板預測初始化器來初始化調色板預測。根據本發明之技術,視訊解碼器可基於SPS調色板預測初始化器及PPS調色板預測初始化器兩者來初始化調色板預測。舉例而言,可藉由包括SPS調色板預測條目,接著為PPS調色板預測條目來初始化調色板預測,或反之亦然。在其他實例實施方案中,視訊解碼器可使用SPS調色板預測初始化器之僅一些且並非全部。舉例而言,當初始化調色板預測時,再次使用之旗標可對各條目進行傳信以指示將針對調色板預測初始化再使用SPS調色板預測條目之哪一條目。 視訊寫碼器可判定(例如,初始化)用於片段或方塊中之第一區塊(例如,呈不同寫碼標準之HEVC或不同類型之區塊中之寫碼單元或寫碼樹單元)的調色板預測。可接著自調色板預測判定用於區塊之調色板表。在針對第一區塊初始化調色板預測之後,接著可更新用於第一區塊之調色板預測以判定用於第二區塊之新調色板預測。 圖1為說明可利用本發明中所描述之技術的實例視訊編碼及解碼系統10的方塊圖。如圖1中所展示,系統10包括源器件12,其產生稍後將藉由目的地器件14解碼之經編碼視訊資料。源器件12及目的地器件14可包含廣泛範圍之器件中之任一者,包括桌上型電腦、筆記型(亦即,膝上型)電腦、平板電腦、機上盒、電話手機(諸如,所謂的「智慧型」手機)、所謂的「智慧型」平板、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件或其類似者。在一些情況下,源器件12及目的地器件14可經裝備以用於無線通信。 目的地器件14可經由鏈路16接收待解碼之經編碼視訊資料。鏈路16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14之任何類型之媒體或器件。在一項實例中,鏈路16可包含使得源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14之通信媒體。可根據通信標準(諸如,無線通信協定)調變經編碼視訊資料,且將其傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體,諸如,射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如,區域網路、廣域網路或全球網路,諸如網際網路)的一部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源器件12至目的地器件14的通信之任何其他設備。 替代地,可將經編碼資料自輸出介面22輸出至儲存器件26。同樣,可藉由輸入介面自儲存器件26存取經編碼資料。儲存器件26可包括多種分散式或本端存取之資料儲存媒體中之任一者,諸如,硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體,或用於儲存經編碼視訊資料之任何其他合適之數位儲存媒體。在另一實例中,儲存器件26可對應於可保持由源器件12產生的經編碼視訊之檔案伺服器或另一中間儲存器件。目的地器件14可經由串流傳輸或下載而自儲存器件26存取所儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將該經編碼視訊資料傳輸至目的地器件14的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如,用於網站)、FTP伺服器、網路附接儲存(NAS)器件或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)而存取經編碼視訊資料。此資料連接可包括適於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如,Wi-Fi連接)、有線連接(例如,DSL、纜線數據機等)或兩者之組合。經編碼視訊資料自儲存器件26之傳輸可為串流傳輸、下載傳輸或兩者之組合。 本發明之技術不必限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者的視訊寫碼,該等應用諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、(例如)經由網際網路之串流視訊傳輸、用於儲存於資料儲存媒體上之數位視訊的編碼、儲存於資料儲存媒體上之數位視訊的解碼或其他應用。在一些實例中,系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話的應用。 在圖1之實例中,源器件12包括視訊源18、視訊編碼器20及輸出介面22。在一些情況下,輸出介面22可包括調變器/解調器(數據機)及/或傳輸器。在源器件12中,視訊源18可包括諸如視訊捕獲器件(例如,視訊攝影機)、含有先前所捕獲視訊之視訊檔案庫、用以自視訊內容提供者接收視訊之視訊饋入介面及/或用於產生作為源視訊之電腦圖形資料的電腦圖形系統或此等源之組合的源。作為一個實例,若視訊源18為視訊攝影機,則源器件12及目的地器件14可形成所謂的攝影機電話或視訊電話。然而,本發明中所描述之技術可大體上適用於視訊寫碼,且可應用於無線及/或有線應用。 可由視訊編碼器20編碼所捕獲視訊、預捕獲之視訊或電腦產生之視訊。可經由源器件12之輸出介面22將經編碼視訊資料直接傳輸至目的地器件14。亦可(或替代地)將經編碼視訊資料儲存至儲存器件26上以供藉由目的地器件14或其他器件稍後存取以用於解碼及/或播放。 目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在一些情況下,輸入介面28可包括接收器及/或數據機。目的地器件14之輸入介面28經由鏈路16接收經編碼視訊資料。經由鏈路16傳達或在儲存器件26上所提供之經編碼視訊資料可包括由視訊編碼器20所產生之多種語法元素,該等語法元素供諸如視訊解碼器30之視訊解碼器在解碼該視訊資料時使用。此等語法元素可與在通信媒體上傳輸、儲存於儲存媒體上或儲存於檔案伺服器上之經編碼視訊資料包括在一起。 顯示器件32可與目的地器件14整合或在目的地器件14的外部。在一些實例中,目的地器件14可包括整合顯示器件且亦經組態以與外部顯示器件介接。在其他實例中,目的地器件14可為顯示器件。一般而言,顯示器件32向使用者顯示經解碼視訊資料,且可包含多種顯示器件中之任一者,諸如,液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。 視訊編碼器20及視訊解碼器30可根據視訊壓縮標準(諸如最近定案之高效率視訊寫碼(HEVC)標準)來操作,且可符合HEVC測試模型(HM)。替代地,視訊編碼器20及視訊解碼器30可根據其他專屬或行業標準(諸如ITU-T H.264標準,替代地被稱作MPEG-4,第10部分,進階視訊寫碼(AVC))或此等標準之擴展來操作。然而,本發明之技術不限於任何特定寫碼標準。視訊壓縮標準之其他實例包括MPEG-2及ITU-T H.263。視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264 (亦稱為ISO/IEC MPEG-4 AVC)及包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展之ITU-T H.265/HEVC。 近來,要求對用於諸如文字及運動圖形之螢幕內容材料之新的寫碼工具進行調查,且已提出改善螢幕內容之寫碼效率的技術。此活動當前正在進行中且預期將完成H.265/HEVC螢幕內容寫碼(SCC)擴展JCTVC-U1005、於ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之視訊寫碼聯合合作小組(JCT-VC),第21次會議:Warsaw、PL,2015年6月19日至6月26日闡述之HEVC SCC工作草案4 (WD4) JCTVC-U1005且在http://phenix.int-evry.fr/jct/doc_end_user/documents/21_Warsaw/wg11/JCTVC-U1005-v2.zip上為可用的,其全部內容以引用之方式併入本文中。 本發明之技術可利用HEVC術語,以易於解釋。然而,不應假定本發明之技術限於HEVC,且實際上明確地預期本發明之技術可實施於HEVC及其擴展之後續標準及其他未來標準或程序中。 儘管圖1中未展示,但在一些態樣中,視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合,且可包括適當MUX-DEMUX單元或其他硬體及軟體以處置共同資料串流或單獨資料串流中之音訊及視訊兩者的編碼。在一些實例中,若適用,則MUX-DEMUX單元可符合ITU H.223多工器協定或其他協定(諸如,使用者資料報協定(user datagram protocol; UDP))。 視訊編碼器20及視訊解碼器30各自可實施為多種合適的編碼器電路中的任一者,諸如,一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術以軟體部分實施時,器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀媒體中,且在硬體中使用一或多個處理器執行指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括在一或多個編碼器或解碼器中,編碼器或解碼器中之任一者可整合為各別器件中之組合式編碼器/解碼器(CODEC)的部分。 如上文所介紹,JCT-VC最近已定案HEVC標準之開發。HEVC標準化成果係基於視訊寫碼器件之演進模型(被稱作HEVC測試模型(HM))。HM根據(例如) ITU-T H.264/AVC假定視訊寫碼器件相對於現有器件之若干額外能力。舉例而言,H.264提供九個框內預測編碼模式,而HM可提供多達三十五個框內預測編碼模式。 在HEVC及其他視訊寫碼規範中,視訊序列通常包括一系列圖像。圖像亦可被稱為「圖框」。圖像可包括三個樣本陣列,標示為SL
、SCb
及SCr
。SL
為明度樣本之二維陣列(亦即,區塊)。SCb
為Cb色度(chrominance)樣本之二維陣列。SCr
為Cr色度樣本之二維陣列。色度樣本亦可在本文中被稱作「色度(chroma)」樣本。在其他例項下,圖像可為單色的,且可僅包括明度樣本陣列。 為產生圖像之經編碼表示,視訊編碼器20可產生寫碼樹型單元(CTU)之集合。CTU中之每一者可包含明度樣本之寫碼樹型區塊、色度樣本之兩個對應寫碼樹型區塊,及用於寫碼該等寫碼樹型區塊之樣本的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中,CTU可包含單一寫碼樹型區塊及用於寫碼該寫碼樹型區塊之樣本的語法結構。寫碼樹型區塊可為樣本之N×N區塊。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(LCU)。 HEVC之CTU可廣泛地類似於諸如H.264/AVC之其他標準的巨集區塊。然而,CTU未必限於特定大小且可包括一或多個寫碼單元(CU)。片段可包括按光柵掃描次序連續地定序之整數數目個CTU。 為產生經寫碼CTU,視訊編碼器20可對CTU之寫碼樹型區塊遞迴地執行四分樹分割,以將寫碼樹型區塊劃分成寫碼區塊,之後命名為「寫碼樹型單元」。寫碼區塊可為樣本之N×N區塊。CU可包含具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列之圖像的明度樣本之寫碼區塊,及色度樣本之兩個對應寫碼區塊,以及用於寫碼該等寫碼區塊之樣本的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中,CU可包含單一寫碼區塊及用於寫碼該寫碼區塊之樣本的語法結構。 視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊為供應用相同預測之樣本的矩形(亦即,正方形或非正方形)區塊。CU之預測單元(PU)可包含明度樣本之預測區塊、色度樣本之兩個對應預測區塊及用於預測該等預測區塊之語法結構。在單色圖像或具有三個單獨色彩平面之圖像中,PU可包含單一預測區塊及用於預測該預測區塊之語法結構。視訊編碼器20可針對CU之各PU的明度預測區塊、Cb預測區塊及Cr預測區塊產生預測性明度區塊、預測性Cb區塊及預測性Cr區塊。 視訊編碼器20可使用框內預測或框間預測來產生PU之預測性區塊。若視訊編碼器20使用框內預測產生PU之預測性區塊,則視訊編碼器20可基於與PU相關聯之圖像的經解碼樣本產生PU之預測性區塊。若視訊編碼器20使用框間預測產生PU之預測性區塊,則視訊編碼器20可基於不同於與PU相關聯之圖像的一或多個圖像之經解碼樣本產生PU之預測性區塊。 在視訊編碼器20產生CU之一或多個PU的預測性明度區塊、預測性Cb區塊及預測性Cr區塊之後,視訊編碼器20可產生CU之明度殘餘區塊。CU之明度殘餘區塊中的各樣本指示CU之預測性明度區塊中之一者中的明度樣本與CU之原始明度寫碼區塊中的對應樣本之間的差異。此外,視訊編碼器20可產生用於CU之Cb殘餘區塊。CU之Cb殘餘區塊中的各樣本可指示CU之預測性Cb區塊中之一者中的Cb樣本與CU之原始Cb寫碼區塊中的對應樣本之間的差異。視訊編碼器20亦可產生用於CU之Cr殘餘區塊。CU之Cr殘餘區塊中之各樣本可指示CU之預測性Cr區塊中之一者中的Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差異。 此外,視訊編碼器20可使用四分樹分割以將CU之明度殘餘區塊、Cb殘餘區塊及Cr殘餘區塊分解為一或多個明度變換區塊、Cb變換區塊及Cr變換區塊。變換區塊為供應用相同變換之樣本的矩形(亦即,正方形或非正方形)區塊。CU之變換單元(TU)可包含明度樣本之變換區塊、色度樣本之兩個對應變換區塊及用於變換該等變換區塊樣本之語法結構。因此,CU之各TU可與明度變換區塊、Cb變換區塊及Cr變換區塊相關聯。與TU相關聯之明度變換區塊可為CU之明度殘餘區塊的子區塊。Cb變換區塊可為CU之Cb殘餘區塊之子區塊。Cr變換區塊可為CU之Cr殘餘區塊的子區塊。在單色圖像或具有三個單獨色彩平面之圖像中,TU可包含單一變換區塊及用於變換該變換區塊之樣本的語法結構。 視訊編碼器20可將一或多個變換應用至TU之明度變換區塊以產生用於TU之明度係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量。視訊編碼器20可將一或多個變換應用至TU之Cb變換區塊以產生用於TU之Cb係數區塊。視訊編碼器20可將一或多個變換應用至TU之Cr變換區塊以產生用於TU之Cr係數區塊。 在產生係數區塊(例如,明度係數區塊、Cb係數區塊或Cr係數區塊)之後,視訊編碼器20可量化係數區塊。量化通常係指變換係數經量化以可能減少用以表示變換係數的資料之量,從而提供進一步壓縮之過程。在視訊編碼器20量化係數區塊之後,視訊編碼器20可對指示經量化變換係數之語法元素進行熵編碼。舉例而言,視訊編碼器20可對指示經量化變換係數之語法元素執行上下文可適性二進位算術寫碼(CABAC)。 視訊編碼器20可輸出包括形成經寫碼圖像及關聯資料之表示的位元序列之位元串流。位元串流可包含NAL單元序列。NAL單元為含有NAL單元中之資料之類型之指示的語法結構及含有呈視需要穿插有模擬阻止位元之RBSP形式之資料的位元組。NAL單元中之每一者包括NAL單元標頭,且囊封RBSP。NAL單元標頭可包括指示NAL單元類型碼之語法元素。由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有囊封在NAL單元內的整數數目個位元組之語法結構。在一些情況下,RBSP包括零位元。 不同類型之NAL單元可囊封不同類型之RBSP。舉例而言,第一類型之NAL單元可囊封用於PPS之RBSP,第二類型之NAL單元可囊封用於經寫碼片段之RBSP,第三類型之NAL單元可囊封用於SEI訊息之RBSP等。囊封用於視訊寫碼資料之RBSP (與用於參數集及SEI訊息之RBSP相對)的NAL單元可被稱作VCL NAL單元。 視訊解碼器30可接收由視訊編碼器20產生之位元串流。此外,視訊解碼器30可剖析位元串流以自位元串流獲得語法元素。視訊解碼器30可至少部分基於自位元串流獲得之語法元素而重建構視訊資料之圖像。重建構視訊資料之程序可大體上與由視訊編碼器20執行之程序互逆。另外,視訊解碼器30可反量化與當前CU之TU相關聯的係數區塊。視訊解碼器30可對係數區塊執行反變換以重建構與當前CU之TU相關聯的變換區塊。藉由將當前CU之PU的預測性區塊之樣本添加至當前CU之TU的變換區塊之對應樣本,視訊解碼器30可重建構當前CU之寫碼區塊。藉由重建構圖像之各CU的寫碼區塊,視訊解碼器30可重建構圖像。 圖2為說明判定用於寫碼視訊資料之調色板的實例之概念圖。圖2之實例包括具有與第一組調色板(亦即,第一調色板184)相關聯之第一區塊180及與第二組調色板(亦即,第二調色板192)相關聯之第二區塊188的圖像178。如在下文中更詳細地描述,可基於第一調色板184判定第二調色板192。圖像178亦包括藉由框內預測寫碼模式寫碼之區塊196及藉由框間預測寫碼模式寫碼之區塊200。 圖2之技術描述於視訊編碼器20 (圖1及圖2)及視訊解碼器30 (圖1及圖3)之上下文中。基於調色板之寫碼技術可(例如)用作用於視訊資料區塊之寫碼模式。參照圖2所描述之各種區塊可(例如)對應於如在HEVC之上下文中瞭解之CTU、CU、PU或TU,但描述於圖2中之區塊不限於任何特定寫碼標準之區塊結構且可與利用不同於HEBC之區塊格式的未來寫碼標準相容。 一般而言,調色板係指對於當前正經寫碼之區塊(例如,在圖2之實例中為區塊188)而言為主要的及/或代表性的若干像素值。第一調色板184及第二調色板192經展示為包括多個調色板。在一些實例中,視訊寫碼器(諸如視訊編碼器20或視訊解碼器30)可單獨地寫碼用於區塊之每一色彩分量的調色板。舉例而言,視訊編碼器20可編碼用於區塊之明度(Y)分量的調色板,用於區塊之色度(U)分量的另一調色板,及用於區塊之色度(V)分量的又一調色板。在此實例中,Y調色板之條目可表示區塊之像素的Y值,U調色板之條目可表示區塊之像素的U值,及V調色板之條目可表示區塊之像素的V值。 在其他實例中,視訊編碼器20可編碼用於區塊之全部色彩分量的單一調色板。在此實例中,視訊編碼器20可編碼具有為三重值(包括Yi
、Ui
及Vi
)的第i個條目之調色板。在此情況下,調色板包括用於像素之分量中的每一者的值。因此,第一調色板184及第二調色板192作為具有多個個別調色板的調色板之集合的表示僅為一個實例且並不意欲為限制性的。 在圖2之實例中,第一調色板184中之每一者包括分別具有條目索引值1、條目索引值2及條目索引值3的三個條目202至206。條目202至206將索引值分別與包括像素值A、像素值B及像素值C之像素值相關。應注意第一調色板184中之每一者實際上不包括索引及行標頭,但僅包括像素值A、B及C且將索引用於識別調色板中之條目。 如本文所描述,並非直接地寫碼第一區塊180之實際像素值,視訊寫碼器(諸如視訊編碼器20或視訊解碼器30)可使用基於調色板之寫碼以使用索引1至3對區塊之像素進行寫碼。亦即,對於第一區塊180之每一像素位置,視訊編碼器20可編碼用於像素之索引值,其中索引值與第一調色板184中之一或多者中的像素值相關聯。視訊解碼器30可自位元串流獲得該等索引值且可使用該等索引值及第一調色板184中之一或多者來重建構像素值。換言之,對於用於區塊之每一各別索引值,視訊解碼器30可判定第一調色板184中之一者中的條目。視訊解碼器30可將區塊中之各別索引值與藉由調色板中之經判定條目指定之像素值進行替換。視訊編碼器20可在經編碼視訊資料位元串流中傳輸第一調色板184以供視訊解碼器30用於基於調色板的解碼。大體而言,一或多個調色板可經傳輸用於各區塊或可在不同區塊中共用。 根據本發明之態樣,視訊編碼器20及視訊解碼器30可基於一或多個調色板預測判定第二調色板192。調色板預測可(例如)包括第一調色板184之條目中之一些或全部且亦可能包括來自其他調色板之條目。在一些實例中,可使用先進先出的方法產生調色板預測,其中在將第一調色板184之條目添加至調色板預測後,將當前在調色板預測中之最舊條目清除以便保持調色板預測處於或低於最大大小。在其他實例中,可使用不同技術更新及/或維持調色板預測。本發明之技術大體上係針對初始化調色板預測且可結合用於更新及維持調色板預測之眾多不同技術而使用。 儘管本發明之技術大體上係針對基於調色板預測產生調色板,且更特定言之係針對用於控制調色板預測之初始化的技術,本發明之技術可結合用於產生調色板之其他技術來使用。作為一個實例,視訊編碼器20可對用於各區塊(包括(作為一實例)第二區塊188)之pred_palette_flag進行編碼以指示是否自與一或多個其他區塊相關聯之一或多個調色板來預測用於區塊之調色板,諸如相鄰區塊(在空間上或基於掃描次序)或隨機相鄰者之最頻繁樣本。舉例而言,當此旗標之值等於一時,視訊解碼器30可判定用於第二區塊188之第二調色板192係自一或多個已解碼調色板預測且因此沒有用於第二區塊188之新調色板包括於含有pred_palette_flag的位元串流中。當此旗標等於零時,視訊解碼器30可判定用於第二區塊188之第二調色板192包括於位元串流中作為新調色板。在一些實例中,pred_palette_flag可針對用於區塊之每一不同色彩分量(例如,針對YUV視訊中之區塊的三個旗標,一個用於Y、一個用於U且一個用於V)經單獨地寫碼。在其他實例中,單個pred_palette_flag可針對用於區塊之全部色彩分量單獨地寫碼。 在以上實例中,各區塊傳信pred_palette_flag以指示是否預測當前區塊的調色板之條目中之任一者。此意謂第二調色板192等同於第一調色板184且不傳信額外資訊。在其他實例中,可基於各條目傳信一或多個語法元素。其為可經傳信用於調色板預測之各條目以指示該條目是否存在於當前調色板中的旗標。如上文所提及,若未預測調色板條目,則可明確地傳信調色板條目。在其他實例中,可將此等兩種方法合併。舉例而言,傳信第一pred_palette_flag。若該旗標為0,則可傳信各條目預測旗標。此外,可傳信新條目之數目及其明確值。 當相對於第一調色板184判定第二調色板192 (例如,pred_palette_flag等於一)時,視訊編碼器20及/或視訊解碼器30可定位自其中判定預測性調色板(在此實例中,第一調色板184)的一或多個區塊。預測性調色板可與當前正經寫碼的區塊(亦即,第二區塊188)之一或多個相鄰區塊(例如,相鄰區塊(在空間上或基於掃描次序)或隨機相鄰者之最頻繁樣本)相關聯。一或多個相鄰區塊之調色板可與預測性調色板相關聯。在一些實例中,諸如圖2中所說明之實例,當判定用於第二區塊188之預測性調色板時,視訊編碼器20及/或視訊解碼器30可定位左相鄰區塊(第一區塊180)。在其他實例中,視訊編碼器20及/或視訊解碼器30可定位相對於第二區塊188之其他位置中之一或多個區塊,諸如上部區塊(區塊196)。在另一實例中,可將掃描次序中使用調色板模式之最後區塊的調色板用作預測性調色板。 視訊編碼器20及/或視訊解碼器30可基於層次判定用於調色板預測之區塊。舉例而言,視訊編碼器20及/或視訊解碼器30可初始識別用於調色板預測之左相鄰區塊(第一區塊180)。若左相鄰區塊對於預測為不可用的(例如,用除基於調色板之寫碼模式以外的模式寫碼左相鄰區塊,諸如框內預測模式或框間預測模式,或定位於圖像或片段之最左邊緣),則視訊編碼器20及/或視訊解碼器30可識別上部相鄰區塊(區塊196)。視訊編碼器20及/或視訊解碼器30可根據位置之預定次序繼續搜尋可用的區塊直至定位具有可用於調色板預測之調色板的區塊。在一些實例中,視訊編碼器20及/或視訊解碼器30可基於相鄰區塊之多個區塊及/或經重建樣本判定預測性調色板。 儘管圖2之實例說明第一調色板184作為來自單一區塊(亦即,第一區塊180)之預測性調色板,但在其他實例中,視訊編碼器20及/或視訊解碼器30可定位用於自相鄰區塊之組合預測之調色板。舉例而言,視訊編碼器20及/或視訊解碼器可應用一或多個公式、功能、規則或類似者以基於複數個相鄰區塊(在空間上或按掃描次序)之一者或組合之調色板產生預測性調色板。 在其他實例中,視訊編碼器20及/或視訊解碼器30可建構包括用於調色板預測之多個可能候選者之候選者清單。在此等實例中,視訊編碼器20可編碼候選者清單之索引以指示清單中的候選者區塊,自該清單中選擇用於調色板預測之當前區塊(例如,複製調色板)。視訊解碼器30可以相同方式建構候選者清單,解碼索引,並使用經解碼索引來選擇對應區塊之調色板以供與當前區塊一起使用。在另一實例中,可將清單中之所指示候選者區塊之調色板用作用於當前區塊之當前調色板之各條目預測的預測性調色板。 在出於說明之目的之實例中,視訊編碼器20及視訊解碼器30可建構候選者清單,該候選者清單包括定位於當前正經寫碼之區塊上方的一個區塊及定位於當前正經寫碼之區塊之左側的一個區塊。在此實例中,視訊編碼器20可編碼一或多個語法元素以指示候選者選擇。舉例而言,視訊編碼器20可編碼具有零值之旗標以指示當前區塊之調色板係自位於當前區塊左邊的區塊複製。視訊編碼器20可編碼具有一值的旗標以指示當前區塊之調色板係自位於當前區塊上方之區塊複製。視訊解碼器30解碼旗標且選擇用於調色板預測之合適區塊。在另一實例中,旗標可指示是否將頂部或左側相鄰區塊之調色板用作預測性調色板。接著,對於預測性調色板中之各條目,其可指示是否在用於當前區塊之調色板中使用彼條目。 在其他實例中,視訊編碼器20及/或視訊解碼器30基於包括於一或多個其他調色板中之樣本值在一或多個相鄰區塊中發生之頻率來判定用於當前正經寫碼之區塊的調色板。舉例而言,視訊編碼器20及/或視訊解碼器30可追蹤與在寫碼預定數目個區塊期間最常使用的索引值相關聯的色彩。視訊編碼器20及/或視訊解碼器30可將最常使用的色彩包括於用於當前正經寫碼之區塊的調色板中。 如上文所提及,在一些實例中,視訊編碼器20及/或視訊解碼器可自用於寫碼當前區塊之相鄰區塊複製完整調色板。另外或替代地,視訊編碼器20及/或視訊解碼器30可基於執行逐條目的調色板預測。舉例而言,視訊編碼器20可編碼用於調色板之各條目之一或多個語法元素,該調色板指示是否基於預測性調色板(例如,另一區塊之調色板)預測各別條目。在此實例中,視訊編碼器20可在給定條目(例如,與相鄰區塊相關聯的調色板之對應條目)為來自預測性調色板的經預測值時針對該條目編碼具有一值的旗標。視訊編碼器20可編碼用於特定條目之具有零值之旗標以指示不自另一區塊之調色板預測該特定條目。在此實例中,視訊編碼器20亦可編碼指示非預測調色板條目之值的額外資料。 本發明描述用於預測當前區塊之調色板的若干替代技術。在一個實例中,包括來自一或多個先前經寫碼相鄰區塊之調色板條目的預測性調色板包括多個條目N。在此情況下,視訊編碼器20首先將具有與預測性調色板相同的大小(亦即大小N)之二進位向量V傳輸至視訊解碼器30。二進位向量中之各條目指示是否將再使用預測性調色板中之對應的條目或將其複製至用於當前區塊之調色板。舉例而言,V(i)=1意謂將再使用用於相鄰區塊之預測性調色板中之第i個條目或將其複製至用於當前區塊之調色板,其在當前區塊中可具有不同索引。 此外,視訊編碼器20可傳輸數目M (M指示多少新調色板條目包括於用於當前區塊之調色板中),並接著將用於新調色板條目中之每一者的像素值傳輸至視訊解碼器30。在此實例中,用於當前區塊之調色板的最終大小可經導出為等於M+S,其中S為可再使用或複製至用於當前區塊之調色板的預測性調色板中之條目之數目(亦即,V(i)=1)。為產生用於當前區塊之調色板,視訊解碼器30可合併經傳輸新調色板條目及自預測性調色板再使用之經複製調色板條目。在一些情況下,合併可基於像素值,以使得用於當前區塊之調色板中之條目可隨調色板索引而增加(或減小)。在其他情況下,合併可為條目之兩個集合之級聯,亦即新調色板條目及經複製調色板條目。 在另一實例中,視訊編碼器20首先將用於當前區塊之調色板之大小N之指示傳輸至視訊解碼器30。視訊編碼器20接著將具有與用於當前區塊之調色板相同的大小(亦即,大小N)之向量V傳輸至視訊解碼器30。向量中之各條目指示是否藉由視訊編碼器20明確地傳輸或自預測性調色板複製用於當前區塊之調色板中之對應的條目。舉例而言,V(i)=1意謂視訊編碼器20將調色板中之第i個條目傳輸至視訊解碼器30,及V(i)=0意謂自預測性調色板複製調色板中之第i個條目。對於自預測性調色板複製之條目(亦即,V(i)=0),視訊編碼器20可使用不同方法以傳信在用於當前區塊之調色板中使用之預測性調色板中之條目。在一些情況下,視訊編碼器20可將自預測性調色板複製之條目之調色板索引傳信至用於當前區塊之調色板。在其他情況下,視訊編碼器20可傳信索引偏移,該偏移為在用於當前區塊之調色板中之索引與預測性調色板中之索引之間的差值。 在上文之兩個實例中,用於產生供當前區塊之調色板之預測使用之預測性調色板之一或多個先前經寫碼相鄰區塊可為相對於當前區塊之頂部相鄰(亦即,上部)區塊或左側相鄰區塊。在一些實例中,可建構相鄰區塊之候選者清單,且視訊編碼器20傳輸索引以指示哪一候選者相鄰區塊及相關聯調色板供當前區塊之調色板預測使用。對於某些區塊,例如定位於視訊資料之片段之起點處或在其他片段邊界處之區塊或片段或圖像中之最左側區塊,可禁用調色板預測。 在額外的實例中,視訊編碼器20將包括於用於當前區塊之調色板中之多個條目之指示傳輸至視訊解碼器30。接著,對於調色板條目中之每一者,視訊編碼器20傳輸旗標或其他語法元素以指示是否藉由視訊編碼器20明確地傳輸調色板條目或是否自先前經重建像素導出調色板條目。舉例而言,一位元旗標設定為等於1可意謂視訊編碼器20明確地發送調色板條目,及一位元旗標設定為等於0可意謂自先前經重建像素導出調色板條目。對於自先前經重建像素導出之調色板條目中之每一者,視訊編碼器20傳輸關於對應於調色板條目的當前區塊或相鄰區塊中之經重建像素之像素位置之另一指示。在一些情況下,經重建像素位置指示可相對於當前區塊之左上側位置位移向量。在其他情況下,可將經重建像素位置指示可為可用於指定用於當前區塊之調色板條目的經重建像素之清單中之索引。舉例而言,此清單可包括可用於HEVC中之普通框內預測的全部參考像素。 在圖2之實例中,第二調色板192包括分別具有條目索引值1、條目索引值2、條目索引值3及條目索引值4的四個條目208至214。條目208至214分別將索引值與包括像素值A、像素值B、像素值C及像素值D之像素值相關。根據本發明之一或多個態樣,視訊編碼器20及/或視訊解碼器30可使用上述技術中之任一者以出於調色板預測之目的定位第一區塊180且將第一調色板184之條目1至3複製至第二調色板192之條目1至3以供對第二區塊188進行寫碼。以此方式,視訊編碼器20及/或視訊解碼器30可基於第一調色板184判定第二調色板192。此外,視訊編碼器20及/或視訊解碼器30可寫碼用於條目4之資料以待與第二調色板192包括在一起。此類資訊可包括並不自預測性調色板預測的調色板條目之數目及對應於彼等調色板條目之像素值。 在一些實例中,根據本發明之態樣,一或多個語法元素可指示是否完全自預測性調色板(圖2中經展示為第一調色板184,但該調色板可由來自一或多個區塊之條目構成)來預測調色板(諸如第二調色板192)或是否預測第二調色板192之特定條目。舉例而言,初始語法元素可指示是否預測全部的條目。若初始語法元素指示並非預測所有條目(例如,具有0值之旗標),則一或多個額外語法元素可指示第二調色板192之哪些項目係自預測性調色板預測。 根據本發明之一些態樣,可自正經寫碼的資料之一或多個特性推斷與調色板預測相關聯的某些資訊。亦即,視訊編碼器20及視訊解碼器30可基於被寫碼資料之一或多個特性執行調色板預測,而非視訊編碼器20編碼語法元素(及視訊解碼器30解碼此等語法元素)。 在一實例中,出於說明的目的,可自(作為實例)經寫碼之區塊之大小、圖框類型、色彩空間、色彩分量、圖框大小、圖框速率、可調式視訊寫碼中之層id及/或多視圖寫碼中之視圖id中之一或多者推斷上文所描述之pred_palette_flag之值。亦即,相對於作為一實例之區塊之大小,視訊編碼器20及/或視訊解碼器30可判定針對超出或小於預定大小之任何區塊,上文所描述之pred_palette_flag等於一。在此實例中,不必在經編碼位元串流中傳信pred_palette_flag。 基於經寫碼之資料之一或多個特性,儘管上文相對於pred_palette_flag所描述,但視訊編碼器20及/或視訊解碼器30亦可或替代地推斷與調色板預測相關聯之其他資訊(諸如調色板用於預測之候選者區塊)或用於建構調色板預測候選者之規則。 根據本發明之其他態樣,視訊編碼器20及/或視訊解碼器30可建構運作中調色板。舉例而言,當首先寫碼第二區塊188時,無條目存在於第二調色板192中。在視訊編碼器20及視訊解碼器30寫碼用於第二區塊188之像素的新值時,各新值包括於第二調色板192中。亦即,(例如)視訊編碼器20在產生像素值並針對區塊188中之位置傳信時將像素值添加至第二調色板192。在視訊編碼器20在區塊中相對較晚地編碼像素時,視訊編碼器20可使用索引值而非傳信像素值來編碼具有與已包括於調色板中之彼等相同的值之像素。同樣,當視訊解碼器30接收用於第二區塊188中之位置的新像素值(例如,藉由視訊編碼器20傳信)時,視訊解碼器30包括第二調色板192中之像素值。當在第二區塊188中相對較晚解碼之像素位置具有已添加至第二調色板192之像素值時,視訊解碼器30可接收諸如索引值之資訊,該資訊識別用於重建構第二區塊188之像素值的第二調色板192中之對應的像素值。 在一些實例中,如在下文更詳細地描述,視訊編碼器20及/或視訊解碼器30可維持處於或低於最大調色板大小的第一調色板184及第二調色板192。根據本發明之態樣,若達到最大調色板大小(例如,在動態地運作中建構第二調色板192時),則視訊編碼器20及/或視訊解碼器30執行相同程序以移除第二調色板192之條目。用於移除調色板條目之一個實例程序為先進先出(FIFO)技術,其中視訊編碼器20及視訊解碼器30移除調色板之最舊條目。在另一實例中,視訊編碼器20及視訊解碼器30可自調色板移除最不頻繁地使用之調色板條目。在另一實例中,視訊編碼器20及視訊解碼器30可衡量FIFO及使用頻率程序兩者判定移除哪一條目。亦即,可基於條目之新舊及其使用頻率移除條目。 根據一些態樣,若自調色板移除條目(像素值)並在經寫碼之區塊中之後續位置處再次產生像素值,則視訊編碼器20可編碼像素值而非包括調色板中之條目及編碼索引。另外或替代地,在經移除之後,視訊編碼器20可將調色板條目重複鍵入至調色板中,例如在視訊編碼器20及視訊解碼器30掃描區塊中之位置時。 在一些實例中,用於導出運作中調色板之該等技術可與用於判定調色板之一或多個其他技術組合。特定而言,作為一實例,視訊編碼器20及視訊解碼器30可首先寫碼第二調色板192 (例如,使用調色板預測以自第一調色板184預測第二調色板192)且可在寫碼第二區塊188之像素時更新第二調色板192。舉例而言,在傳輸初始調色板後,視訊編碼器20可將值添加至初始調色板或在掃描區塊中之額外位置之像素值時改變初始調色板中之值。同樣地,在接收初始調色板後,視訊解碼器30可將值添加(亦即,包括)至初始調色板或在掃描區塊中之額外位置之像素值時改變初始調色板中之值。 在一些實例中,視訊編碼器20可傳信當前區塊是否使用整個調色板之傳輸,或運作中調色板產生,或初始調色板之傳輸與初始調色板藉由運作中導出之更新的組合。在一些實例中,初始調色板可為呈最大調色板大小之完整調色板,在此情況下可改變初始調色板中之值。在其他實例中,初始調色板可小於最大調色板大小,其中案例視訊編碼器20及視訊解碼器30可將值添加至初始調色板之值及/或改變初始調色板之值。 根據本發明之一或多個態樣,(例如)根據包括於調色板中之像素值之數目可固定調色板之大小(諸如第一調色板184及第二調色板192)或可使用一或多個語法元素在經編碼位元串流中傳信。舉例而言,根據一些態樣,視訊編碼器20及視訊解碼器30可使用一元程式碼或經截斷一元程式碼(例如,在調色板大小之最大值限制處截斷之程式碼)以寫碼調色板大小。根據其他態樣,視訊編碼器20及視訊解碼器30可使用指數-哥倫布(Exponential-Golomb)或萊斯-哥倫布(Rice-Golomb)程式碼來寫碼調色板大小。 根據另外其他態樣,視訊編碼器20及視訊解碼器30可在調色板之各條目之後寫碼指示調色板之大小的資料。對於作為一實例之第二調色板192,視訊編碼器20可編碼在條目208至214中之每一者之後的終止旗標。在此實例中,等於一之終止旗標可指定當前正經寫碼之條目為第二調色板192之最終條目,而等於零之終止旗標可指示在第二調色板192中存在額外條目。因此,視訊編碼器20可編碼在條目208至212中之每一者之後具有值為零的終止旗標及在條目214之後具有值為一的終止旗標。在一些情況下,在經建構調色板達到最大調色板大小限制後,終止旗標可不包括於位元串流中。儘管以上實例揭示用於明確地傳信調色板之大小之技術,但在其他實例中,基於所謂的旁側資訊(例如,特徵資訊,諸如經寫碼區塊之大小、圖框類型、色彩空間、色彩分量、圖框大小、圖框速率、可調式視訊寫碼中之層id或多視圖寫碼中之視圖id,如上文所提及),亦可條件性地傳輸或推斷調色板之大小。 本發明之技術包括無損地寫碼資料,或替代地,伴以一些損耗地寫碼資料(有損寫碼)。舉例而言,對於有損寫碼,視訊編碼器20可對區塊之像素進行寫碼而不精確地將調色板之像素值精確地匹配至區塊中之實際像素值。當將本發明之技術應用至有損寫碼時,一些限制可應用至調色板。舉例而言,視訊編碼器20及視訊解碼器30可量化調色板,諸如第一調色板184及第二調色板192。亦即,當該等條目之像素值在彼此之預定範圍內時,視訊編碼器20及視訊解碼器30可合併或組合(亦即,量化)調色板之條目。換言之,若已存在在新調色板值之錯誤界限內之調色板值,則不將新調色板值添加至調色板中。在另一實例中,可將區塊中之複數個不同像素值映射至單一調色板條目,或等效地,映射至單一調色板像素值。 視訊解碼器30可以相同方式對像素值進行解碼,而無論特定調色板為無損的抑或有損的。作為一個實例,視訊解碼器30可針對經寫碼區塊中之給定像素位置使用藉由視訊編碼器20傳輸之索引值以針對像素位置選擇調色板中之條目,而無論調色板為無損的抑或有損的。在此實例中,將調色板條目之像素值用作經寫碼區塊中之像素值,而無論其是否精確地匹配原始像素值。 在有損寫碼之實例中,出於說明的目的,視訊編碼器20可判定被稱為δ值之誤差界限。候選者像素值條目Plt_cand可對應於在待寫碼區塊中之位置處之像素值,諸如CU或PU。在建構調色板期間,視訊編碼器20判定候選者像素值條目Plt_cand與調色板中之所有現有像素值條目之間的絕對差。若候選者像素值條目Plt_cand與調色板中之現有像素值條目之間的所有絕對差大於δ值,則視訊編碼器20可將像素值候選者作為條目添加至調色板。若像素值條目Plt_cand與調色板中之至少一個現有像素值條目之間的絕對差等於或小於δ值,則視訊編碼器20可不將候選者像素值條目Plt_cand添加至調色板。因此,當對像素值條目Plt_cand進行寫碼時,視訊編碼器20可選擇具有最接近像素值條目Plt_cand之像素值的條目,由此將一些損耗導入至系統中。當調色板由多個分量(例如,三個色彩分量)構成時,個別分量值之絕對差之總和可用於與δ值進行比較。替代地或另外,用於各分量值之絕對差可與第二δ值進行比較。 在一些實例中,可使用類似δ比較程序添加上文提及之調色板中之現有像素值條目。在其他實例中,可使用其他程序添加調色板中之現有像素值。舉例而言,可將一或多個初始像素值條目添加至調色板(不經δ比較)中以開始建構調色板之δ比較程序。可藉由視訊編碼器20及/或視訊解碼器30實施上文所描述的過程以產生明度及/或色度調色板。 亦可在像素寫碼期間藉由視訊編碼器20及視訊解碼器30使用上文相對於調色板建構所描述的該等技術。舉例而言,當編碼像素值時,視訊編碼器20可將像素之值與調色板中之條目之像素值進行比較。若像素之值與調色板中之條目中之一者之間的絕對像素值差等於或小於δ值,則視訊編碼器20可編碼作為調色板之條目的像素值。亦即,在此實例中,當像素值產生相對於調色板條目足夠小的(例如,在預定範圍內)絕對差時,視訊編碼器20使用調色板之條目中之一者來編碼像素值。 在一些實例中,視訊編碼器20可選擇產生最小絕對像素值差(與經寫碼之像素值相比)之調色板條目以對像素值進行編碼。作為一實例,視訊編碼器20可編碼索引以指示將用於像素值之調色板條目,例如將用於在視訊解碼器30處重建構經寫碼像素值的調色板像素值條目。若像素之值與調色板中之所有條目之間的絕對像素值差大於δ,則編碼器可不使用該等調色板條目中之一者來編碼像素值,且替代地可將像素之像素值(有可能在量化之後)傳輸至視訊解碼器30 (且有可能將作為條目之像素值添加至調色板)。 在另一實例中,視訊編碼器20可選擇調色板之條目以供對像素值進行編碼。視訊編碼器20可使用所選擇之條目作為預測像素值。亦即,視訊編碼器20可判定表示實際像素值與所選擇之條目之間的差之殘餘值並編碼該殘餘。視訊編碼器20可產生針對藉由調色板之條目預測之區塊中之像素的殘餘值,且可產生包括針對像素之區塊的各別殘餘像素值之殘餘區塊。視訊編碼器20可隨後將變換及量化(如上文相對於圖2所提及)應用至殘餘區塊。以此方式,視訊編碼器20可產生經量化殘餘變換係數。在另一實例中,殘餘可經無損地或不經變換寫碼(不經變換及量化)。 視訊解碼器30可反變換及反量化變換係數以再生殘餘區塊。視訊解碼器30可接著使用預測性調色板條目值重建構像素值及像素值之殘餘值。舉例而言,視訊解碼器30可將殘餘值與調色板條目值組合以重建構經寫碼像素值。 在一些實例中,δ值對於不同區塊大小、圖像大小、色彩空間或不同色彩分量可為不同的。可基於各種寫碼條件預定或判定δ值。舉例而言,視訊編碼器20可使用高級語法(諸如PPS、SPS、VPS及/或片段標頭中之語法)將δ值傳信至視訊解碼器30。在其他實例中,視訊編碼器20及視訊解碼器30可經預組態以使用相同的、固定的δ值。在另外其他實例中,視訊編碼器20及/或視訊解碼器30可基於旁側資訊(例如,諸如區塊大小、色彩空間、色彩分量或類似者,如上文所提及)適應性地導出δ值。 在一些實例中,有損寫碼調色板模式可經包括為HEVC寫碼模式。舉例而言,寫碼模式可包括框內預測模式、框間預測模式、無損寫碼調色板模式及有損寫碼調色板模式。在HEVC寫碼中,如上文相對於圖2及圖3所提及,量化參數(QP)用於控制所允許之失真。可依據QP來計算或另外判定基於調色板之寫碼之δ值。舉例而言,上文所描述之δ值可為1<<(QP/6)或1<<((QP+d)/6),其中d為常量,且「<<」表示按位元左移運算符。 使用描述於本發明中之有損寫碼技術產生調色板可藉由視訊編碼器20、視訊解碼器30或其兩者來執行。舉例而言,視訊編碼器20可使用上文所描述的δ比較技術產生用於區塊之調色板中之條目且傳信用於建構調色板以供視訊解碼器30使用之資訊。亦即,視訊編碼器20可經組態以傳信指示用於區塊之調色板中之條目的像素值之資訊,並接著使用與此類調色板條目相關聯之像素值編碼像素值。視訊解碼器30可使用此類資訊建構調色板,且可接著使用該等條目以對經寫碼區塊之像素值進行解碼。在一些實例中,視訊編碼器20可傳信針對經寫碼區塊之一或多個像素位置識別調色板條目之索引值,且視訊解碼器30可使用索引值以擷取來自調色板之相關像素值條目。 在其他實例中,視訊解碼器30可經組態以藉由應用上文所描述的δ比較技術來建構調色板。舉例而言,視訊解碼器30可針對經寫碼區塊內之位置接收像素值且可判定在該等像素值與調色板中之現有像素值條目之間的絕對差是否大於δ值。若如此,視訊解碼器30可添加像素值作為調色板中之條目(例如)以供使用藉由視訊編碼器20傳信之對應的索引值針對區塊之其他像素位置在像素值之基於調色板之解碼中後續使用。在此情況下,視訊編碼器20及視訊解碼器30應用相同或類似程序以產生調色板。若沒有,則視訊解碼器30可不將像素值添加至調色板。 在出於說明之目的之實例中,視訊解碼器30可針對區塊中之各種像素位置接收索引值或像素值。若針對像素位置接收索引值,(例如)則視訊解碼器30可使用索引值以識別調色板中之條目,並針對像素位置使用調色板條目之像素值。若針對像素位置接收像素值,則視訊解碼器30可針對像素位置使用所接收之像素值,且亦可應用δ比較以判定是否應將像素值添加至調色板中並接著稍後用於調色板寫碼。 在編碼器方面,若區塊中之位置之像素值在像素值與調色板中之現有像素值條目之間產生小於或等於δ值之絕對差,則視訊編碼器20可傳送索引值以識別調色板中之條目以供用於針對位置重建構彼像素值。若區塊中之位置之像素值在像素值與調色板中之現有像素值條目之間產生之絕對差全部大於δ值,則視訊編碼器20可傳送像素值且可添加像素值作為調色板中之新條目。為建構調色板,視訊解碼器30可憑藉固定或已知δ值使用藉由編碼器傳信之δ值,或推斷或導出δ值,(例如)如上文所描述。 如上文所提及,當寫碼視訊資料時,編碼器20及/或視訊解碼器30可使用包括框內預測模式、框間預測模式、無損寫碼調色板模式及有損寫碼調色板模式的寫碼模式。根據本發明之一些態樣,視訊編碼器20及視訊解碼器30可寫碼指示是否啟用基於調色板之寫碼的一或多個語法元素。舉例而言,在各區塊處,視訊編碼器20可編碼語法元素,諸如旗標PLT_Mode_flag。PLT_Mode_flag或其他語法元素可指示基於調色板之寫碼模式是否用於給定區塊(例如,CU或PU)。舉例而言,此旗標可在區塊層級(例如,CU層級)處之經編碼視訊位元串流中經傳信,並接著在解碼經編碼視訊位元串流後藉由視訊解碼器30接收。 在此實例中,此PLT_Mode_flag之值等於1可指定使用基於調色板之寫碼模式來編碼當前區塊。在此情況下,視訊解碼器30可應用基於調色板之寫碼模式以解碼區塊。在一些實例中,語法元素可指示用於區塊(例如,有損或無損)之複數個不同基於調色板之寫碼模式中之一者。此PLT_Mode_flag之值等於0可指定使用除調色板模式以外之模式來編碼當前區塊。舉例而言,可使用多種框間預測性、框內預測性或其他寫碼模式中之任一者。當PLT_Mode_flag之值為0時,視訊編碼器20亦可編碼額外資料以指示用於編碼各別區塊之特定模式(例如,HEVC寫碼模式)。出於實例之目的描述PLT_Mode_flag之用途。然而,在其他實例中,諸如多位元碼之其他語法元素可用以指示基於調色板之寫碼模式是否將用於區塊(例如,CU或PU)或指示複數個模式中之哪些模式將用於寫碼。 在一些實例中,可在比區塊層級更高的層級處傳輸上文所描述之旗標或其他語法元素。舉例而言,視訊編碼器20可以片級傳信此種旗標。在此情況下,值等於1指示使用調色板模式編碼片段中之所有區塊。在此實例中,不在區塊層級處傳信(例如)用於調色板模式或其他模式之額外模式資訊。在另一實例中,視訊編碼器20可在PPS、SPS或VPS中傳信此種旗標。 根據本發明之一些態樣,視訊編碼器20及/或視訊解碼器30可在指定是否啟用或禁用用於特定片段、圖像、序列或類似者之調色板模式的片段、PPS、SPS或VPS層級中之一者處寫碼一或多個語法元素(例如,諸如上文所描述之旗標),而PLT_Mode_flag指示是否針對各區塊使用基於調色板之寫碼模式。在此情況下,若在片段、PPS、SPS或VPS層級處傳送之旗標或其他語法元素指示禁用調色板寫碼模式,則在一些實例中,不需要針對各區塊傳信PLT_Mode_flag。替代地,若在片段、PPS、SPS或VPS層級傳送之旗標或其他語法元素指示啟用調色板寫碼模式,則可進一步傳信PLT_Mode_flag以指示是否針對各區塊使用基於調色板之寫碼模式。 在一些實例中,可在位元串流中條件性地經傳信上文所描述之語法元素。舉例而言,視訊編碼器20及視訊解碼器30可基於區塊之大小、圖框類型、色彩空間、色彩分量、圖框大小、圖框速率、可調式視訊寫碼中之層id及/或多視圖寫碼中之視圖id僅分別地編碼或解碼語法元素。 儘管上文所描述的實例關於(例如)具有位元串流中之一或多個語法元素之顯式傳信,在其他實例中,視訊編碼器20及/或視訊解碼器30可隱含地判定調色板寫碼模式是否有效及/或用於寫碼特定區塊。視訊編碼器20及視訊解碼器30可基於(例如)區塊之大小、圖框類型、色彩空間、色彩分量、圖框大小、圖框速率、可調式視訊寫碼中之層id及/或多視圖寫碼中之視圖id判定是否針對區塊使用基於調色板之寫碼。 圖3為說明根據本發明之技術判定用於視訊區塊之調色板的索引之實例的概念圖。舉例而言,圖3包括使關聯於索引值之像素的各別位置與調色板244之條目相關的索引值(值1、2及3)之映射240。可以與上文相對於圖2所描述之第一調色板184及第二調色板192相似的方式來判定調色板244。 再次,出於解釋之目的,在視訊編碼器20 (圖1及圖4)及視訊解碼器30 (圖1及圖5)的上下文中且相對於HEVC視訊寫碼標準描述圖3之技術。然而,應理解不以此方式限制本發明之技術,且可藉由其他視訊寫碼程序及/或標準中之其他視訊寫碼處理器及/或器件應用本發明之技術。 儘管映射240在圖3之實例中說明為包括每一像素位置之索引值,但應理解在其他實例中,並非所有像素位置可與指示指定區塊之像素值的調色板244之條目的索引值相關聯。亦即,如上文所提及,在一些實例中,若像素值並不包括於調色板244中,則視訊編碼器20可編碼(且視訊解碼器30可自經編碼位元串流獲得)用於映射240中之位置的實際像素值(或其經量化版本)之指示。 在一些實例中,視訊編碼器20及視訊解碼器30可經組態以寫碼指示哪些像素位置與索引值相關聯的額外映射。舉例而言,假定映射中之(i,j)條目對應於區塊之(i,j)位置。視訊編碼器20可針對指示條目是否具有相關聯索引值之映射的各條目(亦即,各像素位置)編碼一或多個語法元素。舉例而言,視訊編碼器20可編碼具有值為一之旗標以指示在區塊中之(i,j)位置處之像素值為調色板244中之值中之一者。在此實例中,視訊編碼器20亦可編碼調色板索引(在圖3之實例中經展示為值1至3)以指示調色板中之像素值且以允許視訊解碼器重建構像素值。在調色板244包括單一條目及相關聯像素值之情況下,視訊編碼器20可跳過索引值之傳信。視訊編碼器20可編碼具有零值之旗標以指示在區塊中之(i,j)位置處的像素值不為調色板244中之值中的一者。在此實例中,視訊編碼器20亦可編碼像素值之指示以供視訊解碼器30用於重建構像素值。在一些情況下,可以有損方式寫碼像素值。 區塊之一個位置中的像素之值可提供區塊之其他位置中的一或多個其他像素之值的指示。舉例而言,可存在區塊之相鄰像素位置將具有相同像素值或可映射至相同索引值(在有損寫碼之情況下,其中超過一個像素值可映射至單個索引值)的相對高機率。 因此,根據本發明之態樣,視訊編碼器20可編碼指示按給定掃描次序具有相同像素值或索引值之多個連續像素值或索引值的一或多個語法元素。如上文所提及,相同值像素或索引值之字串可在本文中稱為行程。在出於說明之目的之實例中,若按給定掃描次序之兩個連續像素或索引具有不同值,則行程等於零。若按給定掃描次序之兩個連續像素或索引具有相同值但按掃描次序之第三像素或索引具有不同值,則行程等於一。對於具有相同值之三個連續索引或像素,行程為二,等等。視訊解碼器30可自經編碼位元串流獲得指示行程的語法元素,並可使用資料以判定具有相同像素或索引值的連續位置之數目。 在一些實例中,在具有用於當前區塊之調色板中之像素值的當前區塊中之所有像素位置經調色板索引編碼,接著為連續像素位置處之像素值之「行程」。在調色板中僅存在一個條目的情況下,可針對當前區塊跳過調色板索引或「行程」之傳輸。在當前區塊中之像素位置中之一者處之像素值不與調色板中之像素值精確匹配的情況下,視訊編碼器20可選擇具有最接近像素值之調色板條目中之一者且可計算包括於調色板中之原始像素值與預測像素值之間的預測誤差或殘餘值。視訊編碼器20將像素位置之殘餘值編碼並傳輸至視訊解碼器。視訊解碼器30可接著基於對應的所接收之調色板索引導出像素位置處之像素值,且將所導出之像素值及殘餘值接著用於預測當前區塊中之像素位置處之原始像素值。在一個實例中,使用藉由HEVC草案10指定之HEVC方法編碼殘餘值,諸如應用RQT以變換殘餘值、量化變換係數並熵編碼經量化變換係數。在一些情況下,以上實例可被稱為有損寫碼。 在出於說明之目的之實例中,考慮映射240的排248。假定水平、自左向右的掃描方向,排248包括五個索引值「2」及三個索引值「3」。根據本發明之態樣,視訊編碼器20可在掃描方向上針對排248之第一位置編碼索引值2。此外,視訊編碼器20可編碼指示在掃描方向上具有與經傳信索引值相同索引值的連續值之行程的一或多個語法元素。在排248之實例中,視訊編碼器20可傳信行程4,由此指示在掃描方向上之以下四種位置之索引值共用與經傳信索引值相同的索引值。視訊編碼器20可執行用於排248中之下一不同索引值之相同程序。亦即,視訊編碼器20可編碼索引值3及指示行程二的一或多個語法元素。視訊解碼器30可獲得指示索引值及在掃描方向上具有相同索引值(行程)之連續索引之數目的語法元素。 如上文所提及,以特定順序掃描映射之索引。根據本發明之態樣,掃描方向可為垂直的、水平的或呈成對角線的(例如,在區塊中呈45度或135度對角地)。在一些實例中,視訊編碼器20可編碼各區塊之指示用於掃描該區塊之索引之掃描方向的一或多個語法元素。另外地或可替代地,可基於所謂的旁側資訊(諸如,區塊大小、色彩空間及/或色彩分量)傳信或推斷掃描方向。視訊編碼器20可指定用於區塊之每一色彩分量的掃描。替代地,掃描可應用於區塊之全部色彩分量。 舉例而言,相對於基於掃描之行,考慮映射240之行252。假定垂直、自頂部向底部的掃描方向,行252包括一個索引值「1」、五個索引值「2」及兩個索引值「3」。根據本發明之態樣,視訊編碼器20可在掃描方向上(在行252之相對頂部處)針對行252之第一位置編碼索引值1。此外,視訊編碼器20可傳信行程零,由此指示在掃描方向上之以下位置之索引值為不同的。視訊編碼器20可接著編碼針對掃描方向上之下一位置的索引值2及指示行程為四的一或多個語法元素,亦即在掃描方向上之以下四種位置之索引值共用與經傳信索引值相同的索引值。視訊編碼器20可接著編碼針對掃描方向上之下一不同索引值的索引值3及指示行程為一的一或多個語法元素。視訊解碼器30可獲得指示索引值及在掃描方向上具有相同索引值(行程)之連續索引之數目的語法元素。 根據本發明之態樣,視訊編碼器20及視訊解碼器30可另外地或可替代地執行用於映射240之一或多個條目之排複製。在一些實例中,排複製可取決於掃描方向。舉例而言,視訊編碼器20可指示用於映射中之特定條目之像素或索引值等於以上特定條目之排(針對水平掃描)或特定條目左側之行(針對垂直掃描)中之像素或索引值。視訊編碼器20亦可指示(作為行程)掃描次序中之等於以上排或特定條目左側之行中之條目的像素或索引值之數目。在此實例中,視訊編碼器20及/或視訊解碼器30可自所指定之相鄰排及自用於當前被寫碼的映射之排的指定數目個條目複製像素或索引值。 在出於說明之目的之實例中,考慮映射240的行256及260。假定垂直、自頂部向底部的掃描方向,行256包括三個索引值「1」、三個索引值「2」及兩個索引值「3」。行260包括在掃描方向上具有相同次序之相同索引值。根據本發明之態樣,視訊編碼器20可編碼用於行260之指示完整行260係自行256複製之一或多個語法元素。一或多個語法元素可在映射240之相對頂部處與行260之第一條目相關聯。視訊解碼器30可獲得指示排複製之語法元素並在解碼行260時針對行260複製行256之索引值。 根據本發明之態樣,用於寫碼所謂的條目之行程的技術可結合用於上文所描述的排複製之技術使用。舉例而言,視訊編碼器20可編碼指示映射中之條目之值是否自調色板獲得或映射中之條目之值是否自映射240中之先前經寫碼排獲得的一或多個語法元素(例如,旗標)。視訊編碼器20亦可編碼指示調色板之索引值或排(列或行)中的條目之位置的一或多個語法元素。視訊編碼器20亦可編碼指示共用相同值之若干連續條目的一或多個語法元素。視訊解碼器30可自經編碼位元串流獲得此資訊並使用該資訊以重建構用於區塊之映射及像素值。 在出於說明的目的之實例中,考慮映射240的列264及268。假定水平、自左向右的掃描方向,列264包括五個索引值「1」及三個索引值「3」。列268包括三個索引值「1」、兩個索引值「2」及三個索引值「3」。在此實例中,視訊編碼器20可在編碼用於列268之資料時識別列264之特定條目,接著為行程。舉例而言,視訊編碼器20可編碼指示列268之第一位置(列268之最左邊位置)與列264的第一位置相同的一或多個語法元素。視訊編碼器20亦可編碼指示在列268中之掃描方向上之兩個連續條目的下一行程與列264的第一位置相同的一或多個語法元素。 在一些實例中,視訊編碼器20亦可判定是否相對於另一列(或行)中之位置寫碼當前像素或索引值或使用行程語法元素寫碼當前像素或索引值。舉例而言,在對指示列264之第一位置與兩個條目之行程的一或多個語法元素進行編碼(上文提及)之後,視訊編碼器20可為排268中之第四及第五位置(自左至右)編碼針對第四位置指示值2的一或多個語法元素及指示行程1之一或多個語法元素。因此,視訊編碼器20在不參照另一排(或行)的情況下編碼此等兩個位置。視訊編碼器20可接著相對於上部列264編碼在列268中具有索引值3之第一位置(例如,指示自上部列264之複製及掃描次序中之具有相同索引值的連續位置的行程)。因此,根據本發明之態樣,視訊編碼器20可在相對於排(或行)之其他值寫碼排(或行)之像素或索引值之間進行選擇,例如使用行程,相對於另一排(或行)之值寫碼排(或行)之像素或索引值,或其組合。在一些實例中,視訊編碼器20可執行速率/失真最佳化以做出選擇。 視訊解碼器30可接收上文所描述之語法元素,且可重建構列268。舉例而言,視訊解碼器30可獲得指示相鄰列中之特定位置的資料,其中自該相鄰列複製當前正經寫碼之映射240之位置的相關聯索引值。視訊解碼器30亦可獲得指示掃描次序中之具有相同索引值的連續位置之數目的資料。 在一些情況下,自其中複製條目之排可直接地鄰近當前正經寫碼之排之條目(如在圖3之實例所說明)。然而,在其他實例中,可藉由視訊編碼器20及/或視訊解碼器30緩衝若干排,以使得映射之若干排中之任一者可用作當前正經寫碼的映射之排的預測條目。因此,在一些實例中,用於條目之像素值可經傳信以等於以上緊接著列(或當前列左側之行)或以上當前列之兩個或多於兩個列(或當前列左側之行)中之條目之像素值。 在出於說明之目的之實例中,視訊編碼器20及/或視訊解碼器30可經組態以在寫碼條目之當前列之前儲存條目之先前n
列。在此實例中,視訊編碼器20可指示具有經截斷一元程式碼或其他程式碼的位元串流中之預測列(自其中複製之條目之列)。在另一實例中,視訊編碼器20可編碼(及視訊解碼器30可解碼)在當前排與用作參考以供寫碼當前排的映射240之預測排之間的位移值。亦即,視訊編碼器20可編碼索引值經複製之特定排(或行)之一指示。在一些實例中,位移值可為位移向量。亦即,使c[0]、c[1]…指代映射240之當前排之索引及使u[0]、u[1]、u[2]…指代映射240之預測排之索引,諸如上部相鄰排。在此實例中,假定位移向量為d,則用於c[i]之索引值可自u[i+d]或u[i-d]預測以避免d獲取負值。可使用一元、經截斷一元、指數哥倫布或哥倫布-萊斯程式碼寫碼d之值。 作為另一實例,視訊編碼器20可傳信指示相鄰排及相鄰排之條目之數目或部分的指令,諸如「自上排左半複製」或「自上排右半複製」,以複製至當前正經寫碼之映射之排。作為額外實例,在寫碼之前可重新定序索引值之映射。舉例而言,索引值之映射可藉由90度、180度或270度旋轉或經翻轉倒置或左側右移以改良寫碼效率。 在其他實例中,視訊編碼器20可不將映射240之相同值之索引值的行程傳輸至視訊解碼器30。在此情況下,視訊編碼器20及/或視訊解碼器30可隱含地導出行程之值。在一個實例中,行程之值可為恆定值,例如4、8、16或類似者。在另一實例中,行程之值可取決於用於正經寫碼之當前視訊資料區塊的旁側資訊,諸如區塊大小、量化參數(QP)、圖框類型、色彩分量、色彩格式(例如,4:4:4、4:2:2或4:2:0)、色彩空間(例如,YUV或RGB)、掃描方向及/或用於當前區塊之其他類型之特徵資訊。在行程之值取決於區塊大小之情況下,行程可等於當前區塊之寬度、當前區塊之高度、當前區塊之半寬(或半高)、當前區塊之一部分寬度及/或高度或當前區塊之多個寬度及/或高度。在另一實例中,視訊編碼器20可使用高級語法(諸如,VPS、SPS、PPS及/或片段標頭中之語法)將行程之值傳信至視訊解碼器30。 另外或替代地,視訊編碼器20可甚至不需要將映射240傳輸至視訊解碼器30。替代地,視訊編碼器20及/或視訊解碼器30可隱含地導出包括於映射240中之索引值之各行程之開始位置或方位。在一個實例中,藉由視訊編碼器20及/或視訊解碼器30應用之視訊寫碼標準可判定可僅在某些位置處開始行程。舉例而言,可僅在每一列之起點或在正經寫碼之當前區塊的每一N列之起點處開始行程。開始位置對於不同掃描方向可不同。舉例而言,若使用垂直掃描,則可僅在行之起點或當前區塊之每一N列之起點處開始行程。 在另一實例中,可根據當前區塊之旁側資訊導出開始位置,該等旁側資訊諸如區塊大小、QP、圖框類型、色彩分量、色彩格式(例如,4:4:4、4:2:2或4:2:0)、色彩空間(例如,YUV或RGB)、掃描方向及/或用於當前區塊之其他類型之特徵資訊。在行程之開始位置取決於區塊大小之情況下,開始位置可為每一列及/或每一行之中間點或每一列及/或行之部分(例如,1/n、2/n、…(n-1)/n)。在另一實例中,視訊編碼器20可使用高級語法(諸如,PPS、SPS、VPS及/或片段標頭中之語法)將開始位置傳信至視訊解碼器30。 在一些實例中,可將上文各自所描述的隱含的開始位置導出與隱含的行程導出組合。舉例而言,視訊編碼器20及/或視訊解碼器30可判定映射之相同值之索引值之行程等於兩個相鄰開始位置之間的距離。在開始位置為當前區塊之每一列之起點(亦即,第一位置)之情況下,則視訊編碼器20及/或視訊解碼器30可判定行程之長度等於當前區塊之完整列之長度。 用於HEVC SCC擴展之各種提議包括調色板模式,該調色板模式使用調色板預測以導出用於當前區塊之調色板。視訊編碼器20及視訊解碼器30可在判定用於當前正經寫碼之區塊的調色板表之前更新調色板預測。對於先前使用之調色板預測為不可用的第一區塊,視訊編碼器20及視訊解碼器30可藉由使用兩個旗標(pps_palette_predictor_initializer_present_flag及sps_palette_predictor_initializer_present_flag)初始化PPS層級處或SPS層級處之調色板預測,從而自分別在PPS及SPS中傳信之調色板預測條目啟用此初始化。PPS及SPS調色板預測之大小分別由語法元素pps_num_palette_predictor_initializer_minus1及sps_num_palette_predictor_initializer_minus1定義。在一些所提議之傳信機制下,在PPS或SPS中傳信之調色板預測之最小大小為1。 可初始化調色板預測之一個實例次序描述於WD4章節9.3.2.3中。 若pps_palette_predictor_initializer_present_flag等於1,則基於PPS預測初始化調色板預測, 否則若(pps_palette_predictor_initializer_present_flag等於0),若sps_palette_predictor_initializer_present_flag等於1,則自SPS預測初始化調色板預測, 否則(當兩個旗標皆等於0時),將調色板預測大小設定成0。 如自上文所描述的初始化規則可所見,若sps_palette_predictor_initializer_present_flag經啟用,則沒有禁用調色板預測之方式,該方式基於每一圖像將調色板預測大小設定為0。若在SPS中傳信之調色板預測不與在某一圖像中預測調色板條目有關且在PPS中傳送其可消耗大量速率,則將調色板預測大小設定為0之能力可為合乎需要的。另一潛在問題為當存在PPS及SPS調色板預測器兩者時,當前傳信可為冗餘的,因為PPS及SPS調色板預測器可具有許多常見調色板條目。 本發明引入與調色板預測初始化控制相關之各種技術。為潛在地解決以上所介紹之第一問題,本發明描述用於添加可用於控制調色板預測初始化之新語法元素palette_predictor_initialization_flag的技術。當此旗標之值等於1時,使用調色板預測初始化。否則,將調色板預測大小設定為等於0。可在任何參數集(諸如VPS、SPS、PPS、片段標頭或其擴展或其他處)中傳信此旗標。在一個實例中,可在PPS中傳信旗標。使用此旗標之潛在優點為在傳信SPS調色板預測初始化器時提供禁用調色板預測(將調色板預測大小設定為0)之能力。 由於此處可有兩個調色板初始化器(例如,一個在PPS中及另一個在SPS中),且當palette_predictor_initialization_flag僅在一個參數集中傳信時,可引入位元串流符合性規則以避免參數集解析相依性,且在將palette_predictor_initialization_flag設定為等於1之情況下,則在任何參數集中不傳信調色板預測器。位元串流符合性限制可表述如下:一致性位元串流在palette_predictor_initialization_flag等於1時將含有pps_palette_predictor_initializer_present_flag及sps_palette_predictor_initializer_present_flag等於1中之至少一者。此規則並不意謂將受限於現有及經推薦的之語法元素,此係因為在當前語法元素可經修改或由一些其他語法元素取代但起相同作用時其亦可適用於解決類似問題。 在替代解決方案中,可允許視訊編碼器20在PPS中傳信等於0之調色板預測初始化器。在此情況下,可自語法元素pps_num_palette_predictor_initializer_minus1移除字尾「minus1」。此外,可改變語義以反映調色板預測初始化器大小可為零。因此,可改變現有初始化規則以允許在PPS中具有零調色板預測。在此情況下,設定PPS中之調色板預測大小等於0可用於關掉調色板預測初始化,即使在(例如)藉由在pps_num_palette_predictor_initializer等於0的情況下傳信pps_palette_predictor_initializer_present_flag等於1而傳信SPS調色板預測初始化器時。亦即,若視訊解碼器30在PPS中接收指示包括於PPS中之PPS級調色板預測初始化器之數目等於零的pps_num_palette_predictor_initializer之值,則視訊解碼器30可經組態以判定針對與PPS相關聯之視訊區塊禁用調色板預測初始化,即使與區塊相關聯之SPS已啟用調色板預測初始化。 另外,最新引入之語法元素,pps_num_palette_predictor_initializer,值可用作用於對調色板預測初始化器條目特定之語法元素的新選通旗標,諸如monochrome_palette_flag、luma_bit_depth_entry_minus8及chroma_bit_depth_entry_minus8,此係因為在初始化器大小等於0時不需要彼等語法元素。因此,基於指示包括於PPS中之PPS層級調色板預測初始化器之數目等於零的語法元素pps_num_palette_predictor_initializer,視訊解碼器30可判定PPS中不存在語法元素monochrome_palette_flag、luma_bit_depth_entry_minus8及chroma_bit_depth_entry_minus8 。 舉例而言,PPS傳信可經如下修改,其中用下劃線及刪除線展示如下之變化:
語法元素pps_num_palette_predictor_initializer指定圖像調色板預測初始化器中之條目之數目。若視訊解碼器30判定pps_num_palette_predictor_initializer之值指示包括於PPS中之PPS層級調色板預測初始化器之數目等於零,則視訊解碼器30可判定針對PPS禁用調色板預測初始化。 其可要求位元串流一致性,pps_num_palette_predictor_initializer之值在0至PaletteMaxPredictorSize之範圍內(包括端點)。 語法元素pps_palette_predictor_initializers[ comp ][ i ]指定用於初始化陣列PredictorPaletteEntries的第i個調色板條目之comp-th分量之值。對於在0至pps_num_palette_predictor_initializer - 1範圍內之值(包括端點),pps_palette_predictor_initializers[ 0 ][ i ]之值將在0至( 1 << BitDepthEntryY ) - 1之範圍內(包括端點),且pps_palette_predictor_initializers[ 1 ][ i ]之值及pps_palette_predictor_initializers[ 2 ][ i ]將在0至( 1 << BitDepthEntryC ) - 1之範圍內(包括端點)。 可因此改變初始化規則: 此程序之輸出為初始化調色板預測變量PredictorPaletteSize及PredictorPaletteEntries。 如下導出變量numComps: numComps = ( ChromaArrayType = = 0 ) ? 1 : 3 – 若pps_palette_predictor_initializer_present_flag等於1,則以下適用: - 將PredictorPaletteSize設定等於pps_num_palette_predictor_initializer - 如下導出陣列PredictorPaletteEntries: for( comp = 0; comp < numComps; comp++ ) for( i = 0; i < PredictorPaletteSize; i++ ) PredictorPaletteEntries[ comp ][ i ] = pps_palette_predictor_initializers[ comp ][ i ] – 否則(pps_palette_predictor_initializer_present_flag等於0),若sps_palette_predictor_initializer_present_flag等於1,則以下適用: - 將PredictorPaletteSize設定為等於sps_num_palette_predictor_initializer_minus1加1。 - 如下導出陣列PredictorPaletteEntries: for( comp = 0; comp < numComps; comp++ ) for( i = 0; i < PredictorPaletteSize; i++ ) PredictorPaletteEntries[ comp ][ i ] = sps_palette_predictor_initializers][ comp ][ i ] – 否則(pps_palette_predictor_initializer_present_flag等於0及sps_palette_predictor_initializer_present_flag等於0),將PredictorPaletteSize設定為等於0及PredictorPaletteSize設定為等於0。 本發明亦描述與調色板預測初始化預測相關之技術。為潛在地解決具有可能的冗餘條目之以上介紹之第二問題,本發明描述用於代替現有技術之使用SPS及PPS調色板預測初始化器兩者以供調色板預測初始化的技術,在該技術中僅可同時使用一個預測。因此,在初始化調色板預測時,視訊解碼器30可在調色板預測中包括SPS層級調色板預測初始化器及PPS層級調色板預測初始化器兩者,而非僅SPS層級調色板預測初始化器或PPS層級調色板預測初始化器中之一者中。 在一個實例中,可藉由包括SPS調色板預測條目,接著為PPS調色板預測條目來初始化調色板預測,或反之亦然。在更加通用之方法中,代替使用完整SPS調色板預測,可逐條目傳信再使用旗標以指示哪些條目將用於調色板預測初始化。 在使用SPS及PPS初始化器兩者時,額外約束條件可施加在經組合初始化器之總傳信大小上,諸如SPS及PPS初始化器共同之大小小於或等於最大調色板預測大小,此係因為若經組合初始化器之大小大於最大調色板預測大小,則必須捨棄一些條目及可廢棄與此附加傳信相關聯之位元。在另一更簡單的替代方案中,可將PPS及SPS初始化器大小封端至一半最大調色板預測大小。 在一個實例實施中,在語法元素pps_palette_predictor_initializer_present_flag等於1時,對於SPS調色板預測中之各條目,發送一個旗標以傳信條目是否用於初始化調色板預測。傳信方法可與用於WD4之章節7.3.8.13中以傳信PalettePredictorEntryReuseFlags相同。此後,傳信額外調色板預測初始化器之數目。此可採用值0。此接著為實際PPS調色板預測條目。 為避免SPS與PPS之間的相依性,在語法元素pps_palette_predictor_initializer_present_flag等於1時,可發送sps_palette_initializer_reuse旗標。在此旗標之值等於1時,傳信SPS調色板預測條目之數目。此接著為傳信用於各SPS調色板預測條目之再次使用之旗標、額外的調色板預測條目之數目且最終傳信實際PPS調色板預測條目。經傳信SPS調色板預測條目之數目可小於或等於sps_num_palette_predictor_initializer_minus1 + 1。舉例而言,若sps_num_palette_predictor_initializer_minus1等於10且在PPS中傳信之SPS調色板預測條目之數目為6,則僅針對最先6個SPS調色板預測條目發送再次使用之旗標且最後4個SPS調色板預測條目可不用於指向當前PPS之圖像的調色板預測初始化。 按照最後實例,可在片段標頭中傳信調色板預測初始化再次使用之旗標以指示自可由來自PPS或SPS或其兩者之至少一個調色板預測初始化器組成的默認調色板預測初始化器再使用哪些條目。 舉例而言,SPS調色板預測初始化器可含有常用調色板條目,且PPS調色板預測初始化器可僅具有對圖像特定且不同於SPS條目之條目。自PPS及SPS初始化器兩者初始化調色板預測可避免PPS中之初始化器條目之額外傳信,其可在所有經傳信PPS中為相同的(與WD4設計相反),其中藉由各PPS調色板預測初始化器反覆地傳信此類常見條目。 以類似方式,可自稍早經發送PPS及/或SPS組合調色板預測初始化器。舉例而言,代替如上文所描述之SPS,可將來自稍早經發送PPS的其他調色板預測條目添加至調色板預測初始化器中。在一個實例中,替代自SPS初始化器繼承一或多個條目或除自SPS初始化器繼承一或多個條目以外,調色板預測初始化器可自先前經傳信之PPS初始化器繼承一或多個條目。儘管以上文相對於先前經傳信之PPS初始化器所描述的作為一實例,應瞭解本發明之技術亦可使能夠自一或多個先前經傳信之SPS初始化器繼承一或多個條目。舉例而言,可自先前經傳信之SPS初始化器、自先前經傳信之PPS初始化器或自先前經傳信之SPS初始化器及先前經傳信之PPS初始化器兩者的組合繼承條目。 在另一實例中,可僅更新調色板預測初始化器。舉例而言,其可首先由首先經傳信之SPS、PPS或兩個初始化器構成,且可藉由將最新經傳信之PPS或SPS之條目插入至調色板預測初始化器中來更新此調色板預測。可在末端或基本上在任何位置上將條目插入至調色板預測初始化器之起點中。可忽略在插入時超出預測大小之條目。舉例而言,在此類更新使得初始化器超出預測大小限制之情況下,可忽略、捨棄或排除在符合大小限制之後處理之經更新的條目。 在所描述之方法的一個特定實例中,調色板預測初始化器可含有新條目之後來自SPS或PPS或其兩者集合加前述調色板預測初始化器之老條目的最新經傳信之條目。 本發明亦描述與縮放清單更新相關之技術。經組合調色板預測初始化器之類似想法可應用至縮放清單或用於變換之量化矩陣。此處可傳信SPS及PPS縮放清單,而非僅使用PPS或SPS清單,用於特定圖像之縮放清單可由經更新或由PPS中傳信之清單隨附的SPS縮放清單構成。舉例而言,考慮在SPS中傳信4×4、8×8、16×16及32×32變換大小之縮放清單。PPS可僅傳信某些縮放清單,例如與8×8及16×16變換大小相關聯之一者。接著,用於圖像之最終縮放清單可為如下:來自SPS之4×4、來自PPS之8×8、來自PPS之16×16及來自SPS之32×32。 在另一實例中,(例如)當在PPS中定義變換深度或大小時,SPS縮放清單可不含有整個集合。在此情況下,SPS可僅具有基本或常見縮放清單,不必與PPS重疊,且可在PPS中傳信用於圖像之特定一者且稍後將SPS及PPS縮放清單之經組合集合用於圖像。 圖4為說明可實施本發明中所描述之技術之實例視訊編碼器20的方塊圖。視訊編碼器20可執行視訊片段內之視訊區塊之框內寫碼及框間寫碼。框內寫碼依賴於空間預測以減少或移除給定視訊圖框或圖像內之視訊中之空間冗餘。框間寫碼依賴於時間預測以減少或移除視訊序列之鄰近圖框或圖像內之視訊中的時間冗餘。框內模式(I模式)可指代若干基於空間之壓縮模式中之任一者。框間模式(諸如,單向預測(P模式)或雙向預測(B模式))可指若干基於時間之壓縮模式中的任一者。 在圖4之實例中,視訊編碼器20包括視訊資料記憶體33、分割單元35、預測處理單元41、求和器50、變換處理單元52、量化單元54、熵編碼單元56。預測處理單元41包括基於調色板之編碼單元42、框間預測處理單元44及框內預測單元46。對於視訊區塊重建構,視訊編碼器20亦包括反量化單元58、反變換處理單元60、求和器62、濾波器單元64及經解碼圖像緩衝器(DPB) 66。 如圖4中所展示,視訊編碼器20接收視訊資料且將所接收視訊資料儲存於視訊資料記憶體33中。視訊資料記憶體33可儲存將藉由視訊編碼器20之組件編碼的視訊資料。可(例如)自視訊源18獲得儲存於視訊資料記憶體33中之視訊資料。DPB 66可為儲存用於(例如)在框內或框間寫碼模式中藉由視訊編碼器20編碼視訊資料之參考視訊資料的參考圖像記憶體。視訊資料記憶體33及DPB 66可由諸如動態隨機存取記憶體(DRAM) (包括同步DRAM (SDRAM))、磁阻式RAM (MRAM)、電阻式RAM (RRAM)或其他類型之記憶體器件的各種記憶體器件中之任一者形成。視訊資料記憶體33及DPB 66可由同一記憶體器件或單獨記憶體器件提供。在各種實例中,視訊資料記憶體33可與視訊編碼器20之其他組件一起在晶片上,或相對於彼等組件在晶片外。 分割單元35自視訊資料記憶體33擷取視訊資料且將視訊資料分割成視訊區塊。此分割亦可包括分割成片段、方塊或其他較大單元,以及(例如)根據LCU及CU之四分樹結構分割之視訊區塊。視訊編碼器20通常說明編碼待編碼之視訊片段內的視訊區塊之組件。片段可劃分成多個視訊區塊(且可能劃分成被稱作方塊之視訊區塊集合)。預測處理單元41可基於誤差結果(例如,寫碼速率及失真位準)選擇用於當前視訊區塊的複數個可能寫碼模式中之一者,諸如複數個框內寫碼模式中之一者或複數個框間寫碼模式中之一者。預測處理單元41可將所得經框內或框間寫碼區塊提供至求和器50以產生殘餘區塊資料且提供至求和器62以重建構經編碼區塊以用作參考圖像。 預測處理單元41內之框內預測單元46可執行當前視訊區塊相對於與待寫碼之當前區塊在同一圖框或片段中的一或多個相鄰區塊之框內預測性寫碼,以提供空間壓縮。預測處理單元41內之框間預測處理單元44執行當前視訊區塊相對於一或多個參考圖像中之一或多個預測性區塊之框間預測性寫碼,以提供時間壓縮。 框間預測處理單元44可經組態以根據視訊序列之預定圖案來判定用於視訊片段之框間預測模式。預定圖案可將序列中之視訊片段指定為P片段或B片段。藉由框間預測處理單元44執行之運動估計為產生運動向量之過程,其估計針對視訊區塊之運動。舉例而言,運動向量可指示將當前視訊圖框或圖像內之視訊區塊的PU相對於參考圖像內之預測性區塊的位移。 預測性區塊為被發現在像素差方面緊密地匹配待寫碼視訊區塊之PU的區塊,該等像素差可由絕對差總和(SAD)、平方差和(SSD)或其他差量度判定。在一些實例中,視訊編碼器20可計算存儲於DPB 66中之參考圖像的子整數像素位置的值。舉例而言,視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置之值。因此,框間預測處理單元44可相對於全像素位置及部分像素位置執行運動搜索且輸出具有分數像素精確度之運動向量。 框間預測處理單元44藉由比較PU之位置與參考圖像之預測性區塊之位置而計算用於經框間寫碼片段中之視訊區塊之PU的運動向量。參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1),參考圖像清單中之每一者識別儲存於DPB 66中之一或多個參考圖像。框間預測處理單元44將經計算運動向量發送至熵編碼單元56。 由框間預測處理單元44所執行之運動補償可涉及基於由運動估計所判定之運動向量而提取或產生預測性區塊,可能執行子像素精確度之內插。在判定當前視訊區塊之PU的運動向量之後,框間預測處理單元44可在參考圖像清單中之一者中定位運動向量所指向之預測性區塊。視訊編碼器20藉由自正經寫碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成殘餘視訊區塊,從而形成像素差。像素差值形成用於區塊之殘餘資料,且可包括亮度及色度差分量兩者。求和器50表示執行此減法運算之一或多個組件。框間預測處理單元44亦可產生與供視訊解碼器30在解碼視訊片段之視訊區塊時使用的視訊區塊及視訊片段相關聯的語法元素。 預測處理單位41亦包括經組態以執行本發明中所描述之基於調色板之寫碼技術之各種態樣的基於調色板之編碼單元42。當(例如)針對諸如CU或PU之區塊選擇基於調色板之編碼模式時,基於調色板之編碼單元42 (例如)可執行基於調色板之解碼。舉例而言,基於調色板之編碼單元42可經組態以產生具有指示像素值之條目的調色板,選擇調色板中之像素值以表示視訊資料區塊之至少一些位置之像素值,及傳信使視訊資料區塊之位置中之至少一些與在調色板中分別對應於所選擇像素值之條目相關聯的資訊。儘管將各種功能描述為藉由基於調色板之編碼單元42執行,但此等功能中之一些或全部可藉由其他處理單元或不同處理單元之組合來執行。 基於調色板之編碼單元42可經組態以產生本文中所描述的各種語法元素中之任一者。因此,視訊編碼器20可經組態以使用如本發明中所描述的基於調色板之寫碼模式來編碼視訊資料之區塊。視訊編碼器20可使用調色板寫碼模式選擇性地編碼視訊資料區塊,或使用不同模式編碼視訊資料區塊,例如HEVC框間預測性或框內預測性寫碼模式。視訊資料之區塊可為(例如)根據HEVC寫碼程序產生之CU或PU。視訊編碼器20可藉由框間預測性時間預測或框內預測性空間寫碼模式編碼一些區塊,且藉由基於調色板之寫碼模式解碼其他區塊。 在預測處理單元41經由框間預測、框間預測或調色板模式寫碼產生用於當前視訊區塊之預測性區塊之後,視訊編碼器20藉由自當前視訊區塊減去預測性區塊而形成殘餘視訊區塊。然而,對於一些寫碼模式,視訊編碼器20可不編碼殘餘區塊。在產生時,殘餘區塊中之殘餘視訊資料可包括於一或多個TU中且應用至變換處理單元52。變換處理單元52使用變換(諸如離散餘弦變換(DCT)或概念上類似之變換)將殘餘視訊資料變換為殘餘變換係數。變換處理單元52可將殘餘視訊資料自像素域轉換至變換域(諸如,頻域)。 變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化變換係數以進一步減小位元速率。量化程序可減少與該等係數中之一些或所有相關聯的位元深度。可藉由調整量化參數來修改量化程度。在一些實例中,量化單元54隨後可執行對包括經量化之變換係數之矩陣的掃描。替代地,熵編碼單元56可執行掃描。 在量化之後,熵編碼單元56對經量化變換係數進行熵編碼。舉例而言,熵編碼單元56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法或技術。在由熵編碼單元56進行熵寫碼之後,可將經編碼位元串流傳輸至視訊解碼器30,或加以存檔以供稍後由視訊解碼器30傳輸或擷取。熵編碼單元56亦可針對經寫碼之當前視訊片段熵編碼運動向量及其他語法元素,包括如上文所描述之各種調色板模式語法元素。 反量化單元58及反變換處理單元60分別應用反量化及反變換以重建構像素域中之殘餘區塊,以供稍後用作參考圖像之參考區塊。框間預測處理單元44可藉由將殘餘區塊添加至參考圖像清單中之一者內的參考圖像中之一者之預測性區塊來計算參考區塊。框間預測處理單元44亦可對該經重建構的殘餘區塊應用一或多個內插濾波器以計算子整數像素值以用於運動估計。求和器62將經重建構殘餘區塊添加至藉由框間預測處理單元44產生之運動補償預測區塊以產生經重建構區塊。 濾波器單元64對經重建構區塊(例如,求和器62之輸出)進行濾波且將經濾波之經重建構區塊儲存於DPB 66中以供用作參考區塊。參考區塊可藉由框間預測處理單元44用作對後續視訊圖框或圖像中之區塊進行框間預測的參考區塊。濾波器單元64可應用解區塊濾波、樣本自適應性偏移(SAO)濾波、自適應性迴路濾波(ALF)或其他類型之迴路濾波中之一或多者。濾波器單元64可應用解塊濾波以過濾區塊邊界以將區塊效應偽影自經重建構視訊移除,且可應用其他類型之濾波以改善總體寫碼品質。亦可使用額外迴路濾波器(迴路中或迴路後)。 圖5為說明可實施本發明中所描述之技術的實例視訊解碼器30之方塊圖。在圖5之實例中,視訊解碼器30包括視訊資料記憶體78、熵解碼單元80、預測處理單元81、反量化單元86、反變換處理單元88、求和器90及DPB 94。預測處理單元81包括基於調色板之解碼單元82、運動補償單元(MCU) 83及框內預測單元84。在一些實例中,視訊解碼器30可執行與關於來自圖4之視訊編碼器20所描述之編碼遍次大體上互逆的解碼遍次。 在解碼過程期間,視訊解碼器30自視訊編碼器20接收表示經編碼視訊片段之視訊區塊及相關聯語法元素的經編碼視訊位元串流。視訊解碼器30將所接收之經編碼視訊位元串流儲存於視訊資料記憶體78中。視訊資料記憶體78可儲存待由視訊解碼器30之組件解碼之視訊資料(諸如,經編碼視訊位元串流)。儲存於視訊資料記憶體78中之視訊資料可(例如)經由鏈路16自儲存器件26或自本端視訊源(諸如攝影機)或藉由存取實體資料儲存媒體而獲得。視訊資料記憶體78可形成儲存來自經編碼視訊位元串流之經編碼視訊資料的經寫碼圖像緩衝器(CPB)。 DPB 94可為儲存用於(例如)在框內或框間寫碼模式中藉由視訊解碼器30解碼視訊資料之參考視訊資料的參考圖像記憶體。視訊資料記憶體78及DPB 94可由各種記憶體器件中之任一者形成,該等記憶體器件諸如DRAM、SDRAM、MRAM、RRAM或其他類型之記憶體器件。視訊資料記憶體78及DPB 94可由同一記憶體器件或單獨記憶體器件提供。在各種實例中,視訊資料記憶體78可與視訊解碼器30之其他組件在晶片上,或相對於彼等組件之晶片外。 視訊解碼器30之熵解碼單元80熵解碼儲存於視訊資料記憶體78中之視訊資料以產生經量化係數、運動向量及其他語法元素。熵解碼單元80將運動向量及其他語法元素(包括如上文所述之各種調色板模式語法元素)轉發至預測處理單元81。視訊解碼器30可接收視訊片段層級及/或視訊區塊層級處之語法元素。 當視訊片段經寫碼為經框內寫碼(I)片段時,預測處理單元81之框內預測單元84可基於來自當前圖框或圖像之先前經解碼區塊的經傳信框內預測模式及資料來產生用於當前視訊片段之視訊區塊的預測資料。當視訊圖框經寫碼為經框間寫碼(亦即,B或P)片段時,預測處理單元81之運動補償單元83基於自熵解碼單元80接收之運動向量及其他語法元素產生當前視訊片段之視訊區塊的預測性區塊。可自參考圖像清單中之一者內的參考圖像中之一者產生預測性區塊。視訊解碼器30可基於儲存於DPB 94中之參考圖像使用預設建構技術來建構參考圖框清單(清單0及清單1)。 運動補償單元83藉由解析運動向量及其他語法元素來判定用於當前視訊片段之視訊區塊的預測資訊,且使用該預測資訊以產生用於經解碼當前視訊區塊之預測性區塊。舉例而言,運動補償單元83使用所接收之語法元素中之一些來判定用以寫碼視訊片段之視訊區塊之預測模式(例如,框內預測或框間預測)、框間預測片段類型(例如,B片段、P片段或GPB片段)、片段之參考圖像清單中之一或多者之建構資訊、片段之每一框間編碼視訊區塊之運動向量、片段之每一框間寫碼視訊區塊之框間預測狀態,及用以解碼當前視訊片段中之視訊區塊的其他資訊。 運動補償單元83亦可基於內插濾波器執行內插。運動補償單元83可使用如由視訊編碼器20在視訊區塊之編碼期間使用的內插濾波器,以計算參考區塊之子整數像素的內插值。在此情況下,運動補償單元83可自所接收之語法元素判定由視訊編碼器20所使用之內插濾波器並使用該等內插濾波器以產生預測性區塊。 反量化單元86反量化(亦即,解量化)位元串流中所提供並由熵解碼單元80解碼之經量化變換係數。反量化程序可包括使用由視訊編碼器20所計算的用於視訊片段中之每一視訊區塊的量化參數,以判定量化程度及(同樣地)應應用之反量化程度。反變換處理單元88將反變換(例如,反DCT、反整數變換或概念上類似之反變換程序)應用至變換係數,以便在像素域中產生殘餘區塊。 根據本發明之各種實例,視訊解碼器30可經組態以執行基於調色板之寫碼。舉例而言,當針對諸如CU或PU之區塊選擇基於調色板之編碼模式時,基於調色板之解碼單元82可執行基於調色板之解碼。舉例而言,基於調色板之解碼單元82可經組態以產生具有指示像素值之條目的調色板。此外,在此實例中,基於調色板之解碼單元82可接收使視訊資料之區塊之至少一些位置與調色板中之條目相關聯的資訊。在此實例中,基於調色板之解碼單元82可基於資訊選擇調色板中之像素值。另外,在此實例中,基於調色板之解碼單元82可基於所選擇之像素值重建構區塊之像素值。儘管各種功能經描述為由基於調色板之解碼單元82執行,但此等功能中之一些或全部可由其他處理單元或不同處理單元之組合來執行。 基於調色板之解碼單元82可接收調色板寫碼模式資訊,並在調色板寫碼模式資訊指示調色板寫碼模式適用於區塊時執行上述操作。在調色板寫碼模式資訊指示調色板寫碼模式不適用於區塊時,或在其他模式資訊指示不同模式之使用時,基於調色板之解碼單元82使用非基於調色板之寫碼模式(例如,HEVC框間預測寫碼模式或HEVC框內預測寫碼模式)解碼視訊資料之區塊。視訊資料之區塊可為(例如)根據HEVC寫碼程序產生之CU或PU。視訊解碼器30可藉由框間預測性時間預測或框內預測性空間寫碼模式解碼一些區塊並藉由基於調色板之寫碼模式解碼其他區塊。基於調色板之寫碼模式可包含複數個不同基於調色板之寫碼模式中的一者,或可存在單一基於調色板之寫碼模式。 在預測處理單元使用(例如)框內或框間預測產生當前視訊區塊之預測性區塊之後,視訊解碼器30藉由對來自反變換處理單元88之殘餘區塊與由運動補償單元83產生之對應預測性區塊進行求和而形成經重建構視訊區塊。求和器90表示執行此求和運算之一或多個組件。濾波器單元92使用(例如)解區塊濾波、SAO濾波、ALF濾波或其他類型之濾波中之一或多者對經重建構視訊區塊進行濾波。其他迴路濾波器(在寫碼迴路中或在寫碼迴路之後)亦可用於使像素轉變平滑,或另外改良視訊品質。接著將給定圖框或圖像中之經解碼視訊區塊儲存於DPB 94中,該DPB儲存用於後續運動補償之參考圖像。DPB 94可為額外記憶體的部分或與其分離,該額外記憶體儲存用於呈現於顯示器件(諸如圖1之顯示器件32)上之經解碼視訊。 舉例而言,視訊解碼器30可經組態以接收語法元素並根據語法元素執行調色板預測初始化程序。舉例而言,語法元素之第一值可指示使用調色板預測初始化,且語法元素之第二值指示將調色板預測大小設定為等於0。可(例如)在SPS或PPS中傳信語法元素。 另外或替代地,視訊解碼器30可經組態以在PPS中接收第一調色板預測初始化器語法元素及在SPS中接收第二調色板預測初始化器語法元素。基於第一調色板預測初始化器語法元素及第二調色板預測初始化器語法元素,視訊解碼器30可產生調色板預測。為產生調色板預測,視訊解碼器30可在調色板預測中包括在SPS中識別之調色板條目,接著為在PPS中識別之調色板條目或按反過來之次序。為產生調色板預測,視訊解碼器30可另外地或可替代地逐調色板預測之條目接收一或多個再次使用之旗標。 另外或替代地,視訊解碼器30可經組態以在PPS中接收第一縮放清單及在SPS中接收第二縮放清單。基於第一縮放清單及第二縮放清單,視訊解碼器30可產生用於圖像之縮放清單。 另外或替代地,視訊解碼器30可經組態以在第一參數集中接收調色板預測初始化器條目之第一集合。在接收第一參數集之後,視訊解碼器30可在第二參數集中接收調色板預測初始化器條目之第二集合。視訊解碼器30可使用調色板預測初始化器條目之第一集合之至少一部分執行調色板預測初始化。為執行調色板預測初始化,視訊解碼器30可(例如)使用除調色板預測初始化器條目之第一集合之部分以外的調色板預測初始化器條目之第二集合之至少一部分。在一些實例中,第一參數集可為PPS且第二參數集可為SPS。 另外或替代地,視訊解碼器30亦可經組態以使用調色板預測初始化器條目之第一集合之部分形成調色板預測初始化器並將調色板預測初始化器條目之第二集合之部分添加至調色板預測初始化器以形成經更新的調色板預測初始化器。為將調色板預測初始化器條目之第二集合之部分添加至調色板預測初始化器以形成經更新的調色板預測初始化器,視訊解碼器30可經組態以在調色板預測初始化器之起點添加調色板預測初始化器條目之第二集合之部分以形成經更新的調色板預測初始化器。 為將調色板預測初始化器條目之第二集合之部分添加至調色板預測初始化器以形成經更新的調色板預測初始化器包含:視訊解碼器30可經組態以在調色板預測初始化器之末端處添加調色板預測初始化器條目之第二集合之部分以形成經更新的調色板預測初始化器。視訊解碼器30亦可經組態以判定添加調色板預測條目之第二集合之部分的整體超出初始化器大小限制,且基於該判定,自經更新的調色板預測初始化器排除調色板預測條目之第二集合之部分的一或多個條目。經更新的調色板預測初始化器可包括調色板預測條目之第一集合之部分的子部分及調色板預測條目之第二集合之部分的子部分兩者。 圖6為說明根據本發明之技術的視訊編碼器之實例操作的流程圖。圖6之流程圖經提供為一實例。在其他實例中,流程圖可包括更多、更少或不同的步驟。描述於圖6中之操作可藉由上文所描述的諸如視訊編碼器20之視訊編碼器執行,但圖6之操作不限於任何特定類型之視訊編碼器。 在圖6之實例中,視訊編碼器編碼視訊資料。視訊編碼器針對經編碼視訊資料之位元串流中之SPS語法結構中之包涵物產生第一語法元素(100)。第一語法元素可(例如)為指示啟用調色板預測初始化之諸如sps_palette_predictor_initializer_present_flag的一位元旗標。視訊編碼器針對SPS語法結構中之包涵物產生一或多個SPS層級調色板預測初始化器(102)。視訊編碼器針對經編碼視訊資料之位元串流中之PPS語法結構中之包涵物產生指示使用PPS層級調色板預測初始化器產生調色板預測之第二語法元素(104)。第二語法元素可(例如)為上文所描述的諸如pps_palette_predictor_initializer_present_flag之一位元旗標。第二語法元素可進一步指示在不使用SPS層級調色板初始化器中之任一者的情況下產生調色板預測。視訊編碼器針對PPS語法結構中之包涵物產生指示包括於PPS中之PPS層級調色板預測初始化器之數目等於零之第三語法元素(106)。第三語法元素可(例如)為上文所描述的pps_num_palette_predictor_initializer語法元素。視訊編碼器亦可針對SPS語法結構中之包涵物產生指示包括於SPS中之SPS層級調色板預測初始化器之數目的第四語法元素。第四語法元素可(例如)為上文所描述的語法元素sps_num_palette_predictor_initializer_minus1。 圖7為說明根據本發明之技術的視訊解碼器之實例操作的流程圖。圖7之流程圖經提供為一實例。在其他實例中,流程圖可包括更多、更少或不同的步驟。描述於圖7中之操作可藉由諸如上文所描述的視訊解碼器30之視訊解碼器執行,但圖7之操作不限於任何特定類型之視訊解碼器。 在圖7之實例中,視訊解碼器解碼視訊資料。視訊解碼器在SPS中接收指示啟用調色板預測初始化之第一語法元素(120)。第一語法元素可(例如)為諸如上文所描述的語法元素sps_palette_predictor_initializer_present_flag之一位元旗標。視訊解碼器在SPS中接收一或多個SPS層級調色板預測初始化器(122)。視訊解碼器在PPS中接收指示將使用PPS層級調色板預測初始化器產生調色板預測之第二語法元素(124)。第二語法元素可(例如)為諸如上文所描述的語法元素pps_palette_predictor_initializer_present_flag之一位元旗標。第二語法元素可進一步指示在不使用SPS層級調色板初始化器中之任一者的情況下產生調色板預測。視訊解碼器在PPS中接收指示包括於PPS中之PPS層級調色板預測初始化器之數目等於零之第三語法元素(126)。第三語法元素可(例如)為上文所描述的語法元素pps_num_palette_predictor_initializer。 為在第三語法元素指示包括於PPS中之PPS層級調色板預測初始化器之數目等於零時產生調色板表,視訊解碼器可接收一或多個調色板表條目值並藉由包括調色板表中之一或多個所接收之調色板表條目值產生調色板表。因此,代替使用調色板預測來產生調色板以判定用於調色板表之條目中的一些或全部,視訊解碼器直接地接收用於調色板表之所有調色板條目。對於視訊資料區塊之樣本,視訊解碼器接收索引並使用對應於用於樣本之索引的調色板表條目來重建構視訊資料區塊。 圖8為說明根據本發明之技術的視訊解碼器之實例操作的流程圖。圖8之流程圖經提供為一實例。在其他實例中,流程圖可包括更多、更少或不同的步驟。描述於圖8中之操作可藉由諸如上文所描述的視訊解碼器30之視訊解碼器執行,但圖8之操作不限於任何特定類型之視訊解碼器。 在圖8之實例中,視訊解碼器解碼視訊資料。視訊解碼器在SPS中接收第一調色板預測初始化資料(140)。基於第一調色板預測初始化資料,視訊解碼器判定SPS調色板預測初始化器(142)。視訊解碼器在PPS中接收第二調色板預測初始化資料(144)。基於第二調色板預測初始化資料,視訊解碼器判定PPS調色板預測初始化器(146)。視訊解碼器基於SPS調色板預測初始化器及PPS調色板預測初始化器產生調色板預測(148)。為產生調色板預測,視訊解碼器可(例如)包括調色板預測中之至少一個PPS調色板預測條目且包括調色板預測中之至少一個SPS調色板預測條目。 視訊解碼器亦可接收指示調色板預測與待用於視訊資料區塊之調色板之間的差異之殘餘資料。因此,基於調色板預測及殘餘資料,視訊解碼器可判定待用於視訊資料區塊之調色板。 在一或多個實例中,所描述之功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施,則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體傳輸,且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體,該通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式,電腦可讀媒體通常可對應於(1)非暫時性之有形電腦可讀儲存媒體,或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取用於實施本發明中所描述之技術的指令、程式碼及/或資料結構的任何可用媒體。電腦程式產品可包括電腦可讀媒體。 藉助於實例而非限制,此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用以儲存呈指令或資料結構之形式之所需程式碼且可由電腦存取的任何其他媒體。又,任何連接適當地稱為電腦可讀媒體。舉例而言,若使用同軸纜線、光纜、雙絞線、數位使用者線(DSL)或無線技術(諸如紅外線、無線電及微波)自網站、伺服器或其他遠端源傳輸指令,則同軸纜線、光纜、雙絞線、DSL或無線技術(諸如紅外線、無線電及微波)包括於媒體之定義中。然而,應理解,電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體,但實情為係關於非暫時性有形儲存媒體。如本文所使用,磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟碟及藍光光碟,其中磁碟通常以磁性方式再現資料,而光碟用雷射以光學方式再現資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。 指令可藉由一或多個處理器執行,諸如一或多個DSP、通用微處理器、ASIC、FPGA或其它等效積體或離散邏輯電路。因此,如本文中所使用的術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。另外,在一些態樣中,本文中所描述之功能性可提供於經組態用於編碼及解碼的專用硬體及/或軟體模組內,或併入於組合式編解碼器中。又,該等技術可完全實施於一或多個電路或邏輯元件中。 本發明之技術可實施於廣泛多種器件或裝置中,該等器件或裝置包括無線手持機、積體電路(IC)或IC之集合(例如,晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣,但未必要求由不同硬體單元來實現。確切而言,如上文所描述,可將各種單元組合於編解碼器硬體單元中,或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合結合適合之軟體及/或韌體來提供該等單元。 已描述各種實例。此等實例及其他實例係在以下申請專利範圍之範疇內。
10‧‧‧系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧鏈路
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
26‧‧‧儲存器件
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
33‧‧‧視訊資料記憶體
35‧‧‧分割單元
41‧‧‧預測處理單元
42‧‧‧基於調色板之編碼單元
44‧‧‧框間預測處理單元
46‧‧‧框內預測處理單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換處理單元
62‧‧‧求和器
64‧‧‧濾波器單元
66‧‧‧經解碼圖像緩衝器
78‧‧‧視訊資料記憶體
80‧‧‧熵解碼單元
81‧‧‧預測處理單元
82‧‧‧基於調色板之解碼單元
83‧‧‧運動補償單元
84‧‧‧框內預測單元
86‧‧‧反量化單元
88‧‧‧反變換處理單元
90‧‧‧求和器
92‧‧‧濾波器單元
94‧‧‧經解碼圖像緩衝器
100‧‧‧步驟
102‧‧‧步驟
104‧‧‧步驟
106‧‧‧步驟
120‧‧‧步驟
122‧‧‧步驟
124‧‧‧步驟
126‧‧‧步驟
140‧‧‧步驟
142‧‧‧步驟
144‧‧‧步驟
146‧‧‧步驟
148‧‧‧步驟
178‧‧‧圖像
180‧‧‧第一區塊
184‧‧‧第一調色板
188‧‧‧第二區塊
192‧‧‧第二調色板
196‧‧‧區塊
200‧‧‧區塊
202‧‧‧條目
204‧‧‧條目
206‧‧‧條目
208‧‧‧條目
210‧‧‧條目
212‧‧‧條目
214‧‧‧條目
240‧‧‧映射
244‧‧‧調色板
248‧‧‧排
252‧‧‧行
256‧‧‧行
260‧‧‧行
264‧‧‧列
268‧‧‧列
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧鏈路
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
26‧‧‧儲存器件
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
33‧‧‧視訊資料記憶體
35‧‧‧分割單元
41‧‧‧預測處理單元
42‧‧‧基於調色板之編碼單元
44‧‧‧框間預測處理單元
46‧‧‧框內預測處理單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換處理單元
62‧‧‧求和器
64‧‧‧濾波器單元
66‧‧‧經解碼圖像緩衝器
78‧‧‧視訊資料記憶體
80‧‧‧熵解碼單元
81‧‧‧預測處理單元
82‧‧‧基於調色板之解碼單元
83‧‧‧運動補償單元
84‧‧‧框內預測單元
86‧‧‧反量化單元
88‧‧‧反變換處理單元
90‧‧‧求和器
92‧‧‧濾波器單元
94‧‧‧經解碼圖像緩衝器
100‧‧‧步驟
102‧‧‧步驟
104‧‧‧步驟
106‧‧‧步驟
120‧‧‧步驟
122‧‧‧步驟
124‧‧‧步驟
126‧‧‧步驟
140‧‧‧步驟
142‧‧‧步驟
144‧‧‧步驟
146‧‧‧步驟
148‧‧‧步驟
178‧‧‧圖像
180‧‧‧第一區塊
184‧‧‧第一調色板
188‧‧‧第二區塊
192‧‧‧第二調色板
196‧‧‧區塊
200‧‧‧區塊
202‧‧‧條目
204‧‧‧條目
206‧‧‧條目
208‧‧‧條目
210‧‧‧條目
212‧‧‧條目
214‧‧‧條目
240‧‧‧映射
244‧‧‧調色板
248‧‧‧排
252‧‧‧行
256‧‧‧行
260‧‧‧行
264‧‧‧列
268‧‧‧列
圖1為說明可利用本發明中所描述之技術的實例視訊編碼及解碼系統的方塊圖。 圖2為說明根據本發明之技術判定用於寫碼視訊資料之調色板之實例的概念圖。 圖3為說明根據本發明之技術判定用於視訊區塊之調色板的索引之實例的概念圖。 圖4為說明可實施本發明中所描述之技術之實例視訊編碼器的方塊圖。 圖5為說明可實施本發明中所描述之技術之實例視訊解碼器的方塊圖。 圖6為說明根據本發明之一或多個技術的視訊編碼器之實例操作的流程圖。 圖7為說明根據本發明之一或多個技術的視訊解碼器之實例操作的流程圖。 圖8為說明根據本發明之一或多個技術的視訊解碼器之實例操作的流程圖。
120‧‧‧步驟
122‧‧‧步驟
124‧‧‧步驟
126‧‧‧步驟
Claims (48)
- 一種解碼視訊資料之方法,該方法包含: 在一圖像參數集(PPS)中接收一第一語法元素,該第一語法元素指示將使用PPS層級調色板預測初始化器產生一調色板預測; 在該PPS中接收一第二語法元素,該第二語法元素指示包括於該PPS中之該等PPS層級調色板預測初始化器之一數目等於零;及 基於該第一語法元素及該第二語法元素解碼一視訊資料區塊。
- 如請求項1之方法,其進一步包含: 在一序列參數集(SPS)中接收一第三語法元素,該第三語法元素指示啟用調色板預測初始化;及 在該SPS中接收一或多個SPS層級調色板預測初始化器。
- 如請求項2之方法,其進一步包含: 在該SPS中接收一第四語法元素,該第四語法元素指示包括於該SPS中之SPS層級調色板預測初始化器之一數目。
- 如請求項2之方法,其中該第一語法元素進一步指示在不使用該等SPS層級調色板預測條目中之任一者的情況下產生該調色板預測。
- 如請求項2之方法,其中該第三語法元素包含一一位元旗標。
- 如請求項1之方法,其中該第一語法元素包含一一位元旗標。
- 如請求項1之方法,其進一步包含: 響應於該第二語法元素指示包括於該PPS中之PPS層級調色板預測初始化器之數目等於零,接收一或多個調色板表條目值;及 產生包括該一或多個調色板表條目值之一調色板表。
- 如請求項7之方法,其進一步包含: 針對該視訊資料區塊之一樣本,接收一索引; 使用對應於用於該樣本之該索引之該等調色板表條目中之一者重建構該視訊資料區塊。
- 如請求項1之方法,其進一步包含: 基於指示包括於該PPS中之PPS層級調色板預測初始化器之數目等於零之該第二語法元素,判定以下中之一或多者:(1)一調色板預測是否包括單色條目之一指示;(2)用於明度調色板預測條目之一位元深度之一指示;或(3)該PPS中不存在色度調色板預測條目之一位元深度之一指示。
- 一種編碼視訊資料之方法,該方法包含: 針對經編碼視訊資料之該位元串流中之一圖像參數集(PPS)語法結構中之包涵物產生一第一語法元素,該第一語法元素指示使用PPS層級調色板預測條目產生一調色板預測; 針對該PPS語法結構中之包涵物產生一第二語法元素,該第二語法元素指示包括於該PPS中之PPS層級調色板預測條目之一數目等於零;及 輸出包括該第一語法元素及該第二語法元素之經編碼視訊資料之一位元串流。
- 如請求項10之方法,其進一步包含: 針對經編碼視訊資料之一位元串流中之一序列參數集(SPS)語法結構中之包涵物產生一第三語法元素,該第三語法元素指示啟用調色板預測初始化;及 針對該SPS語法結構中之包涵物產生一或多個SPS層級調色板預測條目。
- 如請求項11之方法,其中該第一語法元素進一步指示在不使用該等SPS層級調色板預測條目中任一者的情況下產生該調色板預測。
- 如請求項11之方法,其進一步包含: 針對該SPS語法結構中之包涵物產生一第四語法元素,該第四語法元素指示包括於該SPS中之SPS層級調色板預測條目之一數目。
- 如請求項11之方法,其中該第三語法元素包含一一位元旗標。
- 如請求項10之方法,其中該第一語法元素包含一一位元旗標。
- 一種用於解碼視訊資料之器件,該器件包含: 一記憶體,其經組態以儲存該視訊資料;及 一或多個處理器,其經組態以: 在一圖像參數集(PPS)中接收一第一語法元素,該第一語法元素指示使用PPS層級調色板預測初始化器產生一調色板預測; 在該PPS中接收一第二語法元素,該第二語法元素指示包括於該PPS中之該等PPS層級調色板預測初始化器之一數目等於零;及 基於該第一語法元素及該第二語法元素解碼一視訊資料區塊。
- 如請求項16之器件,其中該一或多個處理器進一步經組態以: 在一序列參數集(SPS)中接收一第三語法元素,該第三語法元素指示啟用調色板預測初始化;及 在該SPS中接收一或多個SPS層級調色板預測初始化器。
- 如請求項17之器件,其中該一或多個處理器進一步經組態以: 在該SPS中接收一第四語法元素,該第四語法元素指示包括於該SPS中之SPS層級調色板預測初始化器之一數目。
- 如請求項17之器件,其中該第一語法元素進一步指示在不使用該等SPS層級調色板預測條目中之任一者的情況下產生該調色板預測。
- 如請求項17之器件,其中該第三語法元素包含一一位元旗標。
- 如請求項16之器件,其中該第一語法元素包含一一位元旗標。
- 如請求項16之器件,其中該一或多個處理器進一步經組態以: 響應於該第二語法元素指示包括於該PPS中之PPS層級調色板預測初始化器之數目等於零,接收一或多個調色板表條目值;及 產生包括該一或多個調色板表條目值之一調色板表。
- 如請求項22之器件,其中該一或多個處理器進一步經組態以: 針對該視訊資料區塊之一樣本,接收一索引;及 使用對應於用於該樣本之該索引之該等調色板表條目中之一者重建構該視訊資料區塊。
- 如請求項16之器件,其中該一或多個處理器進一步經組態以: 基於指示包括於該PPS中之PPS層級調色板預測初始化器之數目等於零之該第二語法元素,判定以下中之一或多者:(1)一調色板預測是否包括單色條目之一指示;(2)用於明度調色板預測條目之一位元深度之一指示;或(3)該PPS中不存在色度調色板預測條目之一位元深度之一指示。
- 一種用於編碼視訊資料之器件,該器件包含: 一記憶體,其經組態以儲存該視訊資料;及 一或多個處理器,其經組態以: 針對經編碼視訊資料之該位元串流中之一圖像參數集(PPS)語法結構中之包涵物產生一第一語法元素,該第一語法元素指示使用PPS層級調色板預測條目產生一調色板預測; 針對該PPS語法結構中之包涵物產生一第二語法元素,該第二語法元素指示包括於該PPS中之PPS層級調色板預測條目之一數目等於零;及 輸出包括該第一語法元素及該第二語法元素之經編碼視訊資料之一位元串流。
- 如請求項25之器件,其中該一或多個處理器進一步經組態以: 針對經編碼視訊資料之一位元串流中之一序列參數集(SPS)語法結構中之包涵物產生一第三語法元素,該第三語法元素指示啟用調色板預測初始化;及 針對該SPS語法結構中之包涵物產生一或多個SPS層級調色板預測條目。
- 如請求項26之器件,其中該第一語法元素進一步指示在不使用該SPS層級調色板預測條目中之任一者的情況下產生該調色板預測。
- 如請求項26之器件,其進一步包含: 針對該SPS語法結構中之包涵物產生一第四語法元素,該第四語法元素指示包括於該SPS中之SPS層級調色板預測條目之一數目。
- 如請求項26之器件,其中該第三語法元素包含一一位元旗標。
- 如請求項25之器件,其中該第一語法元素包含一一位元旗標。
- 一種用於解碼視訊資料之裝置,該裝置包含: 用於在一圖像參數集(PPS)中接收指示使用PPS層級調色板預測初始化器產生一調色板預測之一第一語法元素的構件; 用於在該PPS中接收指示包括於該PPS中之該等PPS層級調色板預測初始化器之一數目等於零之一第二語法元素的構件;及 用於基於該第一語法元素及該第二語法元素解碼一視訊資料區塊的構件。
- 如請求項31之裝置,其進一步包含: 用於在一序列參數集(SPS)中接收指示啟用調色板預測初始化之一第三語法元素的構件;及 用於在該SPS中接收一或多個SPS層級調色板預測初始化器的構件。
- 如請求項32之裝置,其進一步包含: 用於在該SPS中接收指示包括於該SPS中之SPS層級調色板預測初始化器之一數目之一第四語法元素的構件。
- 如請求項32之裝置,其中該第一語法元素進一步指示在不使用該等SPS層級調色板預測條目中之任一者的情況下產生該調色板預測。
- 如請求項32之裝置,其中該第三語法元素包含一一位元旗標。
- 如請求項31之裝置,其中該第一語法元素包含一一位元旗標。
- 如請求項31之裝置,其進一步包含: 用於響應於該第二語法元素指示包括於該PPS中之PPS層級調色板預測初始化器之數目等於零而接收一或多個調色板表條目值的構件;及 用於產生包括該一或多個調色板表條目值之一調色板表的構件。
- 如請求項37之裝置,其進一步包含: 用於針對該視訊資料區塊之一樣本接收一索引的構件;及 用於使用對應於用於該樣本之該索引之該等調色板表條目中之一者重建構該視訊資料區塊的構件。
- 如請求項31之裝置,其進一步包含: 用於基於指示包括於該PPS中之PPS層級調色板預測初始化器之數目等於零的該第二語法元素判定以下中之一或多者的構件:(1)一調色板預測是否包括單色條目之一指示;(2)用於明度調色板預測條目之一位元深度之一指示;或(3)該PPS中不存在色度調色板預測條目之一位元深度之一指示。
- 一種儲存指令之電腦可讀儲存媒體,該等指令在由一或多個處理器執行時使得該一或多個處理器: 在一圖像參數集(PPS)中接收一第一語法元素,該第一語法元素指示使用PPS層級調色板預測初始化器產生一調色板預測; 在該PPS中接收一第二語法元素,該第二語法元素指示包括於該PPS中之該等PPS層級調色板預測初始化器之一數目等於零;及 基於該第一語法元素及該第二語法元素解碼一視訊資料區塊。
- 如請求項40之電腦可讀儲存媒體,其儲存其他指令,該等指令在執行時使得該一或多個處理器: 在一序列參數集(SPS)中接收一第三語法元素,該第三語法元素指示啟用調色板預測初始化;及 在該SPS中接收一或多個SPS層級調色板預測初始化器。
- 如請求項41之電腦可讀儲存媒體,其儲存其他指令,該等指令在執行時使得該一或多個處理器: 在該SPS中接收一第四語法元素,該第四語法元素指示包括於該SPS中之SPS層級調色板預測初始化器之一數目。
- 如請求項41之電腦可讀儲存媒體,其中該第一語法元素進一步指示在不使用該等SPS層級調色板預測條目中之任一者的情況下產生該調色板預測。
- 如請求項41之電腦可讀儲存媒體,其中該第三語法元素包含一一位元旗標。
- 如請求項40之電腦可讀儲存媒體,其中該第一語法元素包含一一位元旗標。
- 如請求項40之電腦可讀儲存媒體,其儲存其他指令,該等指令在執行時使得該一或多個處理器: 響應於該第二語法元素指示包括於該PPS中之PPS層級調色板預測初始化器之數目等於零,接收一或多個調色板表條目值;及 產生包括該一或多個調色板表條目值之一調色板表。
- 如請求項46之電腦可讀儲存媒體,其進一步包含: 針對該視訊資料區塊之一樣本,接收一索引;及 使用對應於用於該樣本之該索引之該等調色板表條目中之一者重建構該視訊資料區塊。
- 如請求項40之電腦可讀儲存媒體,其進一步包含: 基於指示包括於該PPS中之PPS層級調色板預測初始化器之數目等於零之該第二語法元素,判定以下中之一或多者:(1)一調色板預測是否包括單色條目之一指示;(2)用於明度調色板預測條目之一位元深度之一指示;或(3)該PPS中不存在色度調色板預測條目之一位元深度之一指示。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562218497P | 2015-09-14 | 2015-09-14 | |
| US201562237952P | 2015-10-06 | 2015-10-06 | |
| US15/263,686 US10356432B2 (en) | 2015-09-14 | 2016-09-13 | Palette predictor initialization and merge for video coding |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| TW201720150A true TW201720150A (zh) | 2017-06-01 |
Family
ID=58257650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW105130037A TW201720150A (zh) | 2015-09-14 | 2016-09-14 | 用於視訊寫碼之調色板預測初始化及合併 |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US10356432B2 (zh) |
| EP (1) | EP3350995B1 (zh) |
| JP (1) | JP6768795B2 (zh) |
| KR (1) | KR102624245B1 (zh) |
| CN (1) | CN108028932B (zh) |
| AU (1) | AU2016323040A1 (zh) |
| BR (1) | BR112018004934A2 (zh) |
| ES (1) | ES2892964T3 (zh) |
| TW (1) | TW201720150A (zh) |
| WO (1) | WO2017048849A1 (zh) |
Families Citing this family (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120035096A (ko) * | 2010-10-04 | 2012-04-13 | 한국전자통신연구원 | 쿼드 트리 변환 구조에서 부가 정보의 시그널링 방법 및 장치 |
| JP2017522839A (ja) | 2014-06-20 | 2017-08-10 | シャープ株式会社 | 整合パレット符号化 |
| WO2018061550A1 (ja) * | 2016-09-28 | 2018-04-05 | シャープ株式会社 | 画像復号装置及び画像符号化装置 |
| KR20190052128A (ko) * | 2016-10-04 | 2019-05-15 | 김기백 | 영상 데이터 부호화/복호화 방법 및 장치 |
| JP2018107534A (ja) * | 2016-12-22 | 2018-07-05 | 富士通株式会社 | 映像符号化装置、映像符号化方法、映像復号装置、及び映像復号方法 |
| WO2019151279A1 (ja) * | 2018-01-30 | 2019-08-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
| US11025905B2 (en) * | 2018-09-14 | 2021-06-01 | Tencent America LLC | Method and device for decoding with palette mode |
| AU2020226567B2 (en) | 2019-02-24 | 2025-05-22 | Beijing Bytedance Network Technology Co., Ltd. | Joint coding of palette mode usage indication |
| KR20210129647A (ko) | 2019-02-24 | 2021-10-28 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 팔레트 모드 사용 지시의 독립적인 코딩 |
| US10924750B2 (en) * | 2019-03-01 | 2021-02-16 | Alibaba Group Holding Limited | Palette size constraint in palette mode for video compression system |
| KR20210132662A (ko) * | 2019-03-08 | 2021-11-04 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 팔레트 모드 사용 지시의 조인트 코딩 |
| US11503311B2 (en) | 2019-03-08 | 2022-11-15 | Sony Group Corporation | Hybrid palette-DPCM coding for image compression |
| EP3939279A4 (en) * | 2019-03-15 | 2022-08-31 | Beijing Dajia Internet Information Technology Co., Ltd. | SIGNALING LOSSLESS ENCODING IN VIDEO ENCODING |
| WO2020207421A1 (en) * | 2019-04-09 | 2020-10-15 | Beijing Bytedance Network Technology Co., Ltd. | Entry construction for palette mode coding |
| CN113748674A (zh) * | 2019-04-25 | 2021-12-03 | 北京达佳互联信息技术有限公司 | 使用调色板模式进行视频编解码的方法和装置 |
| EP3987793A4 (en) * | 2019-06-21 | 2023-07-19 | Beijing Dajia Internet Information Technology Co., Ltd. | Methods and devices for prediction dependent residual scaling for video coding |
| US11432015B2 (en) * | 2019-07-11 | 2022-08-30 | Qualcomm Incorporated | Adaptive loop filtering across raster-scan slices |
| CN120956888A (zh) * | 2019-07-19 | 2025-11-14 | 韦勒斯标准与技术协会公司 | 视频信号处理方法和设备 |
| CN117459744A (zh) | 2019-07-20 | 2024-01-26 | 北京字节跳动网络技术有限公司 | 调色板模式使用指示的条件相关编解码 |
| CN114145013B (zh) | 2019-07-23 | 2023-11-14 | 北京字节跳动网络技术有限公司 | 调色板模式编解码的模式确定 |
| WO2021018166A1 (en) | 2019-07-29 | 2021-02-04 | Beijing Bytedance Network Technology Co., Ltd. | Scanning order improvements for palette mode coding |
| EP4030762A4 (en) * | 2019-09-10 | 2023-09-06 | Samsung Electronics Co., Ltd. | IMAGE DECODING DEVICE USING A SET OF TOOLS AND CORRESPONDING IMAGE DECODING METHOD, AND IMAGE ENCODING DEVICE AND CORRESPONDING IMAGE ENCODING METHOD |
| BR112022004606A2 (pt) * | 2019-09-12 | 2022-05-31 | Bytedance Inc | Método de processamento de vídeo, aparelho para processar dados de vídeo e meios de armazenamento e de gravação não transitórios legíveis por computador |
| US11323711B2 (en) * | 2019-09-20 | 2022-05-03 | Alibaba Group Holding Limited | Method and system for signaling chroma quantization parameter offset |
| CN114521328B (zh) | 2019-09-23 | 2025-04-04 | Lg电子株式会社 | 使用调色板模式的图像编码/解码方法和装置及发送比特流的方法 |
| WO2021060845A1 (ko) * | 2019-09-23 | 2021-04-01 | 엘지전자 주식회사 | 사용자 정의 팔레트 엔트리를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법 |
| EP4070557A4 (en) * | 2019-12-03 | 2023-01-18 | Alibaba Group Holding Limited | VIDEO PROCESSING METHOD AND APPARATUS FOR USING A PALETTE MODE |
| CN116260982B (zh) * | 2019-12-05 | 2023-11-24 | 阿里巴巴(中国)有限公司 | 用于色度采样的方法和装置 |
| WO2021138432A1 (en) * | 2019-12-30 | 2021-07-08 | Beijing Data Internet Information Technology Co., Ltd. | Methods and apparatus of video coding using palette mode |
| CN114930844A (zh) | 2019-12-30 | 2022-08-19 | 北京达佳互联信息技术有限公司 | 用于视频编解码的残差和系数编解码 |
| CN118524226A (zh) * | 2020-01-14 | 2024-08-20 | 华为技术有限公司 | 指示融合模式候选数量的方法和装置 |
| JP2021158633A (ja) * | 2020-03-30 | 2021-10-07 | Kddi株式会社 | 画像復号装置、画像復号方法及びプログラム |
| WO2021202667A1 (en) | 2020-03-31 | 2021-10-07 | Alibaba Group Holding Limited | Methods for palette prediction |
| CN111667573B (zh) * | 2020-06-07 | 2023-12-29 | 广东南方数码科技股份有限公司 | 地图切片的生成方法、装置、存储介质及电子设备 |
| US11595665B2 (en) * | 2021-02-11 | 2023-02-28 | Qualcomm Incorporated | Upsampling reference pixels for intra-prediction in video coding |
| CN118216153A (zh) * | 2021-11-11 | 2024-06-18 | Oppo广东移动通信有限公司 | 用于视频编码的初始化处理 |
| US20230231991A1 (en) * | 2022-01-14 | 2023-07-20 | Tencent America LLC | Palette Predictor Generation and Signaling |
| CN115601789A (zh) * | 2022-10-24 | 2023-01-13 | 乐歌人体工学科技股份有限公司(Cn) | 一种基于空间交叉卷积的坐姿识别系统及方法 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1718073B1 (en) * | 2004-02-17 | 2011-12-28 | Panasonic Corporation | Recording medium, reproduction device, program, and reproduction method |
| US8615138B2 (en) * | 2011-11-03 | 2013-12-24 | Google Inc. | Image compression using sub-resolution images |
| US11259020B2 (en) * | 2013-04-05 | 2022-02-22 | Qualcomm Incorporated | Determining palettes in palette-based video coding |
| CN105981380B (zh) * | 2013-12-18 | 2019-08-20 | 寰发股份有限公司 | 利用调色板编码的编码视频数据区块的方法和装置 |
| CN104754361B (zh) * | 2013-12-28 | 2018-01-23 | 同济大学 | 图像编码、解码方法及装置 |
| WO2015103496A2 (en) * | 2014-01-02 | 2015-07-09 | Vid Scale, Inc. | Two-demensional palette coding for screen content coding |
| CN106576152A (zh) | 2014-03-13 | 2017-04-19 | 华为技术有限公司 | 改进的屏幕内容编码方法 |
| JP2017513358A (ja) | 2014-03-17 | 2017-05-25 | ノキア テクノロジーズ オサケユイチア | ビデオのエンコーディングおよびデコーディングのための方法およびテクノロジー機器 |
| RU2016145610A (ru) | 2014-05-09 | 2018-06-09 | Нокиа Текнолоджиз Ой | Способ и устройство для кодирования и декодирования видеоинформации с использованием кодирования с палитрой |
| US10091512B2 (en) | 2014-05-23 | 2018-10-02 | Futurewei Technologies, Inc. | Advanced screen content coding with improved palette table and index map coding methods |
| RU2686559C2 (ru) * | 2015-01-29 | 2019-04-29 | Кэнон Кабусики Кайся | Инициализатор предсказателя палитры при кодировании или декодировании самостоятельных кодируемых структур |
| US20160234498A1 (en) * | 2015-02-05 | 2016-08-11 | Sharp Laboratories Of America, Inc. | Methods and systems for palette table coding |
| CN107534783B (zh) * | 2015-02-13 | 2020-09-08 | 联发科技股份有限公司 | 图像中区块的调色板索引图编解码方法 |
| SG11201706531UA (en) * | 2015-02-16 | 2017-09-28 | Hfi Innovation Inc | Method and apparatus for palette predictor initialization for palette coding in video and image compression |
-
2016
- 2016-09-13 US US15/263,686 patent/US10356432B2/en active Active
- 2016-09-14 TW TW105130037A patent/TW201720150A/zh unknown
- 2016-09-14 BR BR112018004934A patent/BR112018004934A2/pt not_active Application Discontinuation
- 2016-09-14 EP EP16777829.9A patent/EP3350995B1/en active Active
- 2016-09-14 AU AU2016323040A patent/AU2016323040A1/en not_active Abandoned
- 2016-09-14 ES ES16777829T patent/ES2892964T3/es active Active
- 2016-09-14 WO PCT/US2016/051745 patent/WO2017048849A1/en not_active Ceased
- 2016-09-14 KR KR1020187010294A patent/KR102624245B1/ko active Active
- 2016-09-14 CN CN201680052366.0A patent/CN108028932B/zh active Active
- 2016-09-14 JP JP2018513377A patent/JP6768795B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018530962A (ja) | 2018-10-18 |
| EP3350995B1 (en) | 2021-09-01 |
| WO2017048849A1 (en) | 2017-03-23 |
| BR112018004934A2 (pt) | 2018-10-09 |
| ES2892964T3 (es) | 2022-02-07 |
| US10356432B2 (en) | 2019-07-16 |
| KR20180053702A (ko) | 2018-05-23 |
| US20170078683A1 (en) | 2017-03-16 |
| CN108028932B (zh) | 2021-08-03 |
| CN108028932A (zh) | 2018-05-11 |
| KR102624245B1 (ko) | 2024-01-11 |
| JP6768795B2 (ja) | 2020-10-14 |
| AU2016323040A1 (en) | 2018-04-26 |
| EP3350995A1 (en) | 2018-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11431968B2 (en) | Variable number of intra modes for video coding | |
| CN108028932B (zh) | 用于视频译码的调色板预测初始化及合并 | |
| US10097842B2 (en) | Restriction of escape pixel signaled values in palette mode video coding | |
| TWI761332B (zh) | 從用於視訊寫碼之固定濾波器預測濾波器係數 | |
| JP6594903B2 (ja) | パレットベースのビデオコーディングにおけるエスケープサンプルのコーディング | |
| JP6983654B2 (ja) | 並列処理のためのイントラブロックコピー予測制限 | |
| JP6246920B2 (ja) | パレットベースのビデオコーディングにおけるパレット予測 | |
| JP6297671B2 (ja) | パレットベースのビデオコード化におけるパレットインデックスの決定 | |
| TWI669944B (zh) | 基於調色板之視訊寫碼中之寫碼行程 | |
| US11330297B2 (en) | Methods incorporating extensions to copy-above mode for palette mode coding | |
| JP6158422B2 (ja) | アラインされていないirapピクチャを含み得るマルチレイヤビットストリームのクロスレイヤpocアラインメント | |
| US20160234494A1 (en) | Restriction on palette block size in video coding | |
| TW201517599A (zh) | 內部運動補償延伸 | |
| TW201603563A (zh) | 用於視訊寫碼之具有執行長度碼之調色盤預測器信令 | |
| TW201352004A (zh) | 轉換係數寫碼 | |
| TW201717623A (zh) | 幀內預測及幀內模式寫碼 | |
| TW201804794A (zh) | 過濾資訊之發信號 | |
| JP2018507613A (ja) | ビデオコーディングにおけるパレットエントリのコーディング | |
| CN115398903A (zh) | 视频译码中的子图片提取和约束 | |
| CN114208172B (zh) | 执行用于调色板模式的率失真分析的方法和装置 | |
| CN114466185A (zh) | 使用调色板模式进行视频编解码的方法和装置 |