用於視頻編碼及解碼的高階語法
本發明係關於視頻編碼及解碼，且特別關於用於位元流中之高階語法。
近來，聯合視頻專家小組(JVET)(由MPEG及ITU-T研究群組16之VCEG所形成的合作小組)開始對於稱為多樣視頻編碼(VVC)的新視頻編碼標準工作。VVC之目標是提供在壓縮效能上超越現存HEVC標準之顯著增進(亦即，通常為之前的兩倍之多)且被完成於2020。主要目標應用及服務包括─但不限定於─360度且高動態範圍(HDR)視頻。總之，JVET係使用由獨立測試實驗室所執行的正式主觀測試以評估來自32個組織之回應。一些提議係展示通常為40%或更多(當相較於使用HEVC時)的壓縮效率增益。特別有效性被顯示於超高解析度(UHD)視頻測試材料上。因此，我們可預期顯著超越最終標準之目標50%的壓縮效能增益。
JVET探索模型(JEM)使用所有HEVC工具且已引入數個新工具。這些改變已使得對於位元流之結構的改變成為必要，且特別是對於高階語法，其可具有對位元流之整體位元率的影響。
本發明係有關對於高階語法結構的增進，其導致複雜度及/或傳訊的減少而無編碼效能的任何顯著退化。
在依據本發明之一第一態樣中，有提供一種解碼來自一位元流之視頻資料的方法，該位元流包含相應於一或多個切片之視頻資料，該解碼包含：剖析一或多個語法元素，而當至少一個語法元素指示一待解碼圖片含有一個切片時不允許一子圖片之使用及/或子圖片資訊之剖析；及使用該等語法元素來解碼該位元流。
在依據本發明之一進一步態樣中，有提供一種解碼來自一位元流之視頻資料的方法，該位元流包含相應於一或多個切片之視頻資料，該解碼包含：剖析一或多個語法元素，且結合其指示一待解碼圖片僅含有一個切片的至少一個語法元素而不允許一子圖片之使用及/或子圖片資訊之剖析；及使用該等語法元素來解碼該位元流。
在依據本發明之一又進一步態樣中，有提供一種解碼來自一位元流之視頻資料的方法，該位元流包含相應於一或多個切片之視頻資料，該位元流被約束以使得在其中該位元流包括具有指示一待解碼圖片僅含有一個切片的一值之一語法元素的情況下，該位元流亦包括具有指示其無子圖片被使用及/或其無子圖片資訊針對該圖片而存在之一值的一語法元素，該方法包含使用該等語法元素來解碼該位元流。
此避免位元流中之不一致。明確地，含有子圖片之一圖片具有數個切片。假如該圖片僅含有一個切片，則其為僅含有一個子圖片之一圖片。再者，此簡化一些實施方式之切片標頭的剖析。
該方法可進一步包含將指示一子圖片的存在之一語法元素的值限制於一值，該值係指示其當至少一個語法元素指示一待解碼圖片含有一個切片時無子圖片被使用。指示一子圖片的存在之該語法元素可包含指示是否有子圖片資訊存在之一旗標。
指示該待解碼圖片含有一個切片之該語法元素可包含切片標頭語法元素中之一圖片標頭，其中該圖片標頭被傳訊在該切片標頭中係指示含有一個切片之該圖片。
指示該待解碼圖片包括一個切片之該至少一個語法元素可包括指示其一光柵掃描切片模式被致能之一語法元素；可包括指示其一圖片中的磚之數目大於一之一語法元素；及可包括指示其該切片中的磚之數目等於該圖片中的磚之數目之一語法元素。
在依據本發明之一第二態樣中，有提供一種解碼來自一位元流之視頻資料的方法，該位元流包含相應於一或多個切片之視頻資料，該解碼包含：剖析一或多個語法元素，而當該圖片標頭被傳訊在該切片標頭中時不允許一子圖片之使用及/或子圖片資訊之剖析；及使用該等語法元素來解碼該位元流。
在依據本發明之一第三態樣中，有提供一種解碼來自一位元流之視頻資料的方法，該位元流包含相應於一或多個切片之視頻資料，該解碼包含：剖析一或多個語法元素，而當該圖片僅含有一個切片時不允許一顏色圖片之顏色平面被分離；及使用該等語法元素來解碼該位元流。
此態樣之一優點在於其避免不一致位元流。確實，含有獨立編碼之顏色平面的一圖片具有數個切片。因此，在目前圖片中不可能僅具有一個切片。此外，其簡化一些實施方式之切片標頭的剖析。
該不允許可包含實施其指示一圖片之顏色平面是否應被分離的一旗標具有指示該等平面不被分離之一值的一約束。
選擇性地，該方法進一步包含剖析一語法元素，該語法元素係指示一圖片標頭是否被傳訊在一切片標頭中，其中該圖片標頭被傳訊在該切片標頭中係指示含有一個切片的該圖片。
選擇性地，該方法進一步包含當該顏色圖片之該等顏色平面被分離且該圖片標頭被置於該切片標頭中時允許剖析一顏色平面識別符語法元素。
選擇性地，該方法進一步包含假如一光柵掃描切片模式被致能、該圖片中的磚之數目大於一以及當該切片中的磚之數目等於該圖片中的磚之數目時，不允許該目前圖片之該等顏色平面被分離。
選擇性地，該方法進一步包含藉由將指示該圖片之該等顏色平面的該分離之一旗標的值限制為指示無該等顏色平面之分離的值來不允許該圖片之該等顏色平面被分離。
選擇性地，假如一光柵掃描切片模式被致能、該圖片中的磚之數目大於一以及當該切片中的磚之數目等於該圖片中的磚之數目時，則一顏色平面識別符語法元素不被解碼。
在依據本發明之一第四態樣中，有提供一種解碼來自一位元流之視頻資料的方法，該位元流包含相應於一或多個切片之視頻資料，該解碼包含：剖析一或多個語法元素，而當該圖片標頭被傳訊在該切片標頭中時不允許一顏色圖片之該等顏色平面被分離；及使用該等語法元素來解碼該位元流。
在依據本發明之一第五態樣中，有提供一種解碼來自一位元流之視頻資料的方法，該方法包含履行依據第一或第二態樣之方法及依據第三或第四態樣之方法。在依據本發明之一第六態樣中，有提供一種解碼來自一位元流之視頻資料的方法，該位元流包含相應於一圖片的一或多個切片之視頻資料，該解碼包含：剖析一或多個語法元素，及迫使一顏色圖片之該等顏色平面被分離並推論該圖片中之該等一或多個切片的一單一顏色平面識別；以及使用該等語法元素來解碼該位元流。
此提供從含有3個顏色平面之位元流輕易地僅提取一個顏色平面而不對各切片進行一些語法元素之修改的可能性。因此，其減省針對此類應用的複雜度。
選擇性地，在其中圖片僅含有一個切片之情況下進行實施。
所推論的顏色平面識別可為亮度(Luma)。
選擇性地，當圖片標頭被傳訊在切片標頭中時進行實施。
選擇性地，當光柵掃描切片模式被致能、目前圖片中的磚之數目高於1以及當該切片中的磚之數目等於目前圖片中的磚之數目時進行實施。
在依據本發明之一第七態樣中，有提供一種將視頻資料編碼入一位元流中之方法，該位元流包含相應於一或多個切片之視頻資料，該編碼包含：判定一或多個語法元素，而當至少一個語法元素指示一待編碼圖片含有一個切片時不允許一子圖片之使用及/或子圖片資訊之編碼；及使用該等語法元素來編碼該位元流。在依據本發明之一額外態樣中，有提供一種將視頻資料編碼入一位元流中之方法，該位元流包含相應於一或多個切片之視頻資料，該編碼包含：判定一或多個語法元素，且結合其指示一待編碼圖片僅含有一個切片的至少一個語法元素而不允許一子圖片之使用及/或子圖片資訊之編碼；及使用該等語法元素來編碼該位元流。在依據本發明之一進一步額外態樣中，有提供一種將視頻資料編碼入一位元流中之方法，該位元流包含相應於一或多個切片之視頻資料，該位元流被約束以使得在其中該位元流包括具有指示一待解碼圖片僅含有一個切片的一值之一語法元素的情況下，該位元流亦包括具有指示其無子圖片被使用及/或其無子圖片資訊針對該圖片而存在之一值的一語法元素，該方法包含使用該等語法元素來編碼該位元流。此避免位元流中之不一致。明確地，含有子圖片之一圖片具有數個切片。假如該圖片僅含有一個切片，則其為僅含有一個子圖片之一圖片。再者，此簡化一些實施方式之切片標頭的剖析。
選擇性地，該方法進一步包含將指示一子圖片的存在之一語法元素的值限制於一值，該值係指示其當至少一個語法元素指示一待解碼圖片含有一個切片時無子圖片被使用。
指示一子圖片的存在之該語法元素可包含指示是否有子圖片資訊存在之一旗標。
指示該待編碼圖片含有一個切片之該語法元素可包含切片標頭語法元素中之一圖片標頭，其中該圖片標頭被傳訊在該切片標頭中係指示含有一個切片之該圖片。
指示待編碼圖片包括一個切片之該至少一個語法元素可包括指示其一光柵掃描切片模式被致能之一語法元素；可包括指示其一圖片中的磚之數目大於一之一語法元素；及可包括指示其該切片中的磚之數目等於該圖片中的磚之數目之一語法元素。
在依據本發明之另一態樣中，有提供一種解碼來自一位元流之視頻資料的方法，該位元流包含相應於一或多個切片之視頻資料，該解碼包含：剖析一或多個語法元素，且不允許一子圖片之使用及/或子圖片資訊之剖析以及一圖片標頭被傳輸在一切片標頭中；及使用該等語法元素來解碼該位元流。
選擇性地，子圖片之使用及/或子圖片資訊之剖析以及一圖片標頭是否被傳輸在一切片標頭中係由待剖析語法元素指示。
選擇性地，指示子圖片之使用及/或子圖片資訊之剖析的一語法元素以及指示一圖片標頭應被傳輸在一切片標頭中的一語法元素不被允許結合。
在依據本發明之第八態樣中，有提供一種將視頻資料編碼入一位元流中之方法，該位元流包含相應於一或多個切片之視頻資料，該編碼包含：判定一或多個語法元素，而當該圖片標頭被傳訊在該切片標頭中時不允許一子圖片之使用及/或子圖片資訊之編碼；及使用該等語法元素來編碼該視頻資料。
在依據本發明之另一進一步態樣中，有提供一種將視頻資料編碼入一位元流中之方法，該位元流包含相應於一或多個切片之視頻資料，該解碼包含：剖析一或多個語法元素，且不允許一子圖片之使用及/或子圖片資訊之剖析以及一圖片標頭被傳輸在一切片標頭中；及使用該等語法元素來編碼該位元流。
選擇性地，子圖片之使用及/或子圖片資訊之剖析以及一圖片標頭是否被傳輸在一切片標頭中係由待剖析語法元素指示。
選擇性地，指示子圖片之使用及/或子圖片資訊之剖析的一語法元素以及指示一圖片標頭應被傳輸在一切片標頭中的一語法元素不被允許結合。
在依據本發明之一第九態樣中，有提供一種將視頻資料編碼入一位元流中之方法，該位元流包含相應於一或多個切片之視頻資料，該編碼包含：判定一或多個語法元素，而當該圖片僅含有一個切片時不允許一顏色圖片之顏色平面被分離；及使用該等語法元素來編碼該位元流。此態樣之一優點在於其避免不一致位元流。確實，含有獨立編碼之顏色平面的一圖片具有數個切片。因此，在目前圖片中不可能僅具有一個切片。此外，其簡化一些實施方式之切片標頭的剖析。
該不允許可包含實施其指示一圖片之顏色平面是否應被分離的一旗標具有指示該等平面不被分離之一值的一約束。
該方法可進一步包含判定一語法元素，該語法元素係指示一圖片標頭是否被傳訊在一切片標頭中，其中該圖片標頭被傳訊在該切片標頭中係指示含有一個切片的該圖片。
該方法可進一步包含當該顏色圖片之該等顏色平面被分離且該圖片標頭被置於該切片標頭中時允許判定一顏色平面識別符語法元素。
該方法可進一步包含假如一光柵掃描切片模式被致能、該圖片中的磚之數目大於一以及當該切片中的磚之數目等於該圖片中的磚之數目時，不允許該目前圖片之該等顏色平面被分離。
選擇性地，該不允許該圖片之該等顏色平面被分離係藉由將指示該圖片之該等顏色平面的該分離之一旗標的值限制為指示無該等顏色平面之分離的值。
選擇性地，假如一光柵掃描切片模式被致能、該圖片中的磚之數目大於一以及當該切片中的磚之數目等於該圖片中的磚之數目時，則一顏色平面識別符語法元素不被編碼。
在依據本發明之一第十態樣中，有提供一種將視頻資料編碼入一位元流中之方法，該位元流包含相應於一或多個切片之視頻資料，該編碼包含：判定一或多個語法元素，而當該圖片標頭應被傳訊在該切片標頭中時不允許一顏色圖片之該等顏色平面被分離；及使用該等語法元素來編碼該視頻資料。
在依據本發明之一第十一態樣中，有提供一種將視頻資料編碼入一位元流中之方法，該方法包含履行依據第七態樣或第八態樣之方法以及依據第九態樣或第十態樣之方法。
在依據本發明之一第十二態樣中，有提供一種將視頻資料編碼入一位元流中之方法，該位元流包含相應於一圖片之一或多個切片的視頻資料，該編碼包含：判定一或多個語法元素，並迫使一顏色圖片之顏色平面被分離且設定該圖片中之一或多個切片的一單一顏色平面識別；及使用該等語法元素來編碼該位元流。在一實施例中，該顏色平面識別可被推論。
此提供從含有3個顏色平面之位元流輕易地僅提取一個顏色平面而不對各切片進行一些語法元素之修改的可能性。因此，其減省針對此類應用的複雜度。
選擇性地，在其中圖片僅含有一個切片之情況下進行實施。
選擇性地，所推論的顏色平面識別為亮度。
選擇性地，當圖片標頭被傳訊在切片標頭中時進行實施。
選擇性地，當光柵掃描切片模式被致能、目前圖片中的磚之數目高於1以及當該切片中的磚之數目等於目前圖片中的磚之數目時進行實施。
在依據本發明之一第十三態樣中，有提供一種裝置，其包含組態成履行第一態樣至第四態樣之任一者的方法之一解碼器。
在依據本發明之一第十四態樣中，有提供一種裝置，其包含組態成履行第五態樣至第八態樣之任一者的方法之一編碼器。
在依據本發明之一第十五態樣中，有提供一種電腦程式，其在執行時致使第一態樣至第八態樣之任一者的方法被履行。
該程式可由本身所提供或者可由載體媒體所攜載或被攜載於載體媒體中。載體媒體可為非暫態，例如，儲存媒體，特別是電腦可讀取儲存媒體。載體媒體亦可為暫態，例如，信號或其他傳輸媒體。信號可經由任何適當網路來傳輸，包括網際網路。本發明之進一步特徵係由獨立項及附屬項請求項所特徵化。
本發明之一態樣中的任何特徵可被應用至本發明之其他態樣，於任何適當的組合中。特別地，方法態樣可被應用至設備態樣，而反之亦然。
再者，硬體中所實施的特徵可被實施於軟體中，而反之亦然。對於文中之軟體及硬體特徵的任何參考應因此被建構。
如文中所述之任何設備特徵亦可被提供為方法特徵，而反之亦然。如文中所使用，手段功能特徵可被替代地表達以其相應結構，諸如適當地編程的處理器及相關記憶體。
亦應理解：在本發明之任何態樣中所描述及定義的各種特徵之特定組合可被獨立地實施及/或供應及/或使用。
圖1係相關於高效率視頻編碼(High Efficiency Video Coding (HEVC))視頻標準中所使用的編碼結構。視頻序列1係由一連串數位影像i所組成。各此等數位影像係由一或更多矩陣所表示。矩陣係數代表像素。
該序列之影像2可被分割為切片3。切片可於某些例子中構成完整影像。這些切片被分割為無重疊編碼樹單元(CTU)。編碼樹單元(CTU)是高效率視頻編碼(HEVC)視頻標準之基本處理單元且觀念上其結構係相應於數種先前視頻標準中所使用的巨集區塊單元。CTU亦有時被稱為最大編碼單元(LCU)。CTU具有亮度及色度成分部分，其成分部分之各者被稱為編碼樹區塊(CTB)。這些不同顏色成分未顯示於圖1中。
CTU通常係大小64 x 64像素。各CTU可接著使用四元樹分解而被疊代地分割為較小的可變大小編碼單元(CU)5。
編碼單元為基本編碼元件且係由稱為預測單元(PU)及變換單元(TU)之兩種子單元所構成。PU或TU之最大大小係等於CU大小。預測單元係相應於針對像素值之預測的CU之分割。CU之各種不同分割為PU是可能的(如由606所示)，包括分割為4個方形PU及兩不同的分割為2個矩形PU。變換單元為基本單元，其係接受使用DCT之空間變換。CU可根據四元樹表示607而被分割為TU。
各切片被嵌入一個網路抽象化層(NAL)單元中。此外，視頻序列之編碼參數被儲存在專屬NAL單元(稱為參數集)中。在HEVC及H.264/AVC中，兩種參數集NAL單元被利用：第一，序列參數集(SPS)NAL單元，其係收集在整個視頻序列期間未改變的所有參數。通常，其係處置編碼輪廓、視頻框之大小及其他參數。第二，圖片參數集(PPS)NAL單元包括其可從一個影像(或框)改變至序列中之另一個的參數。HEVC亦包括視頻參數集(VPS)NAL單元，其含有描述位元流之整體結構的參數。VPS是一種以HEVC定義的新類型參數集，且應用於位元流之所有層。一層可含有多數時間子層，且所有版本1的位元流被限制於單一層。HEVC具有用於可擴縮性及多重視角之分層延伸，且這些將致能多數層，具有向後相容的版本1基礎層。
在多樣視頻編碼(VVC)之目前定義中，針對圖片之分割有三種高階可能性：子圖片、切片及磚。各具有其本身的特性及可用性。分割成子圖片係用於一視頻之區的空間提取及/或合併。分割成切片係基於如先前標準之類似概念並相應於視頻傳輸之封包化，即使其可被用於其他應用。分割成磚係概念上一編碼器平行化工具，因為其將圖片分裂成圖片之(幾乎)相同大小的獨立編碼區。但此工具亦可被用於其他應用。
因為圖片之分割的這三個高階可用可能方式可被一起使用，所以針對其使用有數個模式。如在VVC之目前草案規格中所界定，切片的兩個模式被界定。針對光柵掃描切片模式，切片含有依圖片之磚光柵掃描的完整磚之序列。目前VVC規格中之此模式被繪示在圖10(a)中。如在此圖中所示，顯示該圖片含有18×12的亮度CTU，其被分割成12個磚及3個光柵掃描切片。
針對第二者(矩形切片模式)，一切片含有數個完整磚，其集體地來自圖片之一矩形區。目前VVC規格中之此模式被繪示在圖10(b)中。在此範例中，顯示具有18×12亮度CTU的圖片，其被分割成24個磚及9個矩形切片。
圖2繪示一資料通訊系統，其中本發明之一或更多實施例可被實施。資料通訊系統包含傳輸裝置(於此情況下為伺服器201)，其可操作以經由資料通訊網路200而傳輸資料流之資料封包至接收裝置(於此情況下為客戶終端202)。資料通訊網路200可為廣域網路(WAN)或區域網路(LAN)。此一網路可為(例如)無線網路(Wifi / 802.11a或b或g)、乙太網路、網際網路或由數個不同網路所組成的混合網路。於本發明之特定實施例中，資料通訊系統可為數位電視廣播系統，其中伺服器201傳送相同的資料內容至多數客戶。
由伺服器201所提供的資料流204可由其表示視頻及音頻資料之多媒體資料所組成。音頻及視頻資料流可(於本發明之一些實施例中)由伺服器201個別地使用麥克風及相機來擷取。於一些實施例中，資料流可被儲存在伺服器201上或者由伺服器201從另一資料提供器所接收、或者被產生在伺服器201上。伺服器201被提供有一用以編碼視頻及音頻流之編碼器，特別是用以提供用於傳輸之壓縮位元流，其為被呈現為針對編碼器之輸入的資料之更緊密的表示。
為了獲得已傳輸資料之品質相對於已傳輸資料之量的較佳比例，視頻資料之壓縮可(例如)依據HEVC格式或H.264/AVC格式。
客戶202接收已傳輸位元流並解碼已重建位元流以將視頻影像再生於顯示裝置上並由揚聲器再生音頻資料。
雖然串流情境被考量於圖2之範例中，但應理解：於本發明之一些實施例中，介於編碼器與解碼器之間的資料通訊可使用媒體儲存裝置(諸如光碟)來履行。
於本發明之一或更多實施例中，視頻影像被傳輸以其代表補償偏移之資料以利供應至影像之已重建像素來提供已過濾像素於最終影像中。
圖3概略地繪示處理裝置300，其係組態成實施本發明之至少一實施例。處理裝置300可為一種裝置，諸如微電腦、工作站或輕型可攜式裝置。裝置300包含一連接至以下的通訊匯流排313：
- 中央處理單元311，諸如微處理器，標示為CPU；
- 唯讀記憶體306，標示為ROM，用以儲存供實施本發明之電腦程式；
- 隨機存取記憶體312，標示為RAM，用以儲存本發明之實施例的方法之可執行碼、以及暫存器，調適成記錄用以實施編碼數位影像的序列之方法及/或解碼位元流之方法所需的變數和參數，依據本發明之實施例；及
- 通訊介面302，連接至通訊網路303，待處理數位資料係透過該通訊網路來傳輸或接收。
選擇性地，設備300亦可包括以下組件：
- 資料儲存機構304(諸如硬碟)，用以儲存電腦程式及資料，該等電腦程式係用以實施本發明之一或更多實施例的方法，該資料係在本發明之一或更多實施例的實施期間所使用或產生的；
- 磁碟306之磁碟驅動305，該磁碟驅動被調適成從磁碟306讀取資料或將資料寫至該磁碟上；
- 螢幕309，用以顯示資料及/或作用為與使用者之圖形介面，藉由鍵盤310或任何其他指針機構。
設備300可被連接至各種周邊，諸如(例如)數位相機320或麥克風308，各被連接至輸入/輸出卡(未顯示)以供應多媒體資料至設備300。
通訊匯流排提供介於設備300中所包括的或連接至該設備300的各個元件之間的通訊及可交互操作性。匯流排之表示是非限制性的；且特別地，中央處理單元可操作以將指令傳遞至設備300之任何元件，直接地或者藉由設備300之另一元件。
磁碟306可被取代以任何資訊媒體，諸如(例如)光碟(CD-ROM)(可寫入或不可寫入)、ZIP碟或記憶卡；及(以一般性術語)藉由資訊儲存機構，其可由微電腦或由微處理器所讀取、被集成(或不集成)入該設備、可能為可移除的且調適成儲存一或更多程式，該等程式的執行係致能編碼數位影像之序列的方法及/或解碼位元流的方法，依據待實施之本發明。
可執行碼可被儲存於唯讀記憶體306中、於硬碟304上或者於可移除數位媒體(諸如，例如磁碟306，如先前所述)上。依據變體，程式之可執行碼可藉由通訊網路303來接收，經由介面302，以被儲存於設備300(在被執行前)的儲存機構(諸如硬碟304)之一中。
中央處理單元311係調適成依據本發明以控制並指導程式或多數程式之指令或軟體碼部分的執行，該些指令係儲存於前述儲存機構之一中。在開機時，其被儲存於非揮發性記憶體(例如在硬碟304上或者在唯讀記憶體306中)中之程式或多數程式被轉移入隨機存取記憶體312，其接著含有程式或多數程式之可執行碼、以及用以儲存供實施本發明所需之變數和參數的暫存器。
於此實施例中，該設備為可編程設備，其係使用軟體以實施本發明。然而，替代地，本發明可被實施以硬體(例如，以特定應用積體電路或ASIC之形式)。
圖4繪示一種依據本發明之至少一實施例的編碼器之方塊圖。編碼器係由已連接模組所表示，各模組係調適成實施(例如以將由裝置300之CPU 311所執行的編程指令之形式)一種方法之至少一相應步驟，該方法係依據本發明之一或更多實施例以實施編碼影像序列之影像的至少一實施例。
數位影像i
0至i
n 401之原始序列係由編碼器400接收為輸入。各數位影像係由一組樣本(已知為像素)所表示。
位元流410係由編碼器400所輸出，在編碼程序之實施後。位元流410包含複數編碼單元或切片，各切片包含切片標頭及切片本體，該切片標頭係用以傳輸其用來編碼該切片之編碼參數的編碼值，而該切片本體包含已編碼視頻資料。
輸入數位影像i
0至i
n 401係由模組402分割為像素之區塊。該等區塊係相應於影像部分且可有可變大小(例如，4x4、8x8、16x16、32x32、64x64、128x128像素且數個矩形區塊大小亦可被考量)。編碼模式係針對各輸入區塊來選擇。編碼模式之兩個家族被提供：根據空間預測編碼之編碼模式(內預測)、及根據時間預測之編碼模式(間編碼、合併、SKIP)。可能的編碼模式被測試。
模組403係實施內預測程序，其中待編碼的既定區塊係藉由預測子來預測，該預測子係從待編碼的該區塊附近之像素所計算。選定的內預測子以及介於既定區塊與其預測子之間的差異之指示被編碼以提供殘餘，假如內編碼被選擇的話。
時間預測係由移動估計模組404及移動補償模組405來實施。首先，來自一組參考影像416中的參考影像被選擇，且該參考影像之一部分(亦稱為參考區域或影像部分，其為針對待編碼的既定區塊之最接近區域)係由移動估計模組404所選擇。移動補償模組405接著使用該選定區域以預測待編碼的區塊。介於選定參考區域與既定區塊(亦稱為殘餘區塊)之間的差異係由移動補償模組405所計算。選定參考區域係由移動向量所指示。
因此，於兩情況(空間及時間預測)下，殘餘係藉由從原始區塊減去該預測來計算。
於藉由模組403所實施的INTRA預測中，預測方向被編碼。於時間預測中，至少一移動向量被編碼。在由模組404、405、416、418、417所實施的間預測中，用以識別此移動向量之至少一移動向量或資料係針對時間預測來編碼。
相對於移動向量及殘餘區塊之資訊被編碼，假如間預測被選擇的話。為了進一步減少位元率，假設其移動為同質的，則移動向量係藉由相關於移動向量預測子之差異而被編碼。一組移動資訊預測子之移動向量預測子係由移動向量預測及編碼模組417從移動向量場418獲得。
編碼器400進一步包含選擇模組406，用於藉由應用編碼成本準則(諸如率-失真準則)來選擇編碼模式。為了進一步減少冗餘，由變換模組407對殘餘區塊應用變換(諸如DCT)，所獲得的變換接著係藉由量化模組408而被量化且藉由熵編碼模組409而被熵編碼。最後，目前正被編碼之區塊的已編碼殘餘區塊被插入位元流410中。
編碼器400亦履行已編碼影像之解碼以產生用於後續影像之移動估計的參考影像。此致能編碼器及解碼器接收位元流以具有相同的參考框。反量化模組411履行已量化資料之反量化，接續以藉由反變換模組412之反變換。反內預測模組413使用預測資訊以判定應使用哪個預測子於給定區塊，而反移動補償模組414實際地將其由模組412所獲得的殘餘加至從該組參考影像416所獲得的參考區域。
接著由模組415應用後過濾以過濾像素之已重建框。於本發明之實施例中，SAO迴路過濾器被使用，其中補償偏移被加至已重建影像之已重建像素的像素值。
圖5繪示其可被用以從編碼器接收資料的解碼器60之方塊圖，依據本發明之實施例。解碼器係由已連接模組所表示，各模組係調適成實施(例如以將由裝置300之CPU 311所執行的編程指令之形式)一種由解碼器60所實施之方法的相應步驟。
解碼器60接收一包含編碼單元之位元流61，各編碼單元係由標頭及本體所組成，該標頭含有關於編碼參數之資訊而該本體含有已編碼視頻資料。VVC中之位元流的結構係參考圖6而被更詳細地描述於下。如相關於圖4所解釋，已編碼視頻資料被熵編碼，而移動向量預測子的指標被編碼(針對既定區塊)於預定數目的位元上。所接收的已編碼視頻資料係由模組62所熵解碼。殘餘資料接著由模組63所去量化，且接著由模組64應用反變換以獲得像素值。
指示編碼模式之模式資料亦被熵解碼；且根據該模式，INTRA類型解碼或INTER類型解碼被履行在影像資料之已編碼區塊上。
在INTRA模式之情況下，INTRA預測子係由內反預測模組65根據位元流中所指明的內預測模式來判定。
假如該模式為INTER，則移動預測資訊被提取自該位元流以找出由編碼器所使用的參考區域。移動預測資訊係由參考框指標及移動向量殘餘所組成。移動向量預測子被加至移動向量殘餘以由移動向量解碼模組70獲得移動向量。
移動向量解碼模組70將移動向量解碼應用於其由移動預測所編碼的各目前區塊。一旦移動向量預測子之指標(針對目前區塊)已被獲得，則與目前區塊相關聯的移動向量之實際值可被解碼並用以由模組66應用反移動補償。由已解碼移動向量所指示之參考影像部分被提取自參考影像68以應用反移動補償66。移動向量場資料71被更新以已解碼移動向量來用於後續已解碼移動向量之反預測。
最後，獲得已解碼區塊。由後過濾模組67應用後過濾。已解碼視頻信號69最後由解碼器60所提供。
圖6繪示範例編碼系統VVC中之位元流的組織，如在JVET-Q2001-vD中所述。
依據VVC編碼系統之位元流61係由語法元素及經編碼資料之依序序列所組成。語法元素及經編碼資料被放置入網路抽象化層(NAL)單元601-608中。有不同的NAL單元類型。網路抽象化層提供用以將位元流囊封入不同協定的能力，如RTP/IP，其代表即時協定/網際網路協定、ISO基礎媒體檔案格式等等。網路抽象化層亦提供用於封包損失恢復力的框架。
NAL單元被劃分成視頻編碼層(VCL) NAL單元及非VCL NAL單元。VCL NAL單元含有實際經編碼視頻資料。非VCL NAL單元含有額外資訊。此額外資訊可為用於經編碼視頻資料之解碼所需的參數或者為可提升經解碼視頻資料之可用性的補充資料。NAL單元606相應於切片並構成位元流之VCL NAL單元。
不同NAL單元601-605相應於不同參數集，這些NAL單元係非VCL NAL單元。解碼器參數集(DPS) NAL單元301含有其針對既定解碼程序係恆定的參數。視頻參數集 (VPS) NAL單元602含有針對完整視頻(及因此完整位元流)所界定的參數。DPS NAL單元可界定比VPS中之參數更靜態的參數。換言之，DPS之參數比VPS之參數更不頻繁地改變。
序列參數集 (SPS) NAL單元603含有針對一視頻序列所界定的參數。特別地，SPS NAL單元可界定子圖片佈局及視頻序列之相關參數。與各子圖片相關聯的參數指明其施加至子圖片之編碼約束。特別地，其包含一旗標，該旗標指示其介於子圖片之間的時間預測被限制於來自相同子圖片之資料。另一旗標可致能或除能迴路過濾器橫跨子圖片邊界。
圖片參數集 (PPS) NAL單元604含有針對一圖片或一圖片群組所界定的參數。調適參數集 (APS) NAL單元605含有用於迴路過濾器之參數，通常係調適性迴路過濾器(ALF)或整形器模型(或具有色度擴縮(LMCS)模型之亮度映射)或在切片階所使用的擴縮矩陣。
PPS之語法(如在VVC之目前版本中所提議)包含語法元素，其指明亮度樣本中之圖片的大小且亦指明磚及切片中之各圖片的分割。
PPS含有語法元素，其使得能夠判定一框中之切片位置。因為子圖片形成框中之矩形區，所以能夠判定該組切片、磚之部分或磚，其屬於來自參數集NAL單元之子圖片。PPS以及APS具有ID機制，以限制所傳輸之相同PPS的量。
PPS與圖片標頭之間的主要差異係其傳輸，PPS通常被傳輸給圖片群組，相較於PH被系統地傳輸給各圖片。因此，PPS(相較於PH)含有其可針對數個圖片係恆定的參數。
位元流亦可含有補充增強資訊 (SEI) NAL單元(未表示在圖6中)。在位元流中之這些參數集的發生週期係可變的。針對整個位元流所界定的VPS可在位元流中僅發生一次。反之，針對切片所界定的APS可針對各圖片中之各切片發生一次。實際上，不同切片可仰賴相同APS，而因此通常有比各圖片中之切片更少的APS。特別地，APS被界定在圖片標頭中。然而，ALP APS仍可被界定在切片標頭中。
存取單元定界符(AUD)NAL單元607分離兩個存取單元。存取單元係一組NAL單元，其可包含具有相同解碼時戳之一或多個經編碼圖片。此選擇性NAL單元僅含有一個語法元素在目前VVC規格中：pic_type，此語法元素指示其在AU中之經編碼圖片的所有切片之slice_type值。假如pic_type被設為等於0，則AU僅含有內切片。假如等於1，則其含有P及I切片。假如等於2，則其含有B、P或內切片。
此NAL單元僅含有一個語法元素，pic-type。
表1 語法AUD
在JVET-Q2001-vD中，pic_type
被界定如下：
「pic_type
指示其在含有AU定界符NAL單元的AU中之經編碼圖片的所有切片之slice_type
值為pic_type
之既定值的表2中所列出之集合的成員。pic_type
之值應等於0、1或2，在符合此規格之此版本的位元流中。pic_type
之其他值被保留以供由ITU‑T | ISO/IEC之未來使用。符合此規格之此版本的解碼器應忽略pic_type
之保留值」。
rbsp_trailing_bits( )係一函數，其係添加位元以對準至一位元組之末端。因此在此函數之後，所剖析的位元流量係整數個位元組。
表2pic_typ e
之解讀
PH NAL單元608係一圖片標頭NAL單元，其係群集一個經編碼圖片之一組切片所共有的參數。圖片可參考一或多個APS以指示AFL參數、整形器模型及擴縮矩陣(由圖片之切片所使用)。
VCL NAL單元606之各者含有切片。切片可相應於整個圖片或子圖片、單一磚或複數磚或磚之片段。例如，圖6之切片含有數個磚620。切片係由切片標頭610及原始位元組序列酬載 RBSP 611(其含有經編碼成編碼區塊640之經編碼像素資料)所組成。
PPS之語法(如在VVC之目前版本中所提議)包含語法元素，其指明亮度樣本中之圖片的大小且亦指明磚及切片中之各圖片的分割。
PPS含有語法元素，其使得能夠判定一框中之切片位置。因為子圖片形成框中之矩形區，所以能夠判定該組切片、磚之部分或磚，其屬於來自參數集NAL單元之子圖片。
NAL單元切片
NAL單元切片層含有切片標頭及切片資料，如在表3中所示。
表3 切片層語法
APS
調適參數集(APS)NAL單元605被界定在顯示語法元素之表4中。
如表4中所描繪，有由aps_params_type語法元素所提供之三個可能類型的APS：
• ALF_AP：針對ALF參數
• 針對LMCS參數之LMCS_APS
• 針對擴縮列表相對參數之SCALING_APS
表4 調適參數集語法
這三個類型的APS參數被依次討論如下
ALF APS
ALF參數被描述在調適性迴路過濾器資料語法元素 (表5)中。首先，四個旗標被專用於指明ALF過濾器係針對亮度及/或針對色度來傳輸以及CC-ALF(跨成分調適性迴路過濾)是否針對Cb成分及Cr成分來致能。假如亮度過濾器旗標被致能，則另一旗標被解碼以得知截割值是否被傳訊 (alf_luma_clip_flag
)。接著經傳訊之過濾器的數目係使用alf_luma_num_filters_signalled_minus1語法元素而被解碼。假如需要的話，代表ALF係數差量之語法元素「alf_luma_coeff_delta_idx
」係針對各經致能過濾器而被解碼。接著各過濾器之各係數的絕對值及符號被解碼。
假如alf_luma_clip_flag
被致能，則各經致能過濾器之各係數的截割指數被解碼。
以相同方式，ALF色度係數被解碼(假如需要的話)。
假如CC-ALF係針對Cr或Cb來致能，則過濾器之數目被解碼(alf_cc_cb_filters_signalled_minus1 或 alf_cc_cr_filters_signalled_minus1
)且相關的係數被解碼(alf_cc_cb_mapped_coeff_abs
及alf_cc_cb_coeff_sig n
或各別地alf_cc_cr_mapped_coeff_abs
及alf_cc_cr_coeff_sign
)
表5 調適性迴路過濾器資料語法
亮度映射及色度擴縮兩者之LMCS語法元素
以下的表6提供全部LMCS語法元素，其被編碼以調適參數集(APS)語法結構，當aps_params_type
參數被設為1 (LMCS_APS)時。最多四個LMCS APS可被用於經編碼視頻序列，然而，僅單一LMCS APS可被用於既定圖片。
這些參數被用以建立亮度之前向和反向映射功能以及色度之擴縮功能。
表6 具有色度擴縮資料語法之亮度映射
擴縮列表APS
擴縮列表提供用以更新用於量化之量化矩陣的可能性。在VVC中，此擴縮矩陣被傳訊在APS中，如在擴縮列表資料語法元素(表7擴縮列表資料語法)中所述。第一語法元素指明擴縮矩陣是否被用於LFNST(低頻不可分離變換)工具，基於旗標scaling_matrix_for_lfnst_disabled_flag
。假如擴縮列表被用於色度成分(scaling_list_chroma_present_flag
)，則第二者被指明。接著用以建立擴縮矩陣所需的語法元素被解碼(scaling_list_copy_mode_flag, scaling_list_pred_mode_flag , scaling_list_pred_id_delta, scaling_list_dc_coef, scaling_list_delta_coef
)。
表7 擴縮列表資料語法
圖片標頭
圖片標頭被傳輸在其他切片資料前的各圖片之開始處。此相較於該標準之先前草案中之先前標頭係極大的。所有這些參數之完整描述可被發現在JVET-Q2001-vD中。表10顯示目前圖片標頭解碼語法中之這些參數。
其可被解碼之相關語法元素係有關於：
• 此圖片之使用、參考框與否
• 圖片之類型
• 輸出框
• 圖片之數目
• 子圖片使用(假如需要的話)
• 參考圖片列表(假如需要的話)
• 顏色平面(假如需要的話)
• 分割更新(假如撤銷旗標被致能的話)
• 差量QP參數(假如需要的話)
• 移動資訊參數(假如需要的話)
• ALF參數(假如需要的話)
• SAO參數(假如需要的話)
• 量化參數(假如需要的話)
• LMCS參數(假如需要的話)
• 擴縮列表參數(假如需要的話)
• 圖片標頭延伸(假如需要的話)
• 等等
圖片「類型」
第一旗標為gdr_or_irap_pic_flag
，其指示目前圖片是否為再同步化圖片(IRAP或GDR)。假如此旗標為真，則gdr_pic_flag
被解碼以得知目前圖片是否為IRAP或GDR圖片。
接著ph_inter_slice_allowed_flag
被解碼以識別間切片被容許。
當其被容許時，旗標ph_intra_slice_allowed_flag
被解碼以得知目前圖片是否容許內切片。
接著non_reference_picture_flag
、指示PPS ID之ph_pic_parameter_set_id
及圖片順序數ph_pic_order_cnt_lsb
被解碼。圖片順序數提供目前圖片之數目。
假如圖片為GDR或IRAP圖片，則旗標no_output_of_prior_pics_flag
被解碼。
而假如圖片為GDR，則recovery_poc_cnt
被解碼。接著，ph_poc_msb_present_flag
及poc_msb_val
被解碼(假如需要的話)。
ALF
在描述有關目前圖片之重要資訊的這些參數後，該組ALF APS id語法元素被解碼，假如ALF被致能在SPS階的話以及假如ALF被致能在圖片標頭階的話。由於sps_alf_enabled_flag
旗標，ALF被致能在SPS階。且由於alf_info_in_ph_flag
等於1，ALF傳訊被致能在圖片標頭階；否則(alf_info_in_ph_flag等於0)ALF被傳訊在切片階。
alf_info_in_ph_flag被界定如下：
「alf_info_in_ph_flag 等於 1 指明其 ALF 資訊存在 PH 語法結構中且不存在切片標頭中，意指不含 PH 語法結構的 PPS 。 alf_info_in_ph_flag 等於 0 指明其 ALF 資訊不存在 PH 語法結構中且可存在切片標頭中，意指不含 PH 語法結構的 PPS
。」
首先ph_alf_enabled_present_flag
被解碼以判定ph_alf_enabled_flag
是否應被解碼。假如ph_alf_enabled_flag
被致能，則ALF被致能於目前圖片之所有切片。
假如ALF被致能，則亮度之ALF APS id的量被解碼，使用pic_num_alf_aps_ids_luma
語法元素。針對各APS id，亮度之APS id值被解碼「ph_alf_aps_id_luma
」。
針對色度，語法元素ph_alf_chroma_idc
被解碼以判定ALF是否被致能於色度、僅於Cr、或者僅於Cb。假如其被致能，則色度之APS ID的值被解碼，使用ph_alf_aps_id_chroma
語法元素。
以此方式，CC-ALF方法之APS ID被解碼(假如需要的話)於Cb及/或CR成分。
LMCS
該組LMCS APS ID語法元素被接著解碼，假如LMCS被致能在SPS階的話。首先ph_lmcs_enabled_flag
被解碼以判定LMCS是否被致能於目前圖片。假如LMCS被致能，則ID值為經解碼ph_lmcs_aps_id
。針對色度，僅ph_chroma_residual_scale_flag
被解碼以致能或除能用於色度之方法。
擴縮列表
該組擴縮列表APS ID被接著解碼，假如擴縮列表被致能在SPS階的話。ph_scaling_list_present_flag
被解碼以判定擴縮矩陣是否被致能於目前圖片。且APS ID (ph_scaling_list_aps_id
)之值被接著解碼。
子圖片
子圖片參數被致能，當其被致能在SPS時以及假如子圖片id傳訊被除能的話。其亦含有關於虛擬邊界的一些資訊。針對子圖片參數，八個語法元素被界定：
輸出旗標
這些子圖片參數被接續以pic_output_flag
(假如存在的話)。
參考圖片列表
假如參考圖片列表被傳訊在圖片標頭中(由於rpl_info_in_ph_flag等於1)的話，則參考圖片列表之參數被解碼ref_pic_lists()
，其含有以下語法元素：
且其被界定在以下語法表中：
表8 參考圖片列表語法
分割
該組分割參數被解碼(假如需要的話)且含有以下語法元素：
加權預測
加權預測參數pred_weight_table()
被解碼，假如加權預測方法被致能在PPS階的話以及假如加權預測參數被傳訊在圖片標頭(wp_info_in_ph_flag
等於1)的話。pred_weight_table()
含有針對列表L0及針對列表L1之加權預測參數，當雙預測加權預測被致能時。當加權預測參數被傳輸在圖片標頭中時，針對各列表之權重的數目被明確地傳輸如在pred_weight_table()
語法表表9中所繪示。
表9 加權預測參數語法
差量QP
當圖片為內時，ph_cu_qp_delta_subdiv_intra_slice
及ph_cu_chroma_qp_offset_subdiv_intra_slice
被解碼(假如需要的話)。而假如間切片被容許的話，ph_cu_qp_delta_subdiv_inter_slic e
及ph_cu_chroma_qp_offset_subdiv_inter_slice
被解碼(假如需要的話)。最後，圖片標頭延伸語法元素被解碼(假如需要的話)。
所有參數alf_info_in_ph_flag
、rpl_info_in_ph_flag
、qp_delta_info_in_ph_flag 、 sao_info_in_ph_flag
、dbf_info_in_ph_flag 、 wp_info_in_ph_flag
被傳訊在PPS中。
表10 圖片標頭結構
切片標頭
切片標頭被傳輸在各切片之開始時。切片標頭含有約65個語法元素。此相較於較早視頻編碼標準中之先前切片標頭係極大的。所有切片標頭參數之完整描述可被發現在JVET-Q2001-vD中。表11顯示目前切片標頭解碼語法中之這些參數。
表11 部分切片標頭
首先picture_header_in_slice_header_flag
被解碼以得知 picture_header_structure( )是否存在切片標頭中。slice_subpic_id
被解碼，假如subpic_info_present_flag 被設為等於 1 在 SPS 中的話， slice_subpic_id
提供目前切片之子圖片id。subpic_info_present_flag
被界定如下，在目前VVC規格中：「 subpic_info_present_flag 等於 1 指明其子圖片資訊係存在於 CLVS ，且在 CLVS 之各圖片中可有多於一個子圖片。 subpic_info_present_flag 等於 0 指明其子圖片資訊係不存在於 CLVS ，且在 CLVS 之各圖片中僅有一個子圖片。 當 res_change_in_clvs_allowed_flag 等於 1 時， subpic_info_present_flag 之值應等於 0 。」
接著slice_address
被解碼以判定目前切片之位址。切片位址被解碼，假如目前切片模式為矩形切片模式(rect_slice-flag
等於1)的話以及假如目前子圖片中之切片的數目高於1的話。切片位址亦可被解碼，假如目前切片模式為光柵掃描模式(rect_slice_flag
等於0)的話以及假如目前圖片中之磚的數目基於PPS中所界定之變數來計算係高於1的話。num_tiles_in_slice_minus1
被接著解碼，假如目前圖片中之磚的數目大於一的話以及假如目前切片模式不是矩形切片模式的話。在目前VVC草案規格中，num_tiles_in_slice_minus1
被界定如下：
「num_tiles_in_slice_minus1
加1，當存在時，指明切片中之磚的數目。num_tiles_in_slice_minus1 之值應在0至NumTilesInPic−1(包括)之範圍中。」
接著slice_type
被解碼。
假如ALF被致能在SPS階(sps_alf_enabled_flag
)的話以及假如ALF被傳訊在切片標頭中(alf_info_in_ph_flag
等於0)的話，則ALF資訊被解碼。此包括一旗標，其指示ALF被致能於目前切片(slice_alf_enabled_flag
)。假如其被致能，則亮度之APS ALF ID的數目 (slice_num_alf_aps_ids_luma
)被解碼的話，則APS ID被解碼(slice_alf_aps_id_luma[ i ]
)。接著slice_alf_chroma_idc
被解碼以得知ALF是否被致能於色度成分以及其係致能哪個色度成分。接著APS ID針對色度被解碼slice_alf_aps_id_chroma
(假如需要的話)。以相同方式，slice_cc_alf_cb_enabled_flag
被解碼(假如需要的話)以得知CC ALF方法是否被致能。假如CC ALF被致能的話，則CR及/或CB之相關APS ID被解碼，假如CC ALF被致能於CR及/或CB的話。
假如當separate_colour_plane_flag
被設為等於1時顏色平面被獨立地傳輸的話，則colour_plane_id
被解碼。separate_colour_plane_flag
被界定如下，在目前VVC草案規格中：「 separate_colour_plane_flag 等於 1 指明其 4:4:4 色度格式之三個顏色成分被分離地編碼。 separate_colour_plane_flag 等於 0 指明其顏色成分不被分離地編碼。當 separate_colour_plane_flag 不存在時，其被推論為等於 0 。當 separate_colour_plane_flag 等於 1 時，經編碼圖片係由三個分離成分所組成，其各者係由一個顏色平面之經編碼樣本 (Y 、 Cb 、或 Cr) 所組成且使用單色度編碼語法。在此情況下，各顏色平面係與特定 colour_plane_id 值相關聯。」
當參考圖片列表ref_pic_lists( )
未被傳輸在圖片標頭中(rpl_info_in_ph_flag
等於0)時以及當NAL單元不是IDR或者假如參考圖片列表被傳輸於IDR圖片(sps_idr_rpl_present_flag
等於1)的話，則參考圖片列表參數被解碼；這些係類似於圖片標頭中的那些。
假如參考圖片列表被傳輸在圖片標頭中(rpl_info_in_ph_flag
等於1)或NAL單元不是IDR的話或者假如參考圖片列表被傳輸於IDR圖片(sps_idr_rpl_present_flag
等於1)的話以及假如至少一個列表之參考的數目高於1的話，則撤銷旗標num_ref_idx_active_override_flag
被解碼。此旗標被界定如下，在VVC草案規格中：「 num_ref_idx_active_override_flag 等於 1 指明其語法元素 num_ref_idx_active_minus1[ 0 ] 存在於 P 及 B 切片且語法元素 num_ref_idx_active_minus1[ 1 ] 存在於 B 切片。 num_ref_idx_active_override_flag 等於 0 指明其語法元素 num_ref_idx_active_minus1[ 0 ] 及 num_ref_idx_active_minus1 [ 1 ] 不存在。當不存在時， num_ref_idx_active_override_flag 之值被推論為等於 1 。
假如num_ref_idx_active_override_flag
被致能，則各列表“i
”之參考指標的數目num_ref_idx_active_minus1[ i ]
被解碼(假如需要的話)。目前列表之參考指標撤銷的數目應低於或等於在ref_pic_lists( )
中所傳訊之參考框指標的數目。因此撤銷減少(或非)各列表之參考框的最大數目。
當切片類型不是內時且假如需要的話，則cabac_init_flag
被解碼。假如參考圖片列表被傳輸在切片標頭中且有其他條件的話，則slice_collocated_from_l0_flag
及slice_collocated_ref_idx
被解碼。這些資料係相關於CABAC編碼及經共置的移動向量。
以相同方式，當切片類型不是內時，則加權預測之參數pred_weight_table( )
被解碼。slice_qp_delta
被解碼，假如差量QP資訊被傳輸在切片標頭中(qp_delta_info_in_ph_flag
等於0)的話。假如需要的話，語法元素slice_cb_qp_offset 、 slice_cr_qp_offset 、 slice_joint_cbcr_qp_offset 、 cu_chroma_qp_offset_enabled_flag
被解碼。
假如SAO資訊被傳輸在切片標頭中(sao_info_in_ph_flag
等於0)的話且假如其被致能在SPS階(sps_sao_enabled_flag
)的話，則SAO之經致能旗標被解碼於亮度及色度兩者：slice_sao_luma_flag 、 slice_sao_chroma_flag
。
接著解塊過濾器參數被解碼，假如其被傳訊在切片標頭中(dbf_info_in_ph_flag
等於0)的話。
旗標slice_ts_residual_coding_disabled_flag
被系統性地解碼以得知變換跳過殘餘編碼方法是否被致能於目前切片。
假如LMCS被致能於圖片標頭中(ph_lmcs_enabled_flag
等於1)的話，則旗標slice_lmcs_enabled_flag
被解碼。在目前VVC規格中，slice_lmcs_enabled_flag
被界定如下：
「slice_lmcs_enabled_flag 等於 1 指明其具有色度擴縮之亮度映射被致能於目前切片。 slice_lmcs_enabled_flag 等於 0 指明其具有色度擴縮之亮度映 射不被致能於目前切片。
當slice_lmcs_enabled_flag 不存在時，其被推論為等於 0 。」
以相同方式，假如擴縮列表被致能在圖片標頭中(phpic_scaling_list_presentenabled_flag
等於1)的話，則旗標slice_scaling_list_present_flag
被解碼。在目前VVC規格中，slice_scaling_list_present_flag
被界定如下：
「slice_scaling_list_present_flag 等於 1 指明其用於目前切片之擴縮列表資料係基於參考擴縮列表 APS 中所含有的擴縮列表資料來導出，其中 aps_params_type 等於 SCALING_APS 且 adaptation_parameter_set_id 等於 ph_scaling_list_aps_id 。 slice_scaling_list_present_flag 等於 0 指明其用於目前圖片之擴縮列表資料為在條項 7.4.3.21 中所導出指明的預設擴縮列表資料。當不存在時， slice_scaling_list_present_flag 之值被推論為等於 0
。」
接著，其他參數被解碼(假如需要的話)。
切片標頭中之圖片標頭
以一特別的傳訊方式，圖片標頭(708)可被傳訊在切片標頭(710)內部，如圖7中所繪示。在該情況下，沒有僅含圖片標頭(608)之NAL單元。NAL單元701-707係相應於圖6中之各別NAL單元601-607。類似地，編碼磚720及編碼區塊740相應於圖6之區塊620及640。因此，這些單元及區塊之解釋將不被重複於此。此可被致能在切片標頭中，由於旗標picture_header_in_slice_header_flag。此外，當圖片標頭被傳訊在切片標頭內部時，該圖片應僅含有一個切片。因此，每圖片永遠僅有一個圖片標頭。此外，旗標 picture_header_in_slice_header_flag 將具有針對CLVS(經編碼層視頻序列，Coded Layer Video Sequence)之所有圖片的相同值。其表示介於包括第一IRAP的兩個IRAP之間的所有圖片具有每圖片僅一個切片。
旗標picture_header_in_slice_header_flag被界定如下：「 picture_header_in_slice_header_flag 等於 1 指明其 PH 語法結構係存在切片標頭中。 picture_header_in_slice_header_flag 等於 0 指明其 PH 語法結構不存在切片標頭中。 位元流符合之要求係其 picture_header_in_slice_header_flag 之值應在 CLVS 中之所有經編碼切片中均相同。 當 picture_header_in_slice_header_flag 等於 1( 針對經編碼切片 ) 時，位元流符合之要求係其在 CLVS 中應無具有等於 PH_NUT 之 nal_unit_type 的 VCL NAL 單元存在。 當 picture_header_in_slice_header_flag 等於 0 時，則在目前圖 片中之所有經編碼切片均應具有 picture_header_in_slice_header_flag 等於 0 ，且目前 PU 應具有 PH NAL 單元。 picture_header_structure( ) 含有 picture_rbsp() 除了填充位元 rbsp_trailing_bits( ) 之語法元素。」
串流應用
一些串流應用僅提取該位元流之某些部分。這些提取可為空間(如子圖片)或時間(視頻序列之子部分)。接著這些經提取部分可與其他位元流合併。一些其他者係藉由僅提取一些框來減少框率。通常，這些串流應用之主要目的係使用容許的頻寬之最大值來產生最大品質給末端使用者。
在VVC中，APS ID編號已被限制以利框率減少，使得一框之新APS id編號無法被用於在時間階層中之上階處的框。然而，針對提取該位元流之部分的串流應用，APS ID需被追蹤以判定哪個APS應被保持於位元流之組部分，因為框(如IRAP)不重設APS ID之編號。
LMCS(具有色度擴縮之亮度映射)
具有色度擴縮之亮度映射(LMCS)技術係一種應用在一區塊上之樣本值轉換方法，在應用迴路過濾器於視頻解碼器(如VVC)中前。
LMCS可被劃分成兩個子工具。第一個被應用在亮度區塊上而第二個子工具被應用在色度區塊上，如以下所述：
1)第一子工具係基於調適性分段式線性模型之亮度成分的迴路中映射。亮度成分之迴路中映射調整輸入信號之動態範圍，藉由重新分佈碼字橫跨動態範圍以增進壓縮效率。亮度映射係利用前向映射功能入「映射域」及相應反映射功能以回到「輸入域」中。
2)第二子工具係相關於色度成分，其中亮度相依的色度殘餘擴縮被應用。色度殘餘擴縮被設計以補償介於亮度信號與其相應色度信號之間的互作用。色度殘餘擴縮係取決於目前區塊之頂部及/或左側經重建相鄰亮度樣本的平均值。
就像視頻編碼器中之大部分其他工具(如VVC)，LMCS可被致能/除能在序列階(使用SPS旗標)。色度殘餘擴縮是否被致能亦被傳訊在切片階。假如亮度映射被致能的話，一額外旗標被傳訊以指示亮度相依的色度殘餘擴縮是否被致能。當亮度映射不被使用時，亮度相依的色度殘餘擴縮被完全除能。此外，亮度相依的色度殘餘擴縮總是被除能於其大小小於或等於4之色度區塊。
圖8顯示如以上針對亮度映射子工具所解釋之LMCS的原理。圖8中之陰影區塊係新LMCS功能性區塊，包括亮度信號之前向及反向映射。重要的是注意：當使用LMCS時，一些解碼操作被應用於「映射域」。這些操作係由圖8中之虛線的區塊所表示。其通常相應於反量化、反變換、亮度內預測及重建步驟，其在於以亮度殘餘加入亮度預測。反之，圖8中之實線區塊指示解碼程序被應用於原始(亦即，無映射)域之處，且此包括迴路過濾(諸如解塊、ALF、和SAO)、移動補償預測、及已解碼圖片之儲存為參考圖片(DPB)。
圖9顯示如圖8之類似圖形，但此次此係針對LMCS工具之色度擴縮子工具。圖9中之陰影區塊係新LMCS功能性區塊，其包括亮度相依的色度擴縮程序。然而，在色度中，有一些相較於亮度情況之重要差異。於此僅反量化及反變換(由虛線區塊所表示)被履行在色度樣本之「映射域」中。色度預測、移動補償、迴路過濾之所有其他步驟被履行在原始域中。如圖9中所示，僅有一擴縮程序且沒有如亮度映射之前向及反向處理。
藉由使用分段式線性模型的亮度映射。
亮度映射子工具係使用分段式線性模型。其表示分段式線性模型將輸入信號動態範圍分離成16個相等的子範圍；且針對各子範圍，其線性映射參數係使用指定給該範圍之碼字的數目來表達。
亮度映射之語意
語法元素lmcs_min_bin_idx
指明利用色度擴縮(LMCS)建構程序而用在亮度映射中之最小分格指標。lmcs_min_bin_idx
之值應在0至15(包括)之範圍中。
語法元素lmcs_delta_max_bin_idx
指明介於15與利用色度擴縮建構程序而用在亮度映射中的最大分格指標LmcsMaxBinIdx
之間的差量值。lmcs_delta_max_bin_idx
之值應在0至15(包括)之範圍中。LmcsMaxBinIdx
之值被設為等於15−lmcs_delta_max_bin_idx
。LmcsMaxBinIdx
之值應大於或等於lmcs_min_bin_idx
。
語法元素lmcs_delta_cw_prec_minus1
加1係指明用於語法lmcs_delta_abs_cw[ i ]
之表示的位元之數目。
語法元素lmcs_delta_abs_cw[ i ]
係指明第i分格之絕對差量碼字值。
語法元素lmcs_delta_sign_cw_flag[ i ]
係指明變數lmcsDeltaCW[ i ]
之符號。當lmcs_delta_sign_cw_flag[ i ]
不存在時，其被推論為等於0。
亮度映射之LMCS中間變數計算
為了應用前向及反向亮度映射處理，一些中間變數及資料陣列是需要的。
首先，變數OrgCW被導出如下：
接著，變數lmcsDeltaCW[ i ]，其中i=lmcs_min_bin_idx .. LmcsMaxBinIdx，被計算如下：
新變數lmcsCW[ i ]被導出如下：
– 針對i = 0.. lmcs_min_bin_idx − 1，lmcsCW[ i ] 被設為等於0。
– 針對i = lmcs_min_bin_idx..LmcsMaxBinIdx，以下適用：
lmcsCW[ i ]之值應在(OrgCW＞＞3)至(OrgCW＜＜3 − 1)(包括)之範圍中。
– 針對i = LmcsMaxBinIdx + 1..15，lmcsCW[ i ]被設為等於0。
變數InputPivot[ i ]，其中i = 0..16，被導出如下：
變數LmcsPivot[ i ](其中i=0..16)、變數ScaleCoeff[ i ]及InvScaleCoeff[ i ](其中i=0..15)被計算如下：
前向亮度映射
如由圖8所示，當LMCS被應用於亮度時，稱為predMapSamples[i][j]
之亮度再映射樣本被獲取自預測樣本predSamples[ i ][ j ]
。predMapSamples[i][j]
被計算如下：
首先，指標idxY被計算自預測樣本predSamples[ i ][ j ]
，在位置(i, j)處。
接著，predMapSamples[i][j] 係藉由使用段落0之中間變數idxY、LmcsPivot[ idxY ]及InputPivot[ idxY ] 而被導出如下：
亮度重建樣本
重建程序被獲得自預測亮度樣本predMapSample[i][j]
及殘餘亮度樣本resiSamples[i][j]
。
經重建亮度圖片樣本recSamples [ i ][ j ]
係藉由將predMapSample[i][j]
加至resiSamples[i][j]
而被簡單地獲得如下：
在此上述關係式中，Clip 1函數係截割函數，用以確保經重建樣本係介於0與1＜＜ BitDepth -1之間。
反向亮度映射
當依據圖8以應用反向亮度映射時，以下操作被應用在處理中之目前區塊的各樣本recSample[i][j]
上：
首先，指標idxY被計算自重建樣本recSamples[ i ][ j ]
，在位置(i, j)處。
反向映射亮度樣本invLumaSample[i][j]係基於而被導出如下：
截割操作被接著執行以獲得最後樣本：
色度擴縮
色度擴縮之LMCS語意
在表6中之語法元素lmcs_delta_abs_crs
係指明變數lmcsDeltaCrs
之絕對差量碼字值。lmcs_delta_abs_crs
之值應在0至7(包括)之範圍中。當不存在時，lmcs_delta_abs_crs
之值被推論為等於0。
語法元素lmcs_delta_sign_crs_flag
指明變數lmcsDeltaCrs
之符號。當不存在時，lmcs_delta_sign_crs_flag
被推論為等於0。
色度擴縮之LMCS中間變數計算
為了應用色度擴縮程序，一些中間變數是需要的。
變數lmcsDeltaCrs
被導出如下：
變數ChromaScaleCoeff[ i ]
，其中i=0…15，被導出如下：
色度擴縮程序
在第一步驟中，變數invAvgLuma
被導出以計算在目前相應色度區塊周圍之經重建亮度樣本的平均亮度值。平均亮度被計算自圍繞相應色度區塊之左側及頂部亮度區塊。
假如無樣本可得，則變數invAvgLuma
被設定如下：
基於段落0之中間陣列LmcsPivot[ ]
，變數idxYInv 被接著導出如下：
變數varScale被導出如下：
當變換被應用於目前色度區塊上時，經重建色度圖片樣本陣列recSamples
被導出如下：
假如無變換已被應用於目前區塊，則以下適用：
編碼器考量
LMCS編碼器之基本原理係首先將更多碼字指派至其中那些動態範圍段具有比平均方差更低的碼字之範圍。在此之替代公式中，LMCS之主要目標係指派較少的碼字至其具有比平均方差更高的碼字之那些動態範圍段。以此方式，圖片之平滑區域將被編碼以比平均更多的碼字，且反之亦然。
其被儲存在APS中之LMCS的所有參數(參見表6)被判定在編碼器側。LMCS編碼器演算法係基於局部亮度方差之評估，且依據上述基本原理以最佳化LMCS參數之判定。該最佳化被接著進行以獲得既定區塊之最終經重建樣本的最佳PSNR矩陣。
實施例
1.當僅一個切片時避免子圖片
在一實施例中，當至少一個語法元素指示其目前圖片僅含有一個切片時，子圖片不被容許及/或不被傳訊。此可藉由將以下句子添加至subpic_info_present_flag
之語意來實施：「當一或多個語法元素指明其目前圖片僅含有一個切片時，位元流符合之要求係其 subpic_info_present_flag 應等於 0 。」
此實施例之優點在於其避免位元流之不一致。確實，含有子圖片之一圖片具有數個切片。假如該圖片僅含有一個切片，則其為僅含有一個子圖片之一圖片。因此，換言之，圖片之一子部分。此外，其簡化一些實施方式之切片標頭的剖析。
1.1 當PH為SH時避免子圖片
在一實施例中，當圖片標頭被傳輸在切片標頭中時，子圖片不被容許及/或不被傳訊。確實，當圖片標頭在切片標頭中時，目前圖片僅含有一個切片。因此不可能將目前圖片分裂成數個子圖片，其暗示數個切片為含有至少一個切片之子圖片。
1.1.1 只有語意
在一實施例中，當圖片標頭被傳輸在切片標頭中時，subpic_info_present_flag
被設為等於0。此可藉由將以下句子添加至subpic_info_present_flag
之語意來獲得：「當參考 PPS 之切片標頭含有 PH 語法結構時，位元流符合之要求係其 subpic_info_present_flag 應等於 0 。」
1.1.2 表語法
在一實施例中，當切片標頭在切片標頭中(如在表12中所描繪)時，slice_subpic_id
不被解碼。在此語法表中，僅當subpic_info_present_flag
被設為等於1且picture_header_in_slice_header_flag
被設為等於0時，slice_subpic_id
被解碼。
1.2 當切片中之磚等於圖片中之磚且圖片中之磚的數目大於1時避免子圖片
在一實施例中，當光柵掃描切片模式被致能、目前圖片中之磚的數目高於1時以及當切片中之磚的數目等於目前圖片中之磚的數目時，子圖片不被容許及/或不被傳訊。在該情況下，確定其目前圖片僅含有一個切片，因此目前圖片不得含有數個子圖片。
1.2.1 只有語意
在一實施例中，當光柵掃描切片模式被致能、目前圖片中之磚的數目大於1時以及當切片中之磚的數目等於目前圖片中之磚的數目時，subpic_info_present_flag
被設為等於0。此可藉由將以下句子添加至subpic_info_present_flag
之語意來獲得：「當光柵掃描切片模式被致能、且目前圖片中的磚之數目大於 1 以及當切片中之磚的數目等於目前圖片中之磚的數目時，位元流符合之要求係其 subpic_info_present_flag 應等於 0 。」
1.2.2 表語法
在一實施例中，當光柵掃描切片模式被致能、目前圖片中之磚的數目高於1以及當切片中之磚的數目等於目前圖片中之磚的數目(如在表13中所描繪)時，slice_subpic_id
不被解碼。
1.3–1.1+1.2之組合
在一實施例中，當圖片標頭被傳輸在切片標頭中時或者當光柵掃描切片模式被致能、目前圖片中之磚的數目高於1時以及當切片中之磚的數目等於目前圖片中之磚的數目時，子圖片不被容許及/或不被傳訊。
2 當僅有一個切片時避免分離的顏色平面
在一實施例中，當目前圖片僅含有一個切片時，目前圖片之顏色平面不被分離。此可藉由將以下句子添加至separate_colour_plane_flag
之語意來獲得：「當一或多個語法元素指明其目前圖片僅含有一個切片時，位元流符合之要求係其 separate_colour_plane_flag 不應等於 1 。」
此實施例之優點在於其避免不一致位元流。確實，含有獨立編碼之顏色平面的一圖片具有數個切片。因此在目前圖片中不可能僅具有一個切片。此外，其簡化一些實施方式之切片標頭的剖析。
2.1 當PH為SH時避免分離的顏色平面
在一實施例中，當圖片標頭被傳輸在切片標頭中時，目前圖片之顏色平面不被分離。確實，當圖片標頭在切片標頭中時，目前圖片僅含有一個切片。
2.1.1 只有語意
在一實施例中，當圖片標頭被傳輸在切片標頭中時，separate_colour_plane_flag
被設為等於0。此可藉由將以下句子添加至separate_colour_plane_flag
之語意來獲得：「當參考 PPS 之切片標頭含有 PH 語法結構時，位元流符合之要求係其 separate_colour_plane_flag 應等於 0 。」
2.1.2 表語法
在一實施例中，當圖片標頭在切片標頭中(如在表12中所描繪)時，colour_plane_id
不被解碼。在此語法表中，僅當separate_colour_plane_flag
被設為等於1且picture_header_in_slice_header_flag
被設為等於0時colour_plane_id
被解碼。
2.2 當切片中之磚等於圖片中之磚且圖片中之磚的數目大於1時避免分離的顏色平面
在一實施例中，當光柵掃描切片模式被致能、目前圖片中之磚的數目大於1時以及當切片中之磚的數目等於目前圖片中之磚的數目時，目前圖片之顏色平面不被分離。在該情況下，確定其目前圖片僅含有一個切片，因此目前圖片不得含有在不同切片中編碼的顏色平面。
2.2.1 只有語意
在一實施例中，當光柵掃描切片模式被致能、目前圖片中之磚的數目大於1時以及當切片中之磚的數目等於目前圖片中之磚的數目時，separate_colour_plane_flag
被設為等於0。此可藉由將以下句子添加至separate_colour_plane_flag
之語意來獲得：「當光柵掃描切片模式被致能、且目前圖片中的磚之數目大於 1 以及當切片中之磚的數目等於目前圖片中之磚的數目時，位元流符合之要求係其 separate_colour_plane_flag 應等於 0 。」
2.2.2 表語法
在一實施例中，當光柵掃描切片模式被致能、目前圖片中之磚的數目高於1以及當切片中之磚的數目等於目前圖片中之磚的數目(如在表13中所描繪)時，colour_plane_id
不被解碼。
2.3 2.1+2.2之組合
在一實施例中，當圖片標頭被傳輸在切片標頭中或者當光柵掃描切片模式被致能、目前圖片中之磚的數目大於1時以及當切片中之磚的數目等於目前圖片中之磚的數目時，目前圖片之顏色平面不被分離。
表12 顯示修改之部分切片標頭
表13 顯示修改之部分切片標頭
3.1與2之結合
在一實施例中，當至少一個語法元素指示其目前圖片僅含有一個切片時，子圖片不被容許及/或傳訊且目前圖片之顏色平面不被分離。
4.僅具有顏色平面之分離的顏色平面
在一實施例中，經分離顏色平面語法元素被設為等於1，且目前圖片含有僅具相同顏色平面id之一或多個切片。
此實施例提供從含有3個顏色平面之位元流輕易地僅提取一個顏色平面而不對各切片進行一些語法元素之修改的可能性。因此，其減省針對此類應用的複雜度。
4.1 僅具有設為等於亮度之一個切片的分離的顏色平面
在一實施例中，當至少一個語法元素指示其目前圖片僅含有一個切片時，亮度成分之單色度可被傳訊，由於分離的顏色平面語法元素。於該情況下，colour_plane_id
被推論為等於0。相較於先前實施例之此實施例的優點是位元率減少，因為顏色平面id無須被傳輸。
此可藉由將以下句子添加至colour_plane_id
之語意來獲得：「當一或多個語法元素指明其目前圖片僅含有一個切片時，以及當 separate_colour_plane_flag 被設為等於 1 時， colour_plane_id 被推論為等於 0 。」
4.1.1 當PH為SH時
在一實施例中，當圖片標頭被傳輸在切片標頭中時，亮度成分之單色度可被傳訊，由於經分離的顏色平面語法元素。於該情況下，colour_plane_id
被推論為等於0。相較於先前實施例之此實施例的優點是位元率減少，因為顏色平面id無須被傳輸。
此可藉由將以下句子添加至colour_plane_id
之語意來獲得：「當參考 PPS 之切片標頭含有 PH 語法結構時，以及當 separate_colour_plane_flag 被設為等於 1 時， colour_plane_id 被推論為等於 0 。」
再者，顏色平面id無須被傳輸如表12中所示。
4.1.2 當切片中之磚等於圖片中之磚且圖片中之磚的數目大於1時
在一實施例中，當光柵掃描切片模式被致能、目前圖片中之磚的數目高於1時以及當切片中之磚的數目等於目前圖片中之磚的數目時，亮度成分之單色度可被傳訊，由於經分離的顏色平面語法元素。在該情況下，colour_plane_id
被推論為等於0。此實施例的優點是位元率減少，因為顏色平面id無須被傳輸。
此可藉由將以下句子添加至colour_plane_id
之語意來獲得：「當光柵掃描切片模式被致能、且目前圖片中之磚的數目高於 1 以及當切片中之磚的數目等於目前圖片中之磚的數目時、以及當 separate_colour_plane_flag 被設為等於 1 時， colour_plane_id 被推論為等於 0 。」
4.1.3 4.1.1與4.1.2之組合
在一實施例中，當圖片標頭被傳輸在切片標頭中時或者當光柵掃描切片模式被致能、目前圖片中之磚的數目高於1時以及當切片中之磚的數目等於目前圖片中之磚的數目時，亮度成分之單色度可被傳訊，由於經分離的顏色平面語法元素。
實施方式
圖11顯示一種系統191、195，其包含編碼器150或解碼器100之至少一者以及通訊網路199，依據本發明之實施例。依據一實施例，系統195係用於處理並提供內容(例如，用於顯示/輸出或串流視頻/音頻內容之視頻及音頻內容)給使用者，其得以存取至解碼器100，例如透過包含解碼器100之使用者終端或可與解碼器100通訊之使用者終端的使用者介面。此一使用者終端可為電腦、行動電話、平板或者能夠提供/顯示(經提供/經串流)內容給使用者之任何其他類型的裝置。系統195經由通訊網路199以獲得/接收位元流101(以連續流或信號之形式–例如，當較早視頻/音頻被顯示/輸出時)。依據一實施例，系統191係用於處理內容並儲存經處理內容，例如用於在稍後時間顯示/輸出/串流之經處理視頻及音頻內容。系統191獲得/接收包含影像151之原始序列的內容，其被編碼器150接收並處理(包括利用依據本發明之解塊過濾器的過濾)，且編碼器150產生位元流101，其將經由通訊網路191而被傳遞至解碼器100。位元流101被以數種方式接著傳遞至解碼器100，例如其可由編碼器150所事先產生並當作資料而被儲存在通訊網路199中之儲存設備中(例如，在伺服器或雲端儲存上)直到使用者從該儲存設備請求該內容(亦即，位元流資料)，此刻資料係從該儲存設備被傳遞/串流至解碼器100。系統191亦可包含內容提供設備，用於提供/串流至使用者(例如，藉由傳遞資料給使用者介面以供顯示在使用者終端上)，用於儲存設備中所儲存之內容的內容資訊(例如，內容之名稱及用於識別、選擇及請求該內容的其他元/儲存位置資料)，並用於接收且處理針對一內容之使用者請求以致其該請求的內容可從儲存設備被遞送/串流至使用者終端。替代地，編碼器150產生位元流101並直接將其傳遞/串流至解碼器100，如且當使用者請求該內容時。解碼器100接著接收位元流101(或信號)並利用依據本發明之解塊過濾器來履行過濾，以獲得/產生視頻信號109及/或音頻信號，其接著由使用者終端所使用以提供該請求的內容給使用者。
依據本發明之方法/程序的任何步驟或文中所述的功能可被實施以硬體、軟體、韌體、或其任何組合。假如以軟體實施，則該等步驟/功能可被儲存在或傳輸透過、成為一或多個指令或碼或程式、或電腦可讀取媒體，且被執行以一或多個基於硬體的處理單元(諸如可編程計算機器)，其可為PC(「個人電腦」)、DSP(「數位信號處理器」)、電路、電路系統、處理器及記憶體、通用微處理器或中央處理單元、微控制器、ASIC(「特定應用積體電路」)、場可編程邏輯陣列(FPGA)、或者其他同等集成或離散邏輯電路。因此，如文中所使用之術語「處理器」可指稱前述結構之任一者或者適於文中所述之技術的實施之任何其他結構。
本發明之實施例亦可由多種裝置或設備來實現，包括無線手機、積體電路(IC)或一組JC(例如，晶片組)。各種組件、模組、單元被描述在文中以闡明其組態成履行那些實施例之裝置/設備的功能性態樣，但不一定需要由不同硬體單元來實現。反之，各種模組/單元可被組合在編碼解碼器硬體單元中或者由互操作硬體單元之集合來提供，包括一或多個處理器聯合適當的軟體/韌體。
本發明之實施例可由一種系統或設備之電腦來實現，該電腦係讀出並執行在儲存媒體上所記錄的電腦可執行指令(例如，一或多個程式)以履行上述實施例之一或多者的模組/單元/功能；及/或其包括一或多個處理單元或電路以履行上述實施例之一或多者的功能；以及可由一種由系統或設備之電腦所履行的方法來實現，藉由(例如)從儲存媒體讀出並執行電腦可執行指令以履行上述實施例之一或多者的功能及/或控制一或多個處理單元或電路來履行上述實施例之一或多者的功能。電腦可包括分離電腦或分離處理單元的網路以讀出並執行電腦可執行指令。電腦可執行指令可被提供至電腦，例如，從電腦可讀取媒體(諸如通訊媒體)，經由網路或有形儲存媒體。通訊媒體可為信號/位元流/載波。有形儲存媒體係「非暫態電腦可讀取儲存媒體」，其可包括(例如)硬碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、分散式計算系統之儲存、光碟(諸如光碟(CD)、數位多功能光碟(DVD)、或藍光光碟(BD)™)、快閃記憶體裝置、記憶卡，等等之一或多者。步驟/功能之至少一些亦可被實施以硬體，藉由機器或專屬組件，諸如FPGA(「場可編程閘極陣列」)或ASIC(「特定應用積體電路」)。
圖12為一用於實施本發明之一或更多實施例的計算裝置2000之概略方塊圖。計算裝置2000可為一種裝置，諸如微電腦、工作站或輕型可攜式裝置。計算裝置2000包含一連接至以下的通訊匯流排：- 中央處理單元(CPU)2001，諸如微處理器；- 隨機存取記憶體(RAM)2002，用以儲存本發明之實施例的方法之可執行碼、以及暫存器，調適成記錄用以實施方法所需的變數和參數，該方法係依據本發明之實施例以編碼或解碼影像之至少部分，其記憶體容量可藉由一連接至(例如)擴充埠之選擇性RAM來擴充；- 唯讀記憶體(ROM)2003，用以儲存供實施本發明之實施例的電腦程式；- 網路介面(NET)2004，通常連接至通訊網路，待處理數位資料係透過係透過該網路介面來傳輸或接收。網路介面(NET)2004可為單一網路介面，或者由不同網路介面之集合所組成(例如有線及無線介面、或者不同種類的有線或無線介面)。資料封包被寫入至網路介面以供傳輸或者從網路介面讀取以供接收，在CPU 2001中所運行之軟體應用程式的控制下；- 使用者介面(UI)2005可用於從使用者接收輸入或者用以顯示資訊給使用者；- 硬碟(HD)2006，可被提供為大量儲存裝置；- 輸入/輸出模組(IO)2007可用於接收/傳送資料自/至外部裝置，諸如視頻來源或顯示。可執行碼可被儲存於ROM 2003中、於HD 2006上或者於可移除數位媒體(諸如，例如磁碟)上。依據變體，程式之可執行碼可藉由通訊網路來接收，經由NET 2004，以儲存於通訊裝置2000的儲存機構(諸如HD 2006)之一中，在執行之前。CPU 2001係調適成依據本發明之實施例以控制並指導程式或多數程式之指令或軟體碼部分的執行，該些指令係儲存於前述儲存機構之一中。在開機之後，CPU 2001能夠執行相關於軟體應用程式之來自主RAM記憶體2002的指令，在那些指令已從(例如)程式ROM 2003或HD 2006載入之後。此一軟體應用程式(當由CPU 2001所執行時)係致使依據本發明之方法的步驟被履行。
亦應理解：依據本發明之另一實施例，一種依據前述實施例之解碼器被提供於使用者終端，諸如電腦、行動電話(蜂巢式電話)、平板或任何其他類型的裝置(例如，顯示設備)，其能夠提供/顯示內容給使用者。依據又另一實施例，一種依據前述實施例之編碼器被提供於一種影像擷取設備，其亦包含相機、視頻相機或網路相機(例如，閉路電視或視頻監視相機)，其係擷取並提供內容給編碼器來編碼。兩個此類範例係參考圖11及12而被提供於下。
網路相機
圖13為一圖形，其繪示網路相機系統2100，包括網路相機2102及客戶設備2104。
網路相機2102包括成像單元2106、編碼單元2108、通訊單元2110、及控制單元2112。
網路相機2102與客戶設備2104被相互連接以能夠經由網路200而彼此通訊。
成像單元2106包括透鏡及影像感測器(例如，電荷耦合裝置(CCD)或互補金氧半導體(CMOS))，並擷取物件之影像且根據該影像以產生影像資料。此影像可為靜止影像或視頻影像。
編碼單元2108係藉由使用上述的該編碼方法以編碼影像資料。
網路相機2102之通訊單元2110將其由編碼單元2108所編碼的已編碼影像資料傳輸至客戶設備2104。
再者，通訊單元2110從客戶設備2104接收命令。該等命令包括用以設定編碼單元2108之編碼的參數之命令。
控制單元2112依據由通訊單元2110所接收的命令以控制網路相機2102中之其他單元。
客戶設備2104包括通訊單元2114、解碼單元2116、及控制單元2118。
客戶設備2104之通訊單元2114傳輸命令至網路相機2102。
再者，客戶設備2104之通訊單元2114從網路相機2102接收已編碼影像資料。
解碼單元2116係藉由使用上述的該解碼方法以解碼該經編碼影像資料。
客戶設備2104之控制單元2118依據由通訊單元2114所接收的使用者操作或命令以控制客戶設備2104中之其他單元。
客戶設備2104之控制單元2118控制顯示設備2120以顯示由解碼單元2116所解碼的影像。
客戶設備2104之控制單元2118亦控制顯示設備2120以顯示GUI(圖形使用者介面)來指定用於網路相機2102之參數的值，包括用於編碼單元2108之編碼的參數。
客戶設備2104之控制單元2118亦依據由顯示設備2120所顯示之輸入至GUI的使用者操作以控制客戶設備2104中之其他單元。
客戶設備2104之控制單元2119控制客戶設備2104之通訊單元2114以傳輸命令至網路相機2102，其指定用於網路相機2102之參數的值，依據由顯示設備2120所顯示之輸入至GUI的使用者操作。
智慧型手機
圖14為繪示智慧型手機2200之圖形。
智慧型手機2200包括通訊單元2202、解碼單元2204、控制單元2206、顯示單元2208、影像記錄裝置2210及感測器2212。
通訊單元2202經由網路200以接收經編碼影像資料。
解碼單元2204解碼其由通訊單元2202所接收的已編碼影像資料。
解碼單元2204係藉由使用上述的該解碼方法以解碼該經編碼影像資料。
控制單元2206依據由通訊單元2202所接收的使用者操作或命令以控制智慧型手機2200中之其他單元。
例如，控制單元2206控制顯示單元2208以顯示由解碼單元2204所解碼的影像。
雖然已參考了實施例來描述本發明，但應理解其本發明不限於所揭露的範例實施例。那些熟悉此技藝人士應理解：可做出各種改變及修改而不背離本發明之範圍，如後附申請專利範圍中所界定者。本說明書(包括任何伴隨的申請專利範圍、摘要及圖式)中所揭露的所有特徵、及/或所揭露的任何方法或程序之步驟，可以任何組合方式結合，除了其中此等特徵及/或步驟之至少部分是互斥的組合以外。本說明書(包括任何伴隨的申請專利範圍、摘要及圖式)中所揭露的各特徵可被取代以替代特徵，其係適用相同的、同等的或類似的目的，除非另外明確地聲明。因此，除非另外明確地聲明，所揭露的各特徵僅為同等或類似特徵之一般序列的一個範例。
亦應理解：上述比較、判定、評估、選擇、執行、履行、或考量之任何結果(例如於編碼或過濾程序期間所做的選擇)可指示於或者可判定/可推理自位元流中之資料(例如指示該結果之旗標或資料)，以使得經指示的或經判定/經推理的結果可用於該處理，以取代實際地履行比較、判定、評估、選擇、執行、履行、或考量(例如於解碼程序期間)。
於申請專利範圍中，文字「包含」不排除其他元件或步驟，而不定冠詞「一(a)」或「一(an)」不排除複數。不同特徵在彼此不同的附屬項申請專利範圍中陳述之單純事實並不指示其這些特徵之組合無法被有利地使用。
出現在申請專利範圍中之參考數字僅為闡明且對於申請專利範圍之範圍應無限制性效果。
1:視頻序列
2:影像
3:切片
5:編碼單元(CU)
60:解碼器
61:位元流
62:模組
63:模組
64:模組
65:內反預測模組
66:模組
67:後過濾模組
68:參考影像
69:視頻信號
70:移動向量解碼模組
71:移動向量場資料
100:解碼器
101:位元流
109:視頻信號
150:編碼器
151:影像
191,195:系統
199:通訊網路
200:資料通訊網路
201:伺服器
202:客戶終端
204:資料流
300:處理裝置
302:通訊介面
303:通訊網路
304:資料儲存機構
305:磁碟驅動
306:磁碟
308:麥克風
309:螢幕
310:鍵盤
311:中央處理單元
312:隨機存取記憶體
313:通訊匯流排
320:數位相機
400:編碼器
401:數位影像i0至in
402:模組
403:模組
404:移動估計模組
405:移動補償模組
406:選擇模組
407:變換模組
408:量化模組
409:熵編碼模組
410:位元流
411:反量化模組
412:反變換模組
413:反內預測模組
414:反移動補償模組
415:模組
416:參考影像
417:移動向量預測及編碼模組
418:移動向量場
601-608:網路抽象化層(NAL)單元
610:切片標頭
611:原始位元組序列酬載RBSP
620:磚
640:編碼區塊
701-707:NAL單元
708:圖片標頭
710:切片標頭
720:磚
740:編碼區塊
2000:計算裝置
2001:中央處理單元(CPU)
2002:隨機存取記憶體(RAM)
2003:唯讀記憶體(ROM)
2004:網路介面(NET)
2005:使用者介面(UI)
2006:硬碟(HD)
2007:輸入/輸出模組(IO)
2100:網路相機系統
2102:網路相機
2104:客戶設備
2106:成像單元
2108:編碼單元
2110:通訊單元
2112:控制單元
2114:通訊單元
2116:解碼單元
2118:控制單元
2120:顯示設備
2200:智慧型手機
2202:通訊單元
2204:解碼/編碼單元
2206:控制單元
2208:顯示單元
2210:影像記錄裝置
2212:感測器
現在將(以範例方式)參考附圖，其中：
[圖1]係用以解釋HEVC及VVC中所使用之編碼結構的圖形；
[圖2]係概略地繪示一資料通訊系統之方塊圖，其中本發明之一或更多實施例可被實施；
[圖3]係繪示一處理裝置之組件的方塊圖，其中本發明之一或更多實施例可被實施；
[圖4]係一流程圖，其繪示一種依據本發明之實施例的編碼方法之步驟；
[圖5]係一流程圖，其繪示一種依據本發明之實施例的解碼方法之步驟；
[圖6]繪示範例編碼系統VVC中之位元流的結構。
[圖7]繪示範例編碼系統VVC中之位元流的另一結構。
[圖8]繪示亮度模擬色度擴縮(LMCS)；
[圖9]顯示LMCS之子工具；
[圖10]係目前VVC草案標準之光柵掃描切片模式及矩形切片模式的圖示。
[圖11]係顯示一系統之一圖形，該系統包含依據本發明之實施例的一編碼器或一解碼器及一通訊網路。
[圖12]為一用於實施本發明之一或更多實施例的計算裝置之概略方塊圖；
[圖13]為繪示網路相機系統之圖形；及
[圖14]為繪示智慧型手機之圖形。
1:視訊序列
2:影像
3:切片
5:編碼單元(CU)