TW202444096A

TW202444096A - 彩色圖片編解碼方法及其裝置

Info

Publication number: TW202444096A
Application number: TW113115286A
Authority: TW
Inventors: 曾馨儀; 蔡佳銘; 莊政彥; 陳慶曄; 徐志瑋; 陳渏紋; 莊子德
Original assignee: 聯發科技股份有限公司
Priority date: 2023-04-24
Filing date: 2024-04-24
Publication date: 2024-11-01
Also published as: WO2024222624A1; CN121002872A

Abstract

一種使用交叉分量模型編解碼彩色圖片的方法和裝置被提供。根據一種方法，先前編解碼的切片/圖片中與參考資料相關的資料或位置被決定。與參考資料相關的位置被限制在當前塊的同位編解碼樹單元（CTU）內以及與該同位CTU相鄰的一個或多個鄰近區域內。藉由繼承參考塊的交叉分量模型參數，與目標繼承預測模型相關的目標交叉分量模型參數被導出。第二色塊使用包括交叉顏色預測的預測資料進行編碼或解碼，該交叉顏色預測藉由將具有目標交叉分量模型參數的目標繼承預測模型應用於重構的第一色塊而生成。

Description

彩色圖片編解碼方法及其裝置

本發明涉及視訊編解碼系統。特別是，本發明涉及在具有限制緩衝區大小以存儲參考資料的視訊編解碼系統中，繼承時域鄰近模型參數以用於交叉分量預測相關模式。

多功能視訊編解碼（Versatile Video Coding，簡稱 VVC）是由國際電訊聯盟-電訊標準化部門（International Telecommunication Union Telecommunication Standardization Sector，簡稱ITU-T）視訊編解碼專家組（Video Coding Experts Group，簡稱 VCEG）和國際標準化組織/國際電工委員會（International Organization For Standardization/International Electrotechnical Commission，簡稱ISO/IEC）動態圖片專家組（Moving Picture Experts Group，簡稱 MPEG）的聯合視訊專家組（Joint Video Experts Team，簡稱 JVET）開發的最新國際視訊編解碼標準。該標準已作為 ISO 標準於 2021 年 2 月發布：ISO/IEC 23090-3:2021，資訊技術 - 沉浸式媒體的編解碼表示 - 第3部分：多功能視訊編解碼。VVC 是在其前身高效率視訊編解碼（High Efficiency Video Coding，簡稱HEVC）的基礎上開發的，藉由添加更多的編解碼工具來提高編解碼效率，以及處理包含三維（three dimensional，簡稱3D）視訊訊號在內的各種類型的視訊源。

第1A圖示出包含環路處理的示例性適應性幀間/幀內視訊編碼系統。對於幀內預測，預測資料基於當前圖片中先前編解碼的圖片視訊資料導出。對於幀間預測112，運動估計（Motion Estimation，ME）在編碼器端進行，以及基於ME的結果進行運動補償（Motion Compensation，MC），以提供從其他圖片和運動資料導出的預測資料。開關114選擇幀內預測110或幀間幀間預測112，並將選擇的預測資料提供給加法器116以形成預測誤差，也稱為殘差。然後對預測誤差進行變換（Transform，簡稱T）118處理，隨後是量化（Quantization，簡稱Q）120。變換和量化的殘差隨後由熵編碼器122編碼，以包含在對應於壓縮視訊資料的視訊位元流中。與變換係數相關的位元流隨後與輔助資訊（與幀內預測和幀間預測相關的運動和編解碼模式等）以及與應用於底層影像區域的環路濾波器相關的參數等其他資訊一起打包。如第1A圖所示，與幀內預測110、幀間預測112和環路濾波器130相關的輔助資訊，被提供給熵編碼器122。當幀間預測模式被使用時，一個或多個參考圖片也必須在編碼器端重構。因此，變換和量化的殘差由逆量化（Inverse Quantization，簡稱IQ）124和逆變換（Inverse Transformation，簡稱IT）126處理以恢復殘差。然後殘差被添加回預測資料136，在重構（Reconstruction，簡稱REC）128處重構視訊資料。重構的視訊資料可以存儲在參考圖片緩衝器134中，並用於其他幀的預測。

如第1A圖所示，傳入的視訊資料在編碼系統中經歷一系列處理。來自 REC 128 的重構視訊資料可能會因一系列處理而受到各種損害。因此，在將重構的視訊資料存儲在參考圖片緩衝器134中之前，通常會對重構的視訊資料應用環路濾波器130，以提高視訊質量。例如，可以使用去塊效應濾波器（Deblocking Filter，DF）、樣本適應性偏移（Sample Adaptive Offset，SAO）和適應性環路濾波器（Adaptive Loop Filter，ALF）。可能需要將環路濾波器資訊納入位元流，以便解碼器能夠正確恢復所需資訊。因此，環路濾波器資訊也提供給熵編碼器122，以納入位元流。在第1A圖中，環路濾波器130應用於重構的視訊，然後將重構的樣本存儲在參考圖片緩衝器134中。第1A圖中的系統旨在示出典型視訊編碼器的示例性結構。它可以對應於高效率視訊編解碼（High Efficiency Video Coding，簡稱HEVC）系統、VP8、VP9、H.264或VVC。

如第1B圖所示，除了變換118和量化120之外，解碼器可以使用與編碼器相同或部分相同的功能塊，因為解碼器只需要逆量化124和逆變換126。解碼器使用熵解碼器140代替熵編碼器122，將視訊位元流解碼為量化變換係數和所需的編解碼資訊（例如 ILPF 資訊、幀內預測資訊和幀間預測資訊）。解碼器端的幀內預測150不需要進行模式搜索。相反，解碼器只需要根據從熵解碼器140接收的幀內預測資訊生成幀內預測。此外，對於幀間預測，解碼器只需要根據從熵解碼器140接收的幀間預測資訊進行運動補償（MC 152），而不需要運動估計。

根據VVC，輸入圖片被劃分為非重疊的正方形塊區域，稱為編解碼樹單元（Coding Tree Unit，簡稱CTU），類似於HEVC。每個CTU可以被劃分為一個或多個較小尺寸的編解碼單元（Coding unit，簡稱CU）。得到的CU劃分可以是正方形或矩形形狀。此外，VVC將CTU劃分為預測單元（prediction unit，簡稱PU），作為應用預測處理（如幀間預測、幀內預測等）的單元。

VVC標準納入了各種新的編解碼工具，以進一步提高相對於HEVC標準的編解碼效率。一些與本發明相關的新工具如下所述。

交叉分量線性模型（ Cross-Component Linear Model ，簡稱CCLM ）預測

為了減少交叉分量冗餘，VVC中使用了交叉分量線性模型（CCLM）預測模式，其中根據相同CU的重構亮度樣本使用線性模型預測色度樣本，如下所示： (1) 其中表示CU中的預測色度樣本，表示相同CU的下採樣重構亮度樣本。

CCLM參數（和）根據最多四個鄰近的色度樣本及其對應的下採樣亮度樣本導出。假設當前色度塊尺寸為W×H，則W’和H’設為： – 當LM_LA模式被應用時，W’= W, H’= H； – 當LM_A模式被應用時，W’=W + H； – 當LM_L模式被應用時，H’= H + W。

上方鄰近位置表示為S[ 0, −1 ]…S[ W’ −1, −1 ]，左側鄰近位置表示為S[ −1, 0 ]…S[ −1, H’ −1 ]。然後四個樣本被選擇為： – 當LM_LA模式應用且上方和左側鄰近樣本都可用時，S[W’ / 4, −1 ], S[ 3 * W’ / 4, −1 ], S[ −1, H’ / 4 ], S[ −1, 3 * H’ / 4 ]； – 當LM_A模式應用或僅上方鄰近樣本可用時，S[ W’ / 8, −1 ], S[ 3 * W’ / 8, −1 ], S[ 5 * W’ / 8, −1 ], S[ 7 * W’ / 8, −1 ]； – 當 LM_L 模式被應用或只有左側鄰近樣本可用時，S[ -1, H’/ 8 ], S[ -1, 3 * H’/ 8 ], S[ -1, 5 * H’/ 8 ], S[ -1, 7 * H’/ 8 ]。

選定位置的四個鄰近亮度樣本被下採樣並比較四次以找到兩個較大值： x ⁰ _A 和 x ¹ _A ，以及兩個較小值： x ⁰ _B 和 x ¹ _B 。它們對應的色度樣本值被表示為 y ⁰ _A 、 y ¹ _A 、 y ⁰ _B 和 y ¹ _B 。然後 x _A 、 x _B 、 y _A 和 y _B 被導出為： – x _A= (x ⁰ _A+ x ¹ _A+ 1) ＞＞ 1; – x _B= (x ⁰ _B+ x ¹ _B+ 1) ＞＞ 1; – y _A= (y ⁰ _A+ y ¹ _A+ 1) ＞＞ 1; – y _B= (y ⁰ _B+ y ¹ _B+ 1) ＞＞ 1 (2)

最後，線性模型參數和根據以下方程式獲得。 (3) (4)

第2圖顯示LM_LA模式中涉及的左側和上方樣本以及當前塊的樣本位置的例子。第2圖顯示色度塊210的、對應的亮度塊220的以及它們的鄰近樣本（顯示為填滿的圓圈）的相對樣本位置。

除了上方範本和左側範本可以一起用來計算線性模型係數外，它們也可以在其他兩種LM模式中交替使用，稱為LM_A和LM_L模式。

在LM_A模式中，只使用上方範本來計算線性模型係數。為了獲得更多樣本，上方範本被擴展到（W+H）樣本。在LM_L模式中，只使用左側範本來計算線性模型係數。為了獲得更多樣本，左側範本被擴展到（H+W）樣本。

在 LM_LA 模式中，左側和上方範本被用來計算線性模型係數。

{LM_LA, LM_L, LM_A}和{CCLM_LT, CCLM_L, CCLM_T}這些術語在本文中可以互換使用。

為了匹配 4:2:0 視訊序列的色度樣本位置，兩種類型的下採樣濾波器被應用於亮度樣本，以實現水平和垂直方向上 2 到 1 的下採樣比率。下採樣濾波器的選擇由 SPS 級別標誌指定。這兩種下採樣濾波器分別對應於“類型-0”和“類型-2”內容。 – (5) – (6)

請注意，當上方參考線位於CTU邊界時，只使用一條亮度線（幀內預測中的一般線緩衝）來製作下採樣的亮度樣本。

這個參數計算作為解碼處理的一部分進行，並不僅僅作為編碼器搜索操作。因此，沒有語法被用來將α和β值傳達給解碼器。

多模型CCLM （MMLM ）

在 JEM (J. Chen, E. Alshina, G. J. Sullivan, J.-R. Ohm, 和 J. Boyce, Algorithm Description of Joint Exploration Test Model 7, document JVET-G1001, ITU-T/ISO/IEC聯合視訊探索小組（JVET）, Jul. 2017) 中，多模型 CCLM模式（MMLM）被提出，用於使用兩個模型從亮度樣本預測整個CU的色度樣本。在MMLM中，當前塊的鄰近亮度樣本和鄰近色度樣本被分類為兩組，每組作為訓練集來導出線性模型（即，為特定組導出特定的α和β）。此外，當前亮度塊的樣本也根據鄰近亮度樣本的分類規則進行分類。允許三種 MMLM 模型模式（MMLM_LA, MMLM_T, 和 MMLM_L）分別從左側和上方、僅上方和僅左側選擇鄰近樣本。

本文中 MMLM_LA 和 MMLM_LT 這兩個術語可以互換使用。

第3圖顯示將鄰近樣本分類為兩組的一個例子。閾值計算為鄰近重構亮度樣本的平均值。Rec’ _L [x,y] ＜= 閾值的鄰近樣本被分類為組1；而Rec’ _L [x,y] ＞閾值的鄰近樣本被分類為組 2。 (7)

因此，MMLM根據鄰近樣本的樣本水平使用兩個模型。

卷積交叉分量模型（ Convolutional Cross-Componennt Model ，簡稱CCCM ）- 單模型和多模型

在 CCCM 中，卷積模型被用來提高色度預測性能。卷積模型具有7-抽頭濾波器，其由5-抽頭加號形狀空間組件、非線性項和偏置項組成。濾波器的空間5-抽頭組件的輸入包括與待預測色度樣本同位的中心（C）亮度樣本及其上方/北方（N）、下方/南方（S）、左側/西方（W）和右側/東方（E）鄰居，如第4圖所示。

非線性項（表示為 P）表示為中心亮度樣本C的二的冪次，並縮放到內容的樣本值範圍： P = ( C*C + midVal ) ＞＞ bitDepth.

例如，對於10位元內容，非線性項計算如下： P = ( C*C + 512 ) ＞＞ 10

偏差項（被標記為B）代表輸入和輸出之間的標量偏移（類似於CCLM中的偏移項），並被設置為中間色度值（10位元內容為512）。

濾波器的輸出計算為濾波器係數c _i和輸入值之間的卷積，以及剪裁到有效色度樣本的範圍內： predChromaVal = c ₀C + c ₁N + c ₂S + c ₃E + c ₄W + c ₅P + c ₆B

濾波器係數c _i藉由最小化參考區域中預測和重構色度樣本之間的均方誤差（MSE）來計算。第5圖示出參考區域的例子，該區域由PU上方和左側的6行色度樣本組成。參考區域向右擴展一個PU寬度，向下擴展一個PU高度超出PU邊界。區域被調整以僅包括可用樣本。區域的擴展（被標記為“填充”）是為了支持第4圖中加號形狀空間濾波器的“側樣本”，並在不可用區域進行填充。

MSE最小化藉由計算亮度輸入的自相關矩陣和亮度輸入與色度輸出之間的交叉相關向量來進行。自相關矩陣進行LDL分解，最終濾波器係數使用回代計算。該過程大致遵循ECM中ALF濾波器係數的計算，但選擇LDL分解而不是Cholesky分解，以避免使用平方根運算。

同樣，類似於CCLM，CCCM有使用單模型或多模型變體的選項。多模型變體使用兩個模型，一個模型為平均亮度參考值以上的樣本導出，另一個模型為其餘樣本導出（遵循CCLM設計的精神）。當PU至少有128個參考樣本可用時，可以選擇多模型CCCM模式。

梯度線性模型（ Gradient Linear Model ，簡稱GLM ）

對於YUV 4:2:0色彩格式，梯度線性模型（GLM）方法可以用來從亮度樣本梯度預測色度樣本。兩種模式：兩參數GLM模式和三參數GLM模式被支援。

與CCLM相比，GLM不是使用下採樣亮度值，而是利用亮度樣本梯度來導出線性模型。具體來說，當GLM被應用時，CCLM處理的輸入，即下採樣亮度樣本，被亮度樣本梯度替換。CCLM的其他部分（例如，參數導出、預測樣本線性變換）保持不變。

在三參數GLM中，色度樣本可以基於亮度樣本梯度和下採樣亮度值的不同參數預測。三參數GLM的模型參數根據LDL分解基礎的MSE最小化方法從6行和列相鄰樣本導出，如同在CCCM中使用的方法。

對於發送，當當前CU啟用CCLM模式時，一個標誌被發送以指示是否為Cb和Cr分量啟用GLM；如果啟用了GLM，則發送另一個標誌以指示選擇了兩個GLM模式中的哪一個，以及進一步發送一個語法元素以選擇4個梯度濾波器中的一個進行梯度計算。

如果對一個分量啟用了GLM，則一個語法元素被進一步發送以選擇4個梯度濾波器（第6圖中的610-640）中的一個梯度濾波器進行梯度計算。

空間候選導出

VVC中空間合併候選的導出與HEVC相同，除了最先兩個合併候選的位置被交換。對於當前CU 710，從第7圖中描繪的位置中選擇最多四個合併候選（B _0,A _0,B ₁和A ₁）。導出的順序是B _0,A _0,B _1,A ₁和B ₂。位置B ₂僅在位置B ₀、A ₀、B ₁、A ₁的一個或多個鄰近CU不可用（例如屬於另一個切片或圖塊）或是幀內編解碼時才考慮。在位置A ₁的候選被添加後，剩餘候選的添加受到冗餘檢查的限制，以確保具有相同運動資訊的候選從列表中排除，從而提高編解碼效率。

時間候選導出（Tempor al Candidates Derivation ）

在此步驟中，僅將一個候選添加到列表中。特別是，在導出當前CU 810的這個時間合併候選時，基於屬於同位參考圖片的同位CU 820導出一個縮放運動向量，如第8圖所示。用於導出同位CU的參考圖片列表和參考索引在切片標頭中明確地發送。如第8圖中的虛線所示，獲得時間合併候選的縮放運動向量830，其使用圖片順序計數（Picture Order Count，簡稱POC）距離tb和td從同位CU的運動向量840縮放，其中tb被定義為當前圖片的參考圖片與當前圖片之間的POC差值，以及td被定義為同位圖片的參考圖片與同位圖片之間的POC差值。時間合併候選的參考圖片索引被設置為零。

時間候選的位置在候選C ₀和C ₁之間選擇，如第9圖所示。如果位置C ₀的CU不可用、是幀內編碼，或者在CTU當前行之外，則使用位置C ₁。否則，在導出時間合併候選時使用位置C ₀。

非相鄰空間候選（Non- Adjacent Spatial Candidate ）

在VVC標準的開發過程中，一種被稱為非鄰近運動向量預測（Non-Adjacent Motion Vector Prediction，簡稱 NAMVP）的編解碼工具在JVET-L0399（Yu Han等人，“CE4.4.6: Improvement on Merge/Skip mode”， ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的聯合視訊探索小組（Joint Video Exploration Team，簡稱JVET），第12次會議：中國澳門，2018年10月3日至12日，文件：JVET-L0399）中被提出。根據NAMVP技術，非鄰近空間合併候選在TMVP（即時間MVP）之後被插入常規合併候選列表。空間合併候選的模式如第10圖所示。非鄰近空間候選與當前編解碼塊之間的距離基於當前編解碼塊的寬度和高度。在第10圖中，每個小方塊對應於NAMVP候選，以及候選按照距離（如方塊內的數字所示）進行排序。線緩衝區限制不適用。換句話說，遠離當前塊的NAMVP候選可能需要被存儲，這可能需要一個大的緩衝區。

一種使用包含一個或多個交叉分量模型相關模式的編解碼工具來編解碼彩色圖片的方法和裝置被揭露。接收與當前塊相關的輸入資料，該當前塊包括第一色塊和第二色塊，其中該輸入資料包含要在編碼器端編碼的像素資料或要在解碼器端解碼的與當前塊相關的資料，以及該當前塊位於非幀内切片或圖片中。與參考資料相關的資料或位置被決定，該位置位於先前編解碼的切片/圖片中，其中該位置相關的該參考資料被限制在該當前塊的同位編解碼樹單元（CTU）內以及與該同位CTU相鄰的一個或多個鄰近區域內。藉由繼承該參考資料的多個交叉分量模型參數導出與目標繼承預測模型相關的多個目標交叉分量模型參數。藉由使用包括交叉顏色預測的預測資料來對該第二色塊進行編碼或解碼，該交叉顏色預測藉由將具有該等目標交叉分量模型參數的目標繼承預測模型應用於重構的第一色塊而生成。該第一色塊可以對應於亮度塊，而該第二色塊可以對應於色度塊。

在一實施例中，與該同位CTU相鄰的該一個或多個鄰近區域包括位於該同位CTU上方的頂部N條水平參考線區域、鄰接於該同位CTU左側的左側N條垂直參考線區域、位於該同位CTU左側且底部與同位CTU對齊的底部N條水平參考線區域，或其組合，其中N是正整數。在一實施例中，N被設定為預定值。在另一實施例中，N被設定為允許的最小塊大小。在一實施例中，該允許的最小塊大小與編解碼單元（CU）、預測單元（PU）或變換單元（TU）相關。

在一實施例中，與該同位CTU相鄰的該一個或多個鄰近區域與時間候選在幀間模式中參考運動向量的允許區域相同。在一實施例中，該先前編解碼的切片或圖片中的該參考資料根據該當前塊在該先前編解碼的切片或圖片中的對應位置以及該當前塊或相鄰塊的運動向量來定位。在一實施例中，當該當前塊進行幀內編解碼時，用於推導該當前塊的該等目標交叉分量模型參數所使用的該運動向量被設置為0。

在一實施例中，該參考資料的該位置基於該當前塊的該對應位置經由該當前塊的該運動向量移動而決定。在另一實施例中，該參考資料的位置基於該當前塊的該對應位置經由該當前塊的該運動向量以及一個或多個額外偏移量移動而決定。在一實施例中，該一個或多個額外偏移量取決於該當前塊的寬度、該當前塊的高度或兩者。在一實施例中，該一個或多個額外偏移量對應於該當前塊的該寬度的水平偏移和該當前塊的該高度的垂直偏移。在另一實施例中，該一個或多個額外偏移量對應於該當前塊的該寬度一半的水平偏移和該當前塊的該高度一半的垂直偏移。

在一實施例中，該一個或多個交叉分量模型參數經過優化後作為該等目標交叉分量模型參數使用。在一實施例中，該第一色塊對應於亮度塊，而該第二色塊對應於色度塊。

在一實施例中，只有目標同位圖片於該同位CTU中的該等交叉分量模型參數被允許由多個時間候選參考。在另一實施例中，只有目標同位圖片在該同位CTU、該同位CTU的左側N個CTU、該同位CTU的右側M個CTU或其組合中的該等交叉分量模型參數被允許由多個時間候選參考，以及N和M是大於0的整數。在又一實施例中，只有目標同位圖片在包含該同位CTU的CTU行中的該等交叉分量模型參數被允許由多個時間候選參考。在又一實施例中，只有目標同位圖片中對應於當前CTU行、當前CTU行的上方N個CTU行、當前CTU行的下方M個CTU行或其組合的該等交叉分量模型參數被允許參考，以及N和M是大於0的整數。

本發明的組件，如一般所描述和在圖中所示，可以以多種不同的配置排列和設計。因此，對於本發明的系統和方法的實施例的以下更詳細描述，如圖中所示，並不旨在限制所聲明的發明的範圍，而僅代表本發明的選定實施例。本規範中對“一個實施例”、“一個實施例”或類似語言的引用意味著在與該實施例相關的情況下描述的特定特徵、結構或特性可能至少包括在本發明的一個實施例中。因此，本規範各處出現的“在一個實施例中”或“在一個實施例中”的短語並不一定都指同一實施例。

此外，所描述的特徵、結構或特性可以在一個或多個實施例中以任一適當的方式結合。然而，相關技術領域的技術人員將認識到，可以在不使用一個或多個特定細節，或使用其他方法、組件等的情況下實踐發明。在其他情況下，眾所周知的結構或操作沒有詳細顯示或描述，以避免模糊發明的方面。藉由參考附圖，將最好地理解發明的實施例，其中相同部分在整個過程中由相同數字指定。以下描述僅供舉例，並僅示意一致於此處聲明的發明的特定選定的裝置和方法的實施例。

為了提高交叉分量預測的預測準確性或編解碼性能，揭露了與繼承交叉分量模型相關的各種方案。

繼承鄰近模型參數

當在當前塊上應用交叉分量預測編解碼工具以生成預測訊號時，交叉分量模型（CCM）資訊（更多細節在標題為：“繼承CCM資訊”的部分）包含模型參數可以從鄰近塊繼承。鄰近塊的更多細節在標題為：“繼承空間鄰近模型參數”、“繼承時間鄰近模型參數”、“繼承非緊鄰空間相鄰模型”和“從歷史表繼承模型參數”的部分中描述。

當前塊的最終縮放參數是從鄰近塊繼承和/或進一步由dA優化。一旦確定了最終縮放參數，偏移參數（例如，在CCLM中的）基於繼承的縮放參數和/或當前塊的鄰近亮度和色度樣本的平均值導出。例如，如果最終縮放參數從選定的鄰近塊繼承，並且繼承的縮放參數是，那麼最終縮放參數是（ +dA）。對於另一個實施例，最終縮放參數從歷史列表繼承。例如，歷史列表記錄來自先前CCLM編解碼塊的最近j個條目的最終縮放參數。然後，最終縮放參數從歷史列表（）的一個選定條目繼承，以及最終縮放參數是（ + dA）。對於另一個實施例，最終縮放參數從歷史列表或鄰近塊繼承，但不由dA進一步優化。

對於另一個實施例，在繼承模型參數之後，偏移參數可以進一步由dB優化。例如，如果最終偏移參數從選定的鄰近塊繼承，並且繼承的偏移參數是，那麼最終偏移參數是（ + dB）。對於另一個實施例，最終偏移參數從歷史列表繼承並進一步由dB優化。例如，歷史列表記錄來自先前CCLM編解碼塊的最近j個條目的最終偏移參數。然後，最終偏移參數從歷史列表（）的一個選定條目繼承，以及最終偏移參數是（ + dB）。對於另一個實施例，最終偏移參數從歷史列表或鄰近塊繼承，但不由dB進一步優化。

對於另一個實施例，如果繼承的鄰近塊用CCCM編解碼，則繼承濾波係數（）。偏移參數（例如，在CCCM中的或）可以基於繼承的參數和當前塊的鄰近對應位置亮度和色度樣本的平均值重新導出。

對於還有一個實施例，如果繼承的候選應用GLM梯度模式到其亮度重構樣本，當前塊也應該繼承候選的GLM梯度模式並應用到當前亮度重構樣本。

對於另一個實施例，如果繼承的鄰近塊用多個交叉分量模型（例如，MMLM，或多模型CCCM）編解碼，分類閾值也被繼承以將當前塊的鄰近樣本分類成多個組，以及繼承的多個交叉分量模型參數進一步分配給每個組。

對於另一個實施例，當當前切片是非幀內切片（例如，P切片或B切片），當前塊的交叉分量模型（cross-component model，簡稱 CCM）資訊被導出並儲存，用於稍後使用繼承的鄰近模型參數的鄰近塊的重構過程。對於另一個實施例，當當前塊是幀間編解碼時，當前幀間編碼塊的CCM資訊藉由從其在參考圖片中具有CCM資訊的參考塊複製CCM資訊而導出，該參考塊藉由當前幀間編解碼塊的運動資訊定位。例如，如第11圖所示，P/B圖片1120中的塊B為幀間編解碼，那麼塊B的CCM資訊藉由從I圖片1110中的參考塊A複製CCM資訊獲得。應該注意的是，當前塊也可以從P/B圖片中的幀內編解碼塊複製CCM資訊。例如，如第11圖所示，P/B圖片1130中的塊D為幀間編解碼，那麼塊B的CCM資訊藉由從P/B圖片1111中幀內編解碼的參考塊E複製CCM資訊獲得。對於另一個實施例，如果參考圖片中的參考塊也是幀間編解碼，則參考塊的CCM資訊藉由從另一個參考圖片中的另一個參考塊複製CCM資訊獲得。例如，如第11圖所示，當前P/B圖片1130中的當前塊C為幀間編解碼，且其參考塊B也是幀間編解碼，由於塊B的CCM資訊藉由從塊A複製CCM資訊獲得，那麼塊A的CCM資訊也被傳播到當前塊C。應該注意的是，塊C只需要訪問塊B就可以獲得原始來自塊A的CCM資訊，因為原始來自塊A的CCM資訊已經儲存在塊B中。對於另一個實施例，當當前塊是帶有雙向預測的幀間編碼時，如果其一個參考塊是幀內編碼並且具有CCM資訊，則當前塊的CCM資訊藉由從參考圖片中的幀內編解碼參考塊複製CCM資訊獲得。例如，假設塊F是帶有雙向預測的幀間編解碼並且具有參考塊G和H。塊G是幀內編解碼以及具有CCM資訊。塊F的CCM資訊藉由從以CCM模式編解碼的塊G複製CCM資訊獲得。對於另一個實施例，當當前塊是帶有雙向預測的幀間編解碼時，當前塊的CCM資訊是其參考塊的CCM模型的組合。

繼承CCM 資訊

在一個實施例中，繼承的交叉分量模型（cross-component model，簡稱 CCM）資訊可以與繼承的模型參數一起儲存。如本文前面提到的，CCM資訊包括但不限於預測模式（例如，CCLM、MMLM、CCCM），用於指示在卷積模型中使用哪種模型形狀的模型索引，多模型的分類閾值，下採樣濾波器標誌，下採樣濾波索引，用於導出模型的鄰近線數量，用於導出模型的範本類型，後濾波標誌或模型參數。

在一個實施例中，CCLM模型可以被繼承。除了儲存模型參數外，還可以在CCM資訊中儲存一個預測模式，用於指示繼承的模型是CCLM模型。

在另一個實施例中，帶有非線性項的CCLM模型可以被繼承。除了儲存模型參數外，還可以在CCM資訊中儲存預測模式，用於指示繼承的模型是帶有非線性項的CCLM模型。

在一個實施例中，CCCM模型可以被繼承。除了儲存模型參數外，還可以在CCM資訊中儲存預測模式，用於指示繼承的模型是CCCM模型。用於調整CCCM模型輸入的亮度偏移和色度偏移也可以被儲存在CCM資訊中。

在另一個實施例中，具有不同卷積濾波器形狀的CCCM模型可以被繼承。除了模型參數和預測模式外，還可以在CCM資訊中儲存CCCM模式索引，用於指示繼承的CCCM模型使用哪種卷積濾波器形狀。例如，具有不同卷積濾波器形狀的CCCM模型可以只包含水平方向的空間項。另一個例子，具有不同卷積濾波器形狀的CCCM模型可以只包含垂直方向的空間項。另一個例子，具有不同卷積濾波器形狀的CCCM模型可以只包含對角方向的空間項。另一個例子，具有不同卷積濾波器形狀的CCCM模型可以只包含反對角方向的空間項。另一個例子，具有不同卷積濾波器形狀的CCCM模型可以包含X形空間項。

在另一個實施例中，使用非下採樣樣本的CCCM模型可以被繼承。除了儲存模型參數外，還可以在CCM資訊中儲存預測模式，用於指示繼承的模型是使用非下採樣樣本的CCCM模型。

在另一個實施例中，具有多個下採樣濾波器的CCCM模型可以被繼承。除了儲存模型參數外，還可以在CCM資訊中儲存預測模式，用於指示繼承的模型是具有多個下採樣濾波器的CCCM模型，以及還可以在CCM資訊中儲存模型索引，用於指示繼承的是哪種具有多個下採樣濾波器的CCCM模型的變體。

在另一個實施例中，由各種項（例如，空間項、梯度項、位置項、非線性項和偏置項）組成的混合CCCM模型可以被繼承。梯度項可以在下採樣域或非下採樣域中計算。位置項可以相對於當前塊或當前圖片的左上角坐標計算。除了儲存模型參數外，還可以在CCM資訊中儲存預測模式，用於指示繼承的模型是由各種項組成的混合CCCM模型。如果有多種類型的混合CCCM模型，還可以在CCM資訊中儲存模型索引，用於指示繼承的是哪種類型的混合CCCM模型。例如，JVET-AB0119（Ramin G. Youvalari等，“Non-EE2: Gradient and location based convolutional cross-component model (GL-CCCM) for intra prediction”，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的聯合視訊探索小組（JVET），第28次會議，Mainz，DE，2022年10月20–28，文檔: JVET- AB0119）中提出的基於梯度和位置的CCCM（gradient and location based CCCM，簡稱GL-CCCM）是由中心位置的一個空間項、水平方向和垂直方向的兩個梯度項、相對水平位置和相對垂直位置的兩個位置項X和Y、一個非線性項和一個偏置項組成的混合CCCM模型。除了儲存模型參數外，還可以在CCM資訊中儲存預測模式，用於指示繼承的模型是GL-CCCM模型。

在一個實施例中，GLM模型可以被繼承。除了儲存模型參數外，還可以在CCM資訊中儲存預測模式，用於指示繼承的模型是GLM模型，並且還可以在CCM資訊中儲存下採樣濾波索引，用於指示繼承的GLM模型使用哪種梯度下採樣濾波器。

在另一實施例中，具有亮度項的GLM模型可以被繼承。除了儲存模型參數外，還可以在CCM資訊中儲存預測模式，以指示繼承的模型是具有亮度項的GLM模型，以及還可以在CCM資訊中儲存下採樣濾波索引，以指示用於繼承的具有亮度項的GLM模型的哪個梯度下採樣濾波器。

在一個實施例中，任一種類的交叉分量多模型都可以被繼承。除了儲存模型參數和預測模式外，還可以在CCM資訊中儲存多模型開/關標誌，以指示繼承的CCM模型是否為多模型。如果多模型開/關標誌為真，則多模型分類閾值也會儲存在CCM資訊中。

在一個實施例中，CCM資訊可以包括指示如何導出繼承模型的資訊。例如，CCM資訊可以包括用於導出交叉分量模型的鄰近線數量和/或用於導出模型的範本類型。例如，一組範本可以用來導出CCCM模型。這組範本包括具有不同位置、大小和形狀的範本。CCM資訊可以儲存繼承的CCCM模型是基於哪個範本導出的索引。例如，繼承的CCCM模型可以基於僅頂部範本、僅左側範本或左側和頂部範本導出。另一個例子，繼承的CCCM模型可以基於6行範本或2行範本導出。

在一個實施例中，後濾波標誌可以在CCM資訊中儲存。這個資訊描述了繼承模型在其來源塊中的使用方式。如果後濾波標誌開啟，這表示濾波器被用於繼承模型的所在塊的預測上。

繼承模型參數的優化

在一個實施例中，繼承的模型參數可以基於繼承的CCM資訊進一步優化。繼承的CCM資訊可以包括如何導出繼承模型的資訊，例如用於導出模型的範本類型和/或鄰近線數量。優化的參數基於本地資訊導出。優化處理可以遵循繼承模型的導出方式，以及使用相同類型的範本和/或相同數量的鄰近線。例如，如果繼承的模型是CCLM，以及基於僅左側範本導出（繼承的模型是CCLM_L），則偏移參數可以從當前塊的鄰近左側範本重構樣本的平均值導出。例如，如果繼承的模型是CCLM，以及基於僅頂部範本導出的（繼承的模型是CCLM_T），則偏移參數可以從當前塊的鄰近頂部範本重構樣本的平均值導出。另一個例子，如果繼承的模型是CCCM，以及使用2行範本導出。偏移值（例如CCCM中的）可以基於當前塊的2行範本重構樣本重新導出。另一個例子，如果繼承的模型是多模型（例如，MMLM，具有多模型的CCCM），以及基於僅左側範本導出，則分類閾值可以基於當前塊的左側範本重構樣本重新導出。

在一個實施例中，繼承的模型參數可以進一步用不同類型的範本和/或不同數量的線優化，以及最終模型參數由範本成本決定。範本成本藉由將候選優化模型參數應用於鄰近範本上來預測範本樣本並計算預測和重構樣本之間的差值（例如，SAD或SATD）來計算。例如，如果繼承的模型是CCLM，則優化的偏移參數分別使用當前塊的重構樣本的左側範本、頂部範本和左頂範本導出。如果應用的範本成本是中的最小值，則被選為最終的偏移參數。

在另一個實施例中，繼承的模型參數可以進一步藉由預定值優化。範本成本用於決定是否進一步優化繼承的模型參數。範本成本藉由將候選優化模型參數應用於鄰近範本上來預測範本樣本並計算預測和重構樣本之間的差值（例如，SAD或SATD）來計算。例如，對於CCCM模式，對於每個繼承的模型參數，該值藉由優化，並且應用和的範本成本被計算以決定哪個是最終的模型參數值。

繼承空間鄰近模型參數

對於另一個實施例，繼承的模型參數可以來自一個直接鄰近的塊。來自預定位置的塊的模型按預定順序添加到候選列表中。例如，預定位置可以是第7圖中描繪的位置，預定順序可以是B _0,A _0,B _1,A ₁和B ₂，或者A _0,B _0,B _1,A ₁和B ₂。

在一個實施例中，預定位置和預定順序可以與幀間合併模式的空間候選相同。

針對另一個實施例，假設當前塊的位置、寬度和高度分別為 (x, y)、W 和 H，如果W大於或等於TH，預定位置可以包括位於當前塊正上方 (W ＞＞ 1) 或 ((W ＞＞ 1) – 1) 位置（即，當前塊正上方的位置，例如 ((x + W) ＞＞ 1, y-1) 或 ((x + W+1) ＞＞ 1, y-1)），以及如果H大於或等於TH，位於當前塊正左方 (H ＞＞ 1) 或 ((H ＞＞ 1) – 1) 位置（即，當前塊正左方的位置，例如 (x-1, (y+H)＞＞1) 或 (x-1, (y+H+1)＞＞1)），其中W和H是當前塊的寬度和高度，TH是閾值，可以是 2、4、8、16、32或64。對於另一個實施例，從空間鄰居繼承的模型數量最大值小於預定位置的數量。例如，如果預定位置如第7圖所示，有5個預定位置。如果預定順序是B _0,A _0,B _1,A ₁和B ₂，以及從空間鄰居繼承的模型數量最大值是4，則只有當前面的塊不可用或未在交叉分量模型中編解碼時，才將來自B ₂的模型加入候選列表。

繼承時間鄰近模型參數

在一個實施例中，如果當前切片/圖片是非幀内切片/圖片，繼承的模型參數可以來自先前編解碼的切片/圖片中的塊。

對於另一個實施例，如果當前切片/圖片是非幀内切片/圖片，繼承的模型參數可以來自先前編解碼的切片/圖片中的塊。例如，如第12圖所示，當前塊位置在 (x, y)，塊大小是。繼承的模型參數可以來自先前編解碼的切片/圖片中位置 (x’, y’), (x’, y’ + h/2), (x’ + w/2, y’), (x’ + w/2, y’ + h/2), (x’ + w, y’), (x’, y’ + h), 或 (x’ + w, y’ + h) 的塊，其中x’ = x + Δx 且 y’ = y + Δy。在一個實施例中，如果當前塊的預測模式是幀内，則Δx和Δy被設置為 0。如果當前塊的預測模式是幀間預測，則Δx和Δy被設置為當前塊的水平和垂直運動向量。在另一個實施例中，如果當前塊是雙向幀間預測，則Δx和Δy被設置為參考圖片列表0中的水平和垂直運動向量。在還有一個實施例中，如果當前塊是雙向幀間預測，則Δx和Δy被設置為參考圖片列表1中的水平和垂直運動向量。

對於另一個實施例，如果當前塊是雙向幀間預測，繼承的模型參數可以來自參考列表中先前編解碼的切片/圖片中的塊。例如，如果參考圖片列表0中的水平和垂直運動向量是和，則運動向量可以被縮放到參考列表0和1中的其他參考圖片。如果運動向量被縮放到參考列表0中的第 i個參考圖片為。則模型可以來自參考列表0中的第 i個參考圖片中的塊，並且Δx和Δy被設置為。另一個例子，如果參考圖片列表0中的水平和垂直運動向量是和，以及運動向量被縮放到參考列表1中的第 i個參考圖片為。則模型可以來自參考列表1中的第 i個參考圖片中的塊，以及Δx和Δy被設置為。

在一個實施例中，如果當前切片/圖片是非幀内切片/圖片，繼承的模型參數可以來自先前編解碼的切片/圖片中的塊。在一個實施例中，當前塊位置在 (x, y)，塊大小是。兩個值集和被定義為：，。

在和中的所有值都是正數。設。繼承的模型參數可以來自先前編解碼的切片/圖片中位置的塊。

在一個子實施例中，。例如，。繼承的模型參數可以來自先前編解碼的切片/圖片中第13圖所示的位置的塊。在第13圖中，當前塊由粗線框表示，當前塊的位置由中心的黑點表示。先前編解碼的切片/圖片的位置由“X”、灰色菱形、灰色方塊、灰色三角形和灰色圓圈表示。

在另一個子實施例中，。例如，和。

在另一個實施例中，當前塊的位置在(x, y)（即當前塊的左上角），塊的大小是。繼承的模型參數可以來自先前編解碼的切片/圖片中位置的塊。

在一個子實施例中，。例如，。

在另一個子實施例中，。例如，和。

在一個實施例中，更靠近的位置的模型首先被添加到最終合併候選列表中。在另一個實施例中，更靠近的位置的模型首先被添加到最終合併候選列表中。

在一種實施例中，設和為兩個固定的正數。繼承的模型參數可以來自先前編解碼切片/圖片中位置的塊。

在另一種實施例中，當前塊位置位於(x, y)，塊大小為。設和為兩個固定的正數。繼承的模型參數可以來自先前編解碼切片/圖片中位置的塊。

在另一種實施例中，當前塊位置位於(x, y)，塊大小為。繼承的模型參數可以來自先前編解碼切片/圖片中一些預定義位置的塊。例如，位置在當前編碼塊的對應區域內，即和。繼承的模型參數可以來自塊。另一個例子，位置在當前編碼塊的對應區域外，即和。繼承的模型參數可以來自塊。

在一種實施例中，從其繼承的參數模型的先前編解碼圖片（即同位圖片）是參考列表中的圖片之一。

在一種實施例中，同位圖片在圖片/切片標頭中被標記。參考列表和參考索引在圖片/切片標頭中被標記。例如，同位圖片被選擇為L0[0]。另一個例子，同位圖片被選擇為L1[0]。

在一種實施例中，同位圖片被選擇為參考列表中與當前圖片之間POC差值最小的圖片。例如，如果當前圖片的POC為8，參考列表0中圖片的POC為{7, 6, 5, 0}，參考列表1中圖片的POC為{7, 6, 5, 4}，那麼L0[0]（相當於L1[0]）被選擇，因為它的POC差值最小。在一個子實施例中，如果有兩張圖片，它們與當前圖片之間的POC差值都最小，則選擇POC較小的圖片。在另一個子實施例中，如果有兩張圖片，它們與當前圖片之間的POC差值都是最小的，則選擇POC較大的圖片。在另一個子實施例中，如果有兩張圖片，它們與當前圖片之間的POC差值都最小，則選擇QP差值較小的圖片。在還有一個子實施例中，如果有兩張圖片，它們與當前圖片之間的POC差值都是最小的，則選擇QP較小的圖片。在還有一個子實施例中，如果有兩張圖片，它們與當前圖片之間的POC差值都最小，則選擇QP較大的圖片。

在一種實施例中，同位圖片被選擇為參考列表中與當前圖片之間QP差值最小的圖片。例如，如果當前圖片的QP為28，參考列表0中圖片的QP為{19, 26, 23}，參考列表1中圖片的QP為{23, 22, 21}。那麼L0[1]被選擇。在另一個子實施例中，如果參考列表中有多於一張圖片和當前圖片之間的QP差值都最小，則選擇QP較小的圖片。在另一個子實施例中，如果有多於一張圖片和當前圖片之間的QP差值都最小，則選擇QP較大的圖片。在另一個子實施例中，如果有多於一張圖片和當前圖片之間的QP差值都是最小的，則選擇POC距離較小的圖片。

在一種實施例中，同位圖片被選擇為參考列表中QP最小的圖片。在另一種實施例中，同位圖片被選擇為參考列表中QP最大的圖片。

在一種實施例中，繼承的參數模型所來自的先前編解碼圖片（即同位圖片）是最近編解碼的I圖片。最近編解碼的I切片/圖片的交叉分量模型資訊被存儲在長期參考緩衝器（long-term reference buffer）中。

在一種實施例中，同位圖片和繼承的參數模型來源位置由鄰近塊的運動向量決定。例如，如果當前塊位置在（x, y）並且塊大小為。繼承的模型參數可以來自同位圖片中位置（x’, y’）、（x’, y’+ h/2）、（x’+w/2, y’）、（x’+ w/2, y’+ h/2）、（x’+ w, y’）、（x’, y’+ h）、或（x’+w, y’+ h）的塊，其中x’= x +Δx且y’= y +Δy。Δx和Δy分別設置為鄰近塊的L0運動向量的水平和垂直部分，同位圖片是由鄰近塊的L0運動向量指示的L0參考圖片。在還有一個實施例中，如果鄰近塊是幀間雙向預測，Δx和Δy分別設置為鄰近塊的L1運動向量的水平和垂直部分，同位圖片是由鄰近塊的L1運動向量指示的L1參考圖片。在一種實施例中，鄰近塊是當前塊的左側塊。在另一種實施例中，鄰近塊是當前塊的上方塊。

在一種實施例中，繼承的模型參數藉由使用同位塊的亮度和色度重構樣本導出。設當前塊位置為（x, y）以及塊大小為。當繼承模型來自位置（x’, y’）時，同位塊是同位圖片中位置（x’, y’）以及塊大小為的塊。例如，同位塊可以在（x, y）。另一個例子，如果Δx和Δy分別是鄰近塊的L0運動向量的水平和垂直部分，以及同位圖片是由鄰近塊的L0運動向量指示的L0參考圖片，同位塊可以位於同位圖片中的。

在一種實施例中，繼承的參數模型所來自的先前編解碼切片/圖片中的位置由鄰近塊的運動向量決定。設Δx和Δy為基於選擇的鄰近塊的運動向量決定的水平和垂直位移，當前塊位置在（x, y）以及塊大小為。繼承的模型參數可以來自位置（x’, y’）的塊，其中x’= x +Δx且y’= y +Δy，或者位置在x’= x + w/2 +Δx且y’= y + h/2 +Δy的塊。

在另一個實施例中，繼承的模型參數也可以來自於在前面段落中描述的模式中的塊位置。這些位置以（x’，y’）為中心，其中x’= x +Δx且y’= y +Δy，或者x’= x + w/2 +Δx且y’= y + h/2 +Δy。也就是說，將預定位置表示為，繼承的模型參數可以來自，其中和是基於選擇的鄰近塊的運動向量確定的水平和垂直位移。例如，設當前塊的大小為。兩個值集和被定義為：

所有在和中的值都是正數。繼承的模型參數可以來自於先前編解碼切片/圖片中位置的塊。例如，設和為兩個固定的正數。繼承的模型參數可以來自於先前編解碼切片/圖片中位置的塊。另一個例子，繼承的模型參數可以來自於相對於先前編解碼切片/圖片的的一些預定位置。這些位置可以是。另一個例子，這些位置可以是。

在一個實施例中，鄰近塊可以位於預定位置。例如，該位置可以是如第7圖所示的A ₀位置。預定位置也可以是如第7圖所示的A ₁、B ₀、B ₁、B ₂。如果預定位置的塊不是幀間塊，則不選擇鄰近塊。

在另一個實施例中，當選擇鄰近塊時，可以有預定位置的列表。這些位置根據檢查順序放置。例如，位置可以是在標題為“繼承空間鄰近模型參數”一節中描述的空間位置（例如，在第7圖的B _0,A _0,B _1,A ₁和B ₂）。選擇的鄰近塊可以是列表中第一個是幀間塊的位置。首先選擇L0運動向量。如果L0運動向量不可用，選擇L1運動向量。另一個例子，首先選擇L1運動向量。如果L1運動向量不可用，選擇L0運動向量。

另一個例子，列表中的位置按照預定的檢查順序檢查。對於每個位置，首先檢查L0運動向量，然後檢查L1運動向量。另一個例子，首先檢查L1運動向量，然後檢查L0運動向量。選擇的運動向量是第一個其參考圖片為同位圖片的運動向量。同位圖片可以根據本節前面段落中描述的方法決定。

在一個實施例中，水平和垂直位移Δx和Δy基於選擇的鄰近塊的運動向量決定。例如，如果選擇的運動向量的參考圖片和同位圖片是同一張圖片，等於選擇的運動向量的水平部分，Δy等於選擇的運動向量的垂直部分。如果選擇的運動向量的水平部分或垂直部分是分數，Δx等於選擇的運動向量的水平部分四捨五入後的結果，Δy等於選擇的運動向量的垂直部分四捨五入後的結果。使用的四捨五入方法可以是，但不限於，以下方法：向負無窮大捨入，向正無窮大捨入，向零捨入，或捨入到最接近的整數（例如，遠離零捨入，向上捨入一半，向下捨入一半，……）。另一個例子，如果選擇的運動向量的參考圖片和同位圖片不是同一張，參考圖片可以是參考列表中的圖片之一，而同位圖片是在圖片/切片標頭中標記的。設當前圖片和選擇的運動向量的參考圖片之間的POC距離為tb，當前圖片和同位圖片之間的POC距離為td，選擇的運動向量為(mv_x, mv_y)。Δx = mv_x * (td/tb)和Δy = mv_y * (td/tb)。如果mv_x * (td/tb)或mv_y * (td/tb)是分數，Δx等於mv_x * (td/tb)或選擇的運動向量的水平部分捨入後的結果，Δy等於mv_y * (td/tb)或選擇的運動向量的垂直部分捨入後的結果。使用的捨入方法可以是，但不限於，以下方法：向負無窮大捨入，向正無窮大捨入，向零捨入，或捨入到最接近的整數（例如，遠離零捨入，向上捨入一半，向下捨入一半，……）。

時間候選的可用區域

為了限制對緩衝/存儲資源的要求，應該限制包含時間候選的可用範圍。本節中提到的時間候選是指從先前編解碼的切片/圖片中的塊繼承模型參數的候選，如在標題為“繼承時間鄰近模型參數”的一節中所述。例如，假設當前塊位置在(x, y)，繼承的參數模型所來自的先前編解碼的切片/圖片中的位置可以是(x +Δx _i, y +Δy _i)，i是從1到M，M是大於0的正整數。Δx _i和Δy _i是預定的位移。另一個例子，假設當前塊位置在(x, y)，繼承的參數模型所來自的先前編解碼的切片/圖片中的位置可以是(x + dx +Δx _i, y + dy +Δy _i)，i是從1到M，M是大於0的正整數。Δx _i和Δy _i是預定的位移。dx和dy由當前塊的鄰近塊的運動向量確定。如何決定運動向量的詳細信息在標題為“繼承時間鄰近模型參數”的一節中描述。另一個例子，假設當前塊位置在(x, y)，繼承的參數模型所來自的先前編解碼的切片/圖片中的位置可以是(x + dx +Δx _i, y + dy +Δy _i)，i是從1到M，M是大於0的正整數。Δx _i和Δy _i是預定的位移。如果當前塊的預測模式是幀間，dx和dy設置為當前塊的運動向量的水平和垂直部分。如果運動向量的水平部分或垂直部分是分數，dx設置為運動向量的水平部分捨入後的結果，dy設置為運動向量的垂直部分捨入後的結果。使用的捨入方法可以是，但不限於，以下方法：向負無窮大捨入，向正無窮大捨入，向零捨入，捨入到最接近的整數（例如，遠離零捨入，向上捨入一半，向下捨入一半，……），或捨入到最接近預定精度（例如，捨入到最接近k像素或1/k像素精度位置，其中k可以是2、4、8、16或32）。如果當前塊的預測模式是IBC，dx和dy設置為當前塊的水平和垂直塊向量。如果塊向量的水平部分或垂直部分是分數，dx設置為塊向量的水平部分捨入後的結果，dy設置為塊向量的垂直部分捨入後的結果。使用的捨入方法可以是，但不限於，以下方法：向負無窮大捨入，向正無窮大捨入，向零捨入，捨入到最接近的整數（例如，遠離零捨入，向上捨入一半，向下捨入一半，……），或捨入到最接近預定精度（例如，捨入到最接近k像素或1/k像素精度位置，其中k可以是2、4、8、16或32）。

在一種實施例中，只有在同位圖片中的CTU的交叉分量模型（Cross-Component Model，簡稱CCM）資訊，其位置與當前圖片中當前編碼CTU的位置對應，可以被時間候選參考。在另一種實施例中，只有在同位圖片中的CTU的CCM資訊，其位置與當前圖片中當前編碼CTU，和/或當前編碼CTU左側N個CTU，和/或當前編碼CTU右側M個CTU的位置對應，可以被時間候選參考，其中N和M可以是任一大於0的整數。在另一種實施例中，只有在同位圖片中的CTU行的CCM資訊，其位置與當前圖片中當前編碼CTU行的位置對應，可以被時間候選參考。在另一種實施例中，只有在同位圖片中對應於當前CTU行和/或當前CTU行的上方N個CTU行和/或當前CTU行的下方M個CTU行的位置可以被參考，其中N和M可以是任一大於0的整數。請注意，如在“繼承CCM資訊”和“繼承模型參數的優化”標題下所述，本公開中提到的CCM資訊包括但不限於預測模式（例如，CCLM、MMLM、CCCM）、GLM模式索引、模型參數或分類閾值。

在下面的圖中，同位CTU指的是在同位圖片中的CTU，其位置與當前圖片中當前編碼CTU的位置對應。設同位CTU的左上角和左下角的位置分別為（x _L，y _T）和（x _L，y _B）。設圖片寬度為w。每個虛線區域的x，y範圍定義如下： ● 區域1：x _L- N ≤ x ＜ w，y _T- N ≤ y ＜ y _T● 區域2：x _L- N ≤ x ＜x _L，y _T≤ y ≤ y _B● 區域3：0 ≤ x ＜ x _L- N，y _B- N ＜ y ≤ y _BN是任一正整數，N ＞ 0。

在一種實施例中，時間候選只能參考同位CTU、區域1、區域2或區域3中的CCM資訊，如第14圖所示。N被設定為一個預定值。例如，N被設定為規範中允許的最小塊大小，允許的最小塊寬度或允許的最小塊高度。該塊可以是CU/PU/TU。另一個例子，N被設定為4。在一種實施例中，時間候選可以參考CCM資訊的區域與時間運動向量可以在幀間模式中參考的區域相同。也就是說，時間候選的可用區域與包含運動向量資訊的幀間合併模式中的時間候選的可用區域相同。

繼承非緊鄰空間相鄰模型（Inheriti ng Non-Adjacent Spatial Neighbouring Model ）

對於另一種實施例，繼承的模型參數可以來自非緊鄰空間相鄰塊。來自預定位置的模型按預定順序添加到候選列表中。例如，預定位置和預定順序與幀間合併模式的非緊鄰空間相鄰候選相同。例如，位置和順序可以如第10圖所示。編號方塊中的位置是預定位置。每個方塊內的數字表示預定順序。每個位置之間的距離與當前編解碼塊的寬度和高度成比例。

對於還有另一種實施例，從非緊鄰空間鄰居繼承的模型的最大數量可以小於預定位置的數量。例如，如果預定位置如第15A-B圖所示，其中顯示了兩種樣式yang（第15A圖中的樣式1510和第15B圖中的樣式1520）。如果從非緊鄰空間鄰居繼承的模型的最大數量是，則只有當從搜索模式1中的位置可用模型的數量小於時，才使用搜索模式2（即，從模式2中的位置添加模型）。

從歷史表繼承模型參數

在一種實施例中，繼承的模型參數可以來自交叉分量模型歷史表。歷史表中的交叉分量模型可以按預定順序添加到候選列表中。在一種實施例中，歷史候選的添加順序可以從表的開始到表的結束。在另一種實施例中，歷史候選的添加順序可以從特定預定位置到表的結束。在另一種實施例中，歷史候選的添加順序可以從表的結束到表的開始。在另一種實施例中，歷史候選的添加順序可以從特定預定位置到表的開始。在另一種實施例中，歷史候選的添加順序可以是交錯的方式（例如，第一個添加的候選來自表的開頭，第二個添加的候選來自表的結尾，依此類推）。

在一種實施例中，單一交叉分量模型歷史表可以被維護以存儲先前的交叉分量模型，以及交叉分量模型歷史表可以在當前圖片、當前切片、當前圖塊、每M個CTU行或每N個CTU的開始時重置，其中N和M可以是任一大於0的值。在另一種實施例中，交叉分量模型歷史表可以在當前圖片、當前切片、當前圖塊、當前CTU行或當前CTU的結束時重置。

從融合模式繼承

融合模式（fusion mode）指的是融合兩個預測以生成最終預測的模式。在色度幀內融合模式中，一個未使用交叉分量預測（Cross-Component Prediction，簡稱CCP）編解碼工具（例如，CCLM、MMLM、CCCM）生成的色度幀內預測與另一個使用交叉分量預測編解碼工具生成的色度幀內預測融合在一起。例如，一個非CCLM編解碼的幀內預測和一個CCLM編解碼的幀內預測融合在一起以獲得最終的幀內預測。

在一種實施例中，當從由色度幀內融合模式編解碼的塊/位置繼承交叉分量模型參數時，用於獲得CCP編解碼的幀內預測的模型參數被繼承並進一步優化。

在一種實施例中，除了繼承和優化CCP模型參數外，融合權重、非CCP編解碼的幀內預測的編解碼模式也被繼承。也就是說，色度幀內融合模式被繼承。

候選列表構建

在一種實施例中，候選列表藉由按預定順序添加候選直到達到最大候選數量來構建。添加的候選可以包括所有或部分上述候選，但不限於上述候選。例如，候選列表可以包括空間相鄰候選、時間相鄰候選、歷史候選、非鄰近相鄰候選。另一個例子，候選列表可以包括與前一個例子相同的候選，但候選以不同的順序添加到列表中。

在另一種實施例中，如果所有預定的相鄰和歷史候選都被添加但未達到最大候選數量，則一些默認候選被添加到候選列表中，直到達到最大候選數量。

在一個子實施例中，預設候選包括但不限於以下所述的候選。最終的縮放參數來自於集合，而偏移參數則基於鄰近的亮度和色度樣本導出。例如，如果鄰近的亮度和色度樣本的平均值是lumaAvg和chromaAvg，那麼藉由導出。

在另一個實施例中，預設候選可以是較早候選，具有增量縮放參數的優化。例如，如果較早候選的縮放參數是，預設候選的縮放參數是，其中可以來自於集合{ }。預設候選的偏移參數將藉由以及當前塊的鄰近亮度和色度樣本的平均值導出。

發送在列表中的繼承候選索引

開/關標誌可以被發送來指示當前塊是否繼承鄰近塊的交叉分量模型參數。該標誌可以按照CU/CB、PU、TU/TB、每個色彩分量或每個色度色彩分量來標示。高層語法可以在SPS、圖片參數集（Picture Parameter Set，簡稱PPS）、圖片標頭（Picture Header，簡稱PH）或切片標頭（Slice Header，簡稱）中標示來指示所提出的方法是否允許用於當前序列、圖片或切片。

允許的最大候選數量被發送來指示合併候選列表的最大大小。該數量可以按照CU/CB、PU、TU/TB、每個色彩分量或每個色度色彩分量來標示。高層語法可以在SPS、PPS、PH或SH中標示來指示所提出的方法是否允許用於當前序列、圖片或切片。所提出方法的允許的最大候選數量可以與幀間合併模式的允許的最大候選數量共享。

如果當前塊繼承鄰近塊的交叉分量模型參數，則繼承候選索引被發送。該索引可以被發送（例如，使用截斷一元碼、Exp-Golomb碼或固定長度碼發送）以及在當前的Cb和Cr塊之間共享。例如，索引可以按每個色彩分量發送。例如，對Cb分量發送一個繼承候選索引，以及對Cr分量發送另一繼承候選索引。又例如，它可以使用色度幀內預測語法（例如，IntraPredModeC[xCb][yCb]）來存儲繼承的候選索引。

如上所述的使用具有緩衝限制的繼承模型參數的交叉分量預測可以在編碼器端或解碼器端實現。例如，任一所提出的候選導出方法可以在解碼器的幀内/幀間編解碼模塊中實現（例如，第1B圖中的幀内預測150/MC 152），或者在編碼器的幀内/幀間編解碼模塊中實現（例如，第1A圖中的幀内預測110/幀間預測112）。任一所提出的候選導出方法也可以作為與解碼器或編碼器中的幀内/幀間編解碼模塊相連的電路實現。然而，解碼器或編碼器也可以使用額外的處理單元來實現所需的交叉分量預測處理。雖然幀内預測單元（例如，第1A圖和第1B圖中的單元110/112和單元150/152）被顯示為單獨的處理單元，它們可以對應於存儲在媒體上的可執行軟體或韌體代碼，例如硬盤或閃存，用於中央處理單元（Central Processing Unit，簡稱CPU）或可編程設備（例如，數位訊號處理器（Digital Signal Processor，簡稱DSP）或現場可編程閘陣列（Field Programmable Gate Array，簡稱FPGA））。

第16圖展示根據本發明的實施例的結合繼承時間交叉分量模型參數和緩衝限制的示例性視訊編解碼系統的流程圖。流程圖中顯示的步驟可以作為在編碼器端的一個或多個處理器上可執行的程式代碼實現（例如，一個或多個CPU）。流程圖中顯示的步驟也可以基於硬體實現，例如一個或多個電子設備或處理器被安排來執行流程圖中的步驟。根據這個方法，與當前塊相關的輸入資料在步驟1610中被接收，該當前塊包括第一色塊和一個第二色塊，其中輸入資料包括在編碼器端要編碼的像素資料或在解碼器端要解碼的當前塊相關資料，以及當前塊位於非幀內切片或圖片中。在步驟1620中決定與先前編解碼的切片或圖片中的參考資料相關的資料或位置，其中與參考資料相關的位置被限制在當前塊的同位編解碼樹單元（CTU）內以及與同位CTU相鄰的一個或多個鄰近區域內。在步驟1630中，藉由繼承參考資料的交叉分量模型參數導出與目標繼承預測模型相關的目標交叉分量模型參數。在步驟1640中，藉由使用包括交叉顏色預測的預測資料來對第二色塊進行編碼或解碼，該交叉顏色預測藉由將具有目標交叉分量模型參數的目標繼承預測模型應用於重構的第一色塊而生成。

所顯示的流程圖旨在說明根據本發明的視訊編解碼的例子。本領域的普通技術人員可以修改每個步驟，重新排列步驟，分割步驟或結合步驟來實踐本發明，而不偏離本發明的精神。在披露中，具體的語法和語義被用來說明實施本發明的實施例的例子。本領域的普通技術人員可以藉由用等效的語法和語義替換語法和語義來實踐本發明，而不偏離本發明的精神。

上述描述是為了使具有普通技術水平的人能夠在特定應用和其要求的背景下實踐本發明。對於本領域的普通技術人員來說，對於所描述的實施例的各種修改將是顯而易見的，並且在此定義的一般原則可以應用於其他實施例。因此，本發明不打算僅限於所顯示和描述的特定實施例，而是要賦予與此處披露的原則和新穎特徵一致的最廣泛範圍。在上述詳細描述中，為了提供對本發明的徹底理解，各種具體細節被描繪出來。然而，對於那些本領域的普通技術人員來說，本發明可以被實踐。

本發明的實施例如上所述，可以藉由各種硬體、軟體代碼或兩者的組合來實現。例如，本發明的實施例可以是一個或多個電路電路集成到一個視訊壓縮晶片中，或者是集成到視訊壓縮軟體中的程式代碼，以執行此處描述的處理。本發明的實施例還可以是要在數位訊號處理器（Digital Signal Processor，簡稱 DSP）上執行的程式代碼，以執行此處描述的處理。本發明還可以涉及由計算機處理器、數位訊號處理器、微處理器或現場可編程閘陣列（Field Programmable Gate Array，簡稱 FPGA）執行的多個功能。這些處理器可以根據發明配置為執行特定任務，藉由執行機器可讀的軟體代碼或韌體代碼來定義發明體現的特定方法。軟體代碼或韌體代碼可以用不同的編程語言和不同的格式或風格開發。軟體代碼也可以為不同的目標平台編譯。然而，不同的代碼格式、風格和軟體代碼的語言以及其他配置代碼以根據發明執行任務的手段，不會偏離發明的精神和範圍。

本發明可以在不偏離其精神或基本特徵的情況下以其他特定形式體現。所描述的例子在各方面僅應視為說明性的，而不是限制性的。因此，本發明的範圍應由所附請求項而不是前述描述來指示。所有在請求項的意義和等價範圍內的變化都應包含在其範圍內。

110:幀內預測 112:幀間預測 114:開關 116:加法器 118:變換 120:量化 122:熵編碼器 124:逆量化 126:逆變換 128:REC 130:環路濾波器 134:參考圖片緩衝器 136:預測資料 140:熵解碼器 150:幀內預測 152:MC 210:色度塊 220:亮度塊 610:梯度濾波器 620:梯度濾波器 630:梯度濾波器 640:梯度濾波器 710:當前CU 810:當前CU 820:同位CU 830:運動向量 840:運動向量 1110:I圖片 1120:P/B圖片 1130:當前P/B圖片 1510:模式 1520:模式 1610、1620、1630、1640:步驟

第1A圖展示包含迴圈處理的示例性適應性幀間/幀内視訊編解碼系統。第1B圖展示第1A圖中編碼器的對應解碼器。第2圖展示LM_LA模式中涉及的當前塊的左側和上方樣本以及樣本的位置示例。第3圖展示將鄰近樣本分類為兩組的示例。第4圖展示卷積濾波器空間部分的示例。第5圖展示用於導出濾波器係數的參考區域與填充的示例。第6圖展示梯度線性模型（GLM）的4種梯度模式。第7圖展示用於導出VVC空間合併候選的鄰近塊。第8圖展示時間候選導出的示例，其中根據圖片順序計數（POC）距離導出縮放的運動向量。第9圖展示在候選C ₀和C ₁之間選擇的時間候選的位置。第10圖展示非鄰近空間合併候選的示例性模式。第11圖展示CCM資訊傳播的示例，其中虛線塊（即A、E、G）以交叉分量模式（例如CCLM、MMLM、GLM、CCCM）編解碼。第12圖展示繼承時間鄰近模型參數的示例。第13圖展示根據本發明的實施例的時間候選位置的示例。第14圖展示根據本發明的實施例的時間候選可用區域的示例。第15A-B圖展示繼承非緊鄰空間相鄰模型的兩種搜索模式。第16圖展示示例性視訊編解碼系統的流程圖，該系統根據本發明的實施例結合了繼承時間交叉分量模型參數與緩衝區限制。

1610、1620、1630、1640:步驟

Claims

一種彩色圖片編解碼方法，使用包括一個或多個交叉分量模型相關模式的多個編解碼工具，該方法包括：接收與一當前塊相關的輸入資料，該當前塊包括一第一色塊和一第二色塊，其中該輸入資料包括要在一編碼器端編碼的像素資料或要在一解碼器端解碼的與該當前塊相關的資料，以及該當前塊位於一非幀内切片或圖片中；確定與一參考資料相關的資料或位置，該位置位於先前編解碼的一切片或一圖片中，其中該位置相關的該參考資料被限制在該當前塊的一同位編解碼樹單元(CTU)內以及與該同位CTU相鄰的一個或多個鄰近區域內；藉由繼承該參考資料的多個交叉分量模型參數導出與一目標繼承預測模型相關的多個目標交叉分量模型參數；以及藉由使用包括交叉顏色預測的預測資料來對該第二色塊進行編碼或解碼，該交叉顏色預測藉由將具有該等目標交叉分量模型參數的該目標繼承預測模型應用於一重構的第一色塊而生成。
如請求項1所述的彩色圖片編解碼方法，其中該一個或多個鄰近區域鄰接於該同位CTU，包括位於該同位CTU上方的頂部N條水平參考線區域、鄰接於該同位CTU左側的左側N條垂直參考線區域、位於該同位CTU左側且底部與同位CTU對齊的底部N條水平參考線區域，或其組合，其中N是一正整數。
如請求項2所述的彩色圖片編解碼方法，其中N被設定為一預定值。
如請求項2所述的彩色圖片編解碼方法，其中N被設定為一允許的最小塊大小，最小塊高度或最小塊寬度。
如請求項4所述的彩色圖片編解碼方法，其中該允許的最小塊大小，最小塊高度或最小塊寬度與一編解碼單元(CU)、一預測單元(PU)或一變換單元(TU)相關。
如請求項1所述的彩色圖片編解碼方法，其中與該同位CTU相鄰的該一個或多個鄰近區域與允許一時間候選在一幀間模式中參考一運動向量的區域相同。
如請求項1所述的彩色圖片編解碼方法，其中根據該當前塊在該先前編解碼的切片或圖片中的一對應位置以及該當前塊或一相鄰塊的一運動向量來定位該先前編解碼的切片或圖片中的該參考資料。
如請求項7所述的彩色圖片編解碼方法，其中當該當前塊進行幀內編解碼時，用於推導該當前塊的該等目標交叉分量模型參數所使用的該運動向量被設置為0。
如請求項7所述的彩色圖片編解碼方法，其中該參考資料的該位置基於該當前塊的該對應位置經由該當前塊的該運動向量移動而決定。
如請求項7所述的彩色圖片編解碼方法，其中該參考資料的位置基於該當前塊的該對應位置經由該當前塊的該運動向量以及一個或多個額外偏移量移動而決定。
如請求項10所述的彩色圖片編解碼方法，其中該一個或多個額外偏移量取決於該當前塊的寬度、該當前塊的高度或兩者。
如請求項11所述的彩色圖片編解碼方法，其中該一個或多個額外偏移量對應於該當前塊的該寬度的一水平偏移和該當前塊的該高度的一垂直偏移。
如請求項11所述的彩色圖片編解碼方法，其中該一個或多個額外偏移量對應於該當前塊的該寬度一半的一水平偏移和該當前塊的該高度一半的一垂直偏移。
如請求項1所述的彩色圖片編解碼方法，其中該一個或多個交叉分量模型參數經過優化後作為該等目標交叉分量模型參數使用。
如請求項1所述的彩色圖片編解碼方法，其中該第一色塊對應於一亮度塊，而該第二色塊對應於一色度塊。
如請求項1所述的彩色圖片編解碼方法，其中只有於該同位CTU中一目標同位圖片的該等交叉分量模型參數被允許由多個時間候選參考。
如請求項1所述的彩色圖片編解碼方法，其中只有在該同位CTU、該同位CTU的左側N個CTU、該同位CTU的右側M個CTU或其組合中的一目標同位圖片的該等交叉分量模型參數被允許由多個時間候選參考，以及N和M是大於0的整數。
如請求項1所述的彩色圖片編解碼方法，其中只有在包含該同位CTU的一CTU行中一目標同位圖片的該等交叉分量模型參數被允許由多個時間候選參考。
如請求項1所述的彩色圖片編解碼方法，其中只有對應於一當前CTU行、一當前CTU行上方N個CTU行、一當前CTU行下方M個CTU行或其組合的一目標同位圖片的該等交叉分量模型參數被允許參考，以及N和M是大於0的整數。
一種彩色圖片編解碼裝置，使用包括一個或多個交叉分量模型相關模式的多個編解碼工具，該裝置包括一個或多個電子電路或處理器，被配置為：接收與一當前塊相關的輸入資料，該當前塊包括一第一色塊和一第二色塊，其中輸入資料包含要在一編碼器端編碼的像素資料或要在一解碼器端解碼的與該當前塊相關的資料，以及其中該當前塊位於一非幀内切片或圖片中；確定與一參考資料相關的資料或位置，該位置位於先前編碼的一切片或一圖片中，其中該位置相關的該參考資料被限制在該當前塊的一同位編解碼樹單元(CTU)內以及與該同位CTU相鄰的一個或多個鄰近區域內；藉由繼承該參考資料的多個交叉分量模型參數導出與一目標繼承預測模型相關的多個目標交叉分量模型參數；以及藉由使用包括交叉顏色預測的預測資料來對該第二色塊進行編碼或解碼，該交叉顏色預測藉由將具有該等目標交叉分量模型參數的該目標繼承預測模型應用於一重構的第一色塊而生成。