TW202520711A - 從縮放參考圖片繼承交叉分量模型的影片編解碼方法與裝置 - Google Patents

Abstract

揭露一種用於編解碼彩色圖片或影片的方法及裝置，使用包含一個或多個與交叉分量模型相關的模式的編解碼工具。本方法中，根據一個或多個預定義規則從一個或多個參考圖片列表中選擇同位圖片。確定所選的同位圖片是否為參考圖片重採樣圖片。依據同位圖片是否為參考圖片重採樣圖片，從同位圖片中導出當前交叉分量預測模型。使用包括當前交叉分量預測模型的候選列表編解碼當前第二顏色塊，其中，當當前交叉分量預測模型被選擇用於編解碼當前第二顏色塊時，通過將當前交叉分量預測模型應用於當前第一顏色塊，以生成當前第二顏色塊的預測資料。

Description

從縮放參考圖片繼承交叉分量模型的影片編解碼方法與裝置

本發明涉及使用包含一個或多個與交叉分量模型（Cross-Component Models，簡稱 CCM）相關模式的編解碼工具的影片編解碼系統。特別是，本發明涉及使用從參考圖片重採樣（Reference Picture Resampling，簡稱 RPR）參考圖片導出的交叉分量模型進行色度分量的編解碼。

多功能影片編解碼（Versatile Video Coding，簡稱 VVC）是由國際電信聯盟-電信標準化部門（ITU-T）影片編解碼專家組（Video Coding Experts Group，簡稱 VCEG）和國際標準化組織/國際電工委員會移動影片專家組（ISO/IEC Moving Picture Experts Group，簡稱 MPEG）的聯合影片專家組（Joint Video Experts Team，簡稱 JVET）開發的最新國際影片編解碼標準。該標準已作為ISO標準發布：ISO/IEC 23090-3:2021，資訊技術 - 沉浸式媒體的編碼表示 - 第3部分：多功能影片編解碼，於2021年2月發布。VVC是在其前身高效能影片編解碼（High Efficiency Video Coding，簡稱 HEVC）的基礎上開發的，通過增加更多編解碼工具來提高編解碼效率，並處理包括三維（3D）影片信號在內的各種類型的影片源。

第1A圖展示了一個包含環路處理的示例性適應性幀內/幀間影片編碼系統。對於幀內預測110，預測資料是基於當前圖片中先前編碼的影片資料導出的。對於幀間預測112，在編碼器端進行運動估計（Motion Estimation，ME）並基於ME的結果進行運動補償（Motion Compensation，MC）以提供從其他圖片和運動資料導出的預測資料。開關114選擇幀內預測110或幀間預測112，並將選定的預測資料提供給加法器116以形成預測誤差，也稱為殘差。然後對預測誤差進行變換（Transform，T）118處理，接著是量化（Quantization，Q）120。變換和量化的殘差隨後由熵編碼器（Entropy Encoder）122編碼，以包含在對應於壓縮影片資料的影片位元流中。與變換係數相關的位元流隨後與側資訊打包，例如與幀內預測和幀間預測相關的運動和編解碼模式，以及與應用於底層影像區域的環路濾波器相關的參數等側資訊。與幀內預測110、幀間預測112和環路濾波器（In Loop Filter，ILPF）130相關的側資訊，如第1A圖所示，提供給熵編碼器122。當使用幀間預測模式時，編碼器端還必須重建參考圖片。因此，變換和量化的殘差由逆量化（Inverse Quantization，IQ）124和逆變換（Inverse Transformation，IT）126處理以恢復殘差。然後將殘差加回預測資料136，在重建（Reconstruction，REC）128處重建影片資料。重建的影片資料可能存儲在參考圖片緩衝區（Reference Picture Buffer）134中，並用於其他幀的預測。

如第1A圖所示，傳入的影片資料在編碼系統中經歷一系列處理。來自REC 128的重建影片資料可能會因一系列處理而受到各種損害。因此，在將重建的影片資料存儲到參考圖片緩衝區134之前，通常會對重建的影片資料應用環路濾波器130以提高影片質量。例如，可以使用去塊濾波器（Deblocking Filter，DF）、樣本適應性偏移（Sample Adaptive Offset，SAO）和適應性環路濾波器（Adaptive Loop Filter，ALF）。可能需要將環路濾波器資訊納入位元流，以便解碼器能夠正確恢復所需資訊。因此，環路濾波器資訊也提供給熵編碼器122以納入位元流。在第1A圖中，環路濾波器130應用於重建的影片，然後將重建的樣本存儲在參考圖片緩衝區134中。第1A圖中的系統旨在說明典型影片編碼器的示例性結構。它可能對應於高效能影片編解碼（HEVC）系統、VP8、VP9、H.264或VVC。

如第1B圖所示，解碼器可以使用與編碼器相同或部分相同的功能塊，除了變換118和量化120，因為解碼器只需要逆量化124和逆變換126。解碼器使用熵解碼器（Entropy Decoder）140代替熵編碼器122，將影片位元流解碼為量化變換係數和所需的編解碼資訊（例如ILPF資訊、幀內預測資訊和幀間預測資訊）。解碼器端的幀內預測150不需要進行模式搜索。相反，解碼器只需要根據從熵解碼器140接收的幀內預測資訊生成幀內預測。此外，對於幀間預測，解碼器只需要根據從熵解碼器140接收的幀間預測資訊進行運動補償（MC 152），而不需要運動估計。

為了提高使用交叉分量模型的系統的編解碼性能，公開了從參考圖片重採樣（Reference Picture Resampling，RPR）參考圖片導出的交叉分量模型的使用方法和裝置。

本發明公開了一種使用編解碼工具包含一個或多個與交叉分量模型相關的模式編解碼彩色圖片或影片的方法和裝置。根據這種方法，接收與當前塊相關的輸入資料，包括第一顏色塊和第二顏色塊，其中，該輸入資料包括在編碼器端要編碼的像素資料或在解碼器端要解碼的與該當前塊相關的資料，且其中該當前塊是以非幀內模式編解碼的。根據一個或多個預定義規則從一個或多個參考圖片列表中選擇同位圖片。確定所選的該同位圖片是否為參考圖片重採樣（Reference Picture Resampling，RPR）圖片。依據該同位圖片是否為該參考圖片重採樣（RPR）圖片，從該同位圖片中導出當前交叉分量預測（Cross-Component Prediction，CCP）模型。透過使用包括該當前交叉分量預測（CCP）模型的候選列表編碼或解碼該當前第二顏色塊，其中，當該當前交叉分量預測（CCP）模型被選擇用於編解碼該當前第二顏色塊時，通過將該當前交叉分量預測（CCP）模型應用於該當前第一顏色塊，以生成該當前第二顏色塊的預測資料。

在一個實施例中，該一個或多個預定義規則與資訊包括L0[0]、L1[0]、圖片順序計數（POC）距離、QP值或其組合相關。在一個實施例中，所選的該同位圖片是否為該參考圖片重採樣（RPR）圖片由位元流中發出或解析的標誌所指示。在一個實施例中，若該同位圖片和包含該當前塊的當前圖片在一個或多個目標參數上有所不同，則所選的該同位圖片是該參考圖片重採樣（RPR）圖片。在一個實施例中，該一個或多個目標參數包括亮度樣本中的圖片寬度、該亮度樣本中的圖片高度、縮放窗口左偏移(offset)、縮放窗口右偏移、縮放窗口上偏移、縮放窗口下偏移、子圖片數量或其組合。

在一個實施例中，該同位圖片是從一個或多個參考圖片列表中的一個或多個未縮放圖片中選擇的。在一個實施例中，從該一個或多個參考圖片列表中的未縮放圖片中選擇一個目標圖片作為該同位圖片，並且其中該目標圖片是基於與當前圖片的圖片順序計數（POC）差異、圖片順序計數（POC）值、與當前圖片的QP差異、QP值、參考列表或其組合而選擇的。

在一個實施例中，若所選的該同位圖片是該參考圖片重採樣（RPR）圖片，則從該同位圖片繼承的交叉分量模型（CCM）資訊被禁用。在一個實施例中，若所選的該同位圖片是該參考圖片重採樣（RPR）圖片，則根據縮放比例從縮放位置檢索來自該同位圖片的交叉分量模型（CCM）資訊。在一個實施例中，該縮放比例是基於當前圖片的縮放窗口和該同位圖片導出的。在一個實施例中，若當前位置和該縮放比例分別表示為(x,y)和R，則經過湊整進程（Rounding Process）後，按照(x/R,y/R)決定縮放位置。在一個實施例中，該湊整進程對應於向負無窮大湊整、向正無窮大湊整、向零湊整或湊整至最接近的整數。

在一個實施例中，來自該同位圖片的該當前交叉分量預測（CCP）模型是根據鄰近塊的運動向量來確定的，並且該鄰近塊是從預定義位置的列表中選擇的。在一個實施例中，該鄰近塊是根據預定義檢查順序從預定義位置的該列表中選擇的。在一個實施例中，該預定義檢查順序對應於首先檢查L0運動向量或L1運動向量，並且首先選擇與未縮放參考圖片相關的目標運動向量。

在一個實施例中，若由運動向量定位的目標參考圖片是該參考圖片重採樣（RPR）圖片，則該運動向量被視為沒有由該運動向量定位的交叉分量模型（CCM）資訊。在另一個實施例中，若由運動向量定位的目標參考圖片是該參考圖片重採樣（RPR）圖片，則從該目標參考圖片依據縮放比例在縮放位置檢索交叉分量模型（CCM）資訊。

本發明的組件，如一般在圖中所描述和描繪的，可以安排和設計成各種不同的配置。因此，以下對本發明系統和方法的實施例的更詳細描述，如圖所示，並不旨在限制所聲明的發明的範圍，而僅代表發明的選定實施例。本規範中對“一個實施例”、“一種實施例”或類似語言的引用意味著在與該實施例相關的描述中可能包括的特定特徵、結構或特性至少在本發明的一個實施例中包括。因此，本規範各處出現的“在一個實施例中”或“在一種實施例中”的短語並不一定都指同一實施例。

此外，所描述的特徵、結構或特性可以在一個或多個實施例中以任何適當的方式結合。然而，相關技術領域的熟練技術人員將認識到，可以在不使用一個或多個特定細節，或使用其他方法、組件等的情況下實踐發明。在其他情況下，眾所周知的結構或操作沒有詳細顯示或描述，以避免模糊發明的方面。通過參考圖紙，可以最好地理解發明的實施例，其中相同部分通過相同數字在整個過程中指定。以下描述僅作為示例，並僅示意了與此處聲明的發明一致的某些選定實施例的裝置和方法。

交叉分量線性模型（Cross-Component Linear Model ，CCLM ）預測

為了減少交叉分量的冗餘，VVC中使用了交叉分量線性模型（CCLM）預測模式，其中根據使用線性模型的同一編碼單元（CU）重建的亮度樣本預測色度樣本，如下所示： (1)

其中 代表CU中預測的色度樣本， 代表同一CU的下採樣重建亮度樣本。

CCLM參數（ 和 ）是根據最多四個鄰近色度樣本及其對應的下採樣亮度樣本導出的。假設當前色度塊尺寸為W×H，則W’和H’設定為 W’= W, H’= H 當LM_LA模式應用時； W’= W + H 當LM_A模式應用時； H’= H + W 當LM_L模式應用時。

在本公開中，術語 {LM_LA, LM_A, LM_L} 和 {CCLM_LT, CCLM_T, CCLM_L} 可以互換使用。

多模型CCLM （Multiple Model CCLM ，MMLM ）

在JEM（J. Chen, E. Alshina, G. J. Sullivan, J.-R. Ohm, 和 J. Boyce, Algorithm Description of Joint Exploration Test Model 7, document JVET-G1001, ITU-T/ISO/IEC Joint 影片 Exploration Team (JVET), Jul. 2017）中，提出了多模型CCLM模式（MMLM），用於使用兩個模型從亮度樣本預測整個CU的色度樣本。在MMLM中，鄰近亮度樣本和當前塊的鄰近色度樣本被分類為兩組，每組作為訓練集導出線性模型（即，為特定組導出特定的α和β）。此外，當前亮度塊的樣本也根據鄰近亮度樣本的分類規則進行分類。

閾值計算為鄰近重建亮度樣本的平均值。Rec′ _L [x,y] ＜= 閾值的鄰近樣本被分類為第1組；而Rec′ _L [x,y] ＞ 閾值的鄰近樣本被分類為第2組。 (2)

卷積交叉分量模型（Convolutional Cross-Component Model ，CCCM ）

在CCCM中，應用卷積模型以提高色度預測性能。卷積模型具有7-抽頭濾波器，由5-抽頭加號形狀空間組件、非線性項和偏置項組成。

濾波器的輸出計算為濾波器係數和輸入值之間的卷積，並剪切到有效色度樣本的範圍內。

濾波器係數通過最小化參考區域中預測和重建色度樣本之間的均方誤差（MSE）來計算。

梯度線性模型（Gradient Linear Model ，GLM ）

與CCLM相比，GLM利用亮度樣本梯度而不是下採樣亮度值來導出線性模型。具體來說，當應用GLM時，CCLM過程的輸入，即下採樣亮度樣本 ，被亮度樣本梯度 替換。CCLM的其他部分（例如，參數導出、預測樣本線性變換）保持不變： 。

第2圖顯示了用於梯度計算的16個梯度濾波器（210-240）。

畫面內塊複製

畫面內塊複製（Intra block copy，簡稱 IBC）是在畫面內容編解碼（screen content coding，簡稱 SCC）的 HEVC 擴展中採用的工具。眾所周知，它顯著提高了畫面內容材料的編解碼效率。由於 IBC 模式作為塊級編解碼模式實現，因此在編碼器端進行塊匹配（block matching，簡稱 BM）以找到每個 CU 的最佳塊向量（或運動向量）。在此，塊向量用於指示從當前塊到已在當前圖片內重建的參考塊的位移。IBC 編碼的 CU 的亮度塊向量是整數精度。色度塊向量也四捨五入為整數精度。當與 AMVR 結合時，IBC 模式可以在 1-pel 和 4-pel 運動向量精度之間切換。IBC 編碼的 CU 被視為除幀內或幀間預測模式之外的第三種預測模式。IBC 模式適用於寬度和高度均小於或等於 64 亮度樣本的 CU。

非下採樣亮度樣本的交叉分量色度模型（CCCM Using Non-Down-sampled Luma Samples ）

使用非下採樣亮度樣本的 3x2 濾波器的 CCCM 模式被使用，它包括 6-抽頭空間項、四個非線性項和一個偏置項。6-抽頭空間項對應於 6 個鄰近亮度樣本（即 L0、L1、…、L5）圍繞要預測的色度樣本（即 C），四個非線性項是從亮度樣本 L0、L1、L2 和 L3 導出的，如下所示，非下採樣亮度樣本的位置顯示在第3圖。

交叉分量殘差模型（Cross-Component Residual Model ，簡稱 CCRM ）

如 JVET-AD0108（Pekka Astola 等人，“AHG12: 交叉分量殘差模型（CCRM）用於幀間預測”，聯合影片專家小組（Joint Video Experts Team，簡稱 JVET）的 ITU-T SG 16 WP 3 和 ISO/IEC JTC 1/SC 29，第30次會議，Antalya, TR, 2023年4月21日至28日，文件：JVET-AD0108）中所述，它是將交叉分量殘差模型（CCRM）應用於從重建的亮度樣本預測色度樣本，當塊使用幀間預測或畫面內塊複製（IBC）。第4圖說明了解碼器端的方法。交叉分量濾波器是使用亮度和色度的預測訊號導出的。導出的濾波器應用於重建的亮度訊號，產生最終的色度預測。濾波器係數在步驟 420 中為每個色度分量分別使用預測訊號（即 predY 410 和 predCb 412 或 predCr 414）導出，並且濾波器應用於重建的亮度訊號在步驟 430 中如第4圖所示。重建的亮度訊號是通過將亮度預測（PredY）410 和殘差亮度訊號（resY）使用加法器 422 結合形成的。應用濾波器後，步驟 430 生成過濾預測的 Cb 440 和過濾預測的 Cr 450。重建的 Cb 訊號是通過將過濾預測的 Cb（即filtered-predicted Cb）440 和殘差 Cb 訊號（即 resCb）使用加法器 442 結合形成的。同樣，重建的 Cr 訊號是通過將過濾預測的 Cr （即filtered-predicted Cr）450 和殘差 Cr 訊號（即 resCr）使用加法器 452 結合形成的。

畫面內模板匹配

畫面內模板匹配預測（Intra template matching prediction，簡稱 IntraTMP）是一種特殊的幀內預測模式，它從當前幀的重建部分複製最佳預測塊，其 L 形模板與當前模板匹配。對於預定義的搜索範圍，編碼器在當前幀的重建部分搜索與當前模板最相似的模板，並使用相應的塊作為預測塊。然後編碼器發出使用此模式的信號，並在解碼器端執行相同的預測操作。

擴展合併預測（Extended Merge Prediction ）

在 VVC 中，合併候選列表是按順序包含以下五種類型的候選者構建的： （1） 來自空間鄰近 CU 的空間 MVP （Motion Vector Predictor ）（2）來自同位 CU 的時間 MVP （3） 來自 FIFO 表的基於歷史的 MVP （4） 成對平均 MVP （5）零 MV

空間候選導出（Spatial Candidate Derivation ）

VVC 中空間合併候選的導出與 HEVC 中的相同，除了前兩個合併候選的位置被交換。為當前 CU 510 選擇的最多四個合併候選（B _0,A _0,B ₁和A ₁）位於第5圖中描繪的位置。導出的順序是 B _0,A _0,B _1,A ₁和B ₂。位置 B ₂只有在一個或多個鄰近 CU 的位置B ₀，A ₀，B ₁，A ₁不可用（例如屬於另一個切片或圖塊）或是幀內編碼時才考慮。在位置 A ₀的候選者被添加後，剩餘候選者的添加受到冗餘檢查的限制，該檢查確保具有相同運動資訊的候選者從列表中排除，從而提高編解碼效率。

除了上述的空間候選者外，非鄰近空間合併候選者如JVET-L0399（Yu Han等人，“CE4.4.6: 合併/跳過模式的改進”，聯合影片探索小組（Joint Video Exploration Team，JVET）的ITU-T SG 16 WP 3 和 ISO/IEC JTC 1/SC 29/WG 11，第12次會議：澳門，中國，2018年10月3日至12日，文件：JVET-L0399）中所述，在常規合併候選列表中的TMVP（Temporal Motion Vector Predictor）之後插入。空間合併候選者的模式示例顯示於第6圖。非鄰近空間候選者與當前編解碼塊之間的距離基於當前編解碼塊的寬度和高度。不適用線緩衝區限制。

時間候選者衍生（Temporal Candidates Derivation ）

在此步驟中，只向列表中添加一個候選者。特別是，在為當前CU 710衍生此時間合併候選者時，根據屬於同位參考圖片的同位CU 720衍生一個縮放運動向量，如第7圖所示。用於衍生同位CU的參考圖片列表和參考索引在切片標頭中明確標示。時間合併候選者的縮放運動向量730如第7圖中的虛線所示，從同位CU的運動向量740使用POC（Picture Order Count）距離，tb和td縮放得到，其中tb定義為參考圖片的當前圖片和當前圖片之間的POC差異，td定義為同位圖片的參考圖片和同位圖片之間的POC差異。時間合併候選者的參考圖片索引設定為零。

時間候選者的位置在候選者C ₀和C ₁之間選擇，如第8圖所示。如果位置C ₀的CU不可用，是幀內編碼的，或者在當前CTU行之外，則使用位置C ₁。否則，在衍生時間合併候選者時使用位置C ₀。

基於歷史的合併候選者衍生（ History-based Merge Candidates Derivation）

在空間MVP和TMVP之後，將基於歷史的MVP（HMVP）合併候選者添加到合併列表中。在此方法中，先前編碼塊的運動資訊存儲在一個表中，並作為當前CU的MVP使用。在編碼/解碼過程中維護包含多個HMVP候選者的表。當遇到新的CTU行時，表被重置（清空）。每當有一個非子塊間編碼的CU時，相關的運動資訊被添加到表的最後一個條目作為一個新的HMVP候選者。

成對平均合併候選者衍生（ Pair-wise Average Merge Candidates Derivation）

通過對現有合併候選列表中預定義的候選對進行平均，使用前兩個合併候選者生成成對平均候選者。第一個合併候選者定義為p0Cand，第二個合併候選者可以分別定義為p1Cand。根據p0Cand和p1Cand的運動向量的可用性，分別為每個參考列表計算平均運動向量。如果一個列表中兩個運動向量都可用，即使它們指向不同的參考圖片，也將這兩個運動向量進行平均，其參考圖片設定為p0Cand的那一個；如果只有一個運動向量可用，直接使用該運動向量；如果沒有運動向量可用，保持此列表無效。此外，如果p0Cand和p1Cand的半像素插值濾波器索引不同，則設定為0。

當合併列表在添加成對平均合併候選者後未滿時，將零MVP插入到達到最大合併候選者數量為止。

參考圖片重採樣（RPR ）

在HEVC中，除非使用新的SPS （Sequence Parameter Set ）開始一個新序列並且有一個IRAP （Intra Random Access Point ）圖片，否則圖片的空間解析度不能改變，這總是幀內編碼的。VVC允許在序列中的一個位置改變圖片解析度，而不編碼IRAP圖片。這個功能有時被稱為參考圖片重採樣（RPR），因為當該參考圖片與正在解碼的當前圖片有不同解析度時，需要對用於幀間預測的參考圖片進行重採樣。為了避免額外的處理步驟，VVC中的RPR過程被設計為嵌入到運動補償過程中並在塊級別執行。在運動補償階段，縮放比例與運動資訊一起使用，以定位在插值過程中使用的參考圖片中的參考樣本。

在VVC中，縮放比例限制為大於或等於1/2（即，從參考圖片到當前圖片的2倍下採樣），並且小於或等於8（即，8倍上採樣）。指定了三套不同頻率截止的重採樣濾波器，用於處理參考圖片和當前圖片之間的各種縮放比例。這三套重採樣濾波器分別適用於縮放比例範圍從1/2到1/1.75，從1/1.75到1/1.25，以及從1/1.25到8。每套重採樣濾波器對於亮度有16個相位，對於色度有32個相位，這與運動補償插值濾波器的情況相同。值得注意的是，在縮放比例範圍從1/1.25到8的情況下使用正常MC插值的濾波器集。實際上，正常MC插值過程是縮放比例範圍從1/1.25到8的重採樣過程的一個特殊情況。除了傳統的平移塊運動外，仿射模式有三套6抽頭插值濾波器，用於亮度組件以覆蓋RPR中的不同縮放比例。水平和垂直縮放比例基於圖片寬度和高度，以及為參考圖片和當前圖片指定的左、右、上和下縮放偏移(offset)導出。

解析度和裁剪窗口的標示（Signalling of Resolution and Cropping Window ）

在VVC中，最大圖片解析度和相應的符合性裁剪窗口在序列參數集（Sequence Parameter Set，SPS）中被訊號，而在圖片參數集（Picture Parameter Set，PPS）中，每個當前圖片的圖片解析度被訊號。這樣的訊號安排可以用來支持參考圖片重採樣（Reference Picture Resampling，RPR）。當當前圖片（來自PPS）的圖片解析度小於最大圖片解析度（來自SPS）時，可以在PPS中訊號與SPS中訊號的符合性裁剪偏移不同的符合性裁剪偏移。

雜項幀間預測方面（Miscellaneous Inter Prediction Aspects ）

為了減少記憶體頻寬，VVC中不允許4x4幀間編碼編解碼單元（Coding Unit，CU）。對於幀間編碼的4x8/8x4 CU，只允許單向模式。當合併模式（merge mode）的運動資訊是雙向的時，它被轉換為單向，僅保留列表0的運動資訊。

為了提高交叉分量預測的編解碼性能，揭露了各種方案。

交叉分量資訊被用來提高幀間塊的預測準確性。為了提高幀間塊的色度分量的預測準確性，使用來自相應亮度分量的亮度資訊和/或來自當前色度塊的色度資訊和/或來自先前編碼的色度分量的色度資訊。

第一種方案是，對於包含亮度（Y）和色度（Cb和/或Cr）分量的編解碼單元（在單樹分割下），通過將交叉分量模型應用於來自Y的資訊（當前重建或預測的）來改善Cb和/或Cr的預測。

第二種方案是，對於包含亮度（Y）和色度（Cb和/或Cr）分量的編解碼單元（在單樹分割下）或對於包含色度（Cb和/或Cr）分量的編解碼單元（在色度雙樹分割下），通過將交叉分量模型應用於來自Cb的資訊（當前重建或預測的）來改善Cr的預測。

以下提出了幾種與第一種方案相關的實施例，用於使用繼承的交叉分量模式對當前色度塊，包括以下步驟：步驟（1）為當前塊建立候選列表（modelList），其中候選列表包括交叉分量模型；步驟（2）在列表中選擇一個或多個模型資訊集；以及步驟（3）使用模型資訊（類似於幀內色度交叉分量模式）通過將選擇的模型資訊應用和/或修改到相應亮度分量的重建或預測樣本上，為當前色度分量（Cb或Cr）生成一個或多個預測假設。

當選擇的模型資訊指的是傳統的交叉分量線性模型時，提出的方法被稱為幀間交叉分量線性模型（inter CCLM）模式。當選擇的模型資訊指的是通過基於回歸的方法（例如CCCM）導出的卷積交叉分量模型時，提出的方法被稱為幀間交叉分量卷積模型（inter CCCM）模式。

此外，在某些實施例中，提出了一種自我導出（或重新導出）的交叉分量模式，可以在步驟（1）中加入候選列表。在某些實施例中，自我導出的交叉分量模式不被加入列表，並設計了使用提出的繼承模式和/或使用提出的自我導出模式的選擇。在某些實施例中，使用提出的繼承模式和/或使用提出的自我導出模式的選擇是根據一個明確的規則、一個隱含的規則或兩者來確定的。更多細節在題為“IV. 選擇使用提議的繼承模式和/或使用提議的自我導出模式的選擇”一節中描述。

在一個實施例中，提出的實施例也可以用於第二種方案，通過使用先前編碼的色度分量（Cb）作為第一種方案中的亮度分量。

模型的存儲和繼承

在另一個實施例中，當當前幀間塊使用來自自我導出交叉分量模式的模型參數時，所使用的模型參數可以被保存和/或被後續的編解碼塊參考。例如自我導出的交叉分量模型為CCRM時，所有或任何子集的模型參數可以被保存。在一個實施例中，如果後續的編解碼塊是幀內的，允許使用保存的模型參數。如果後續的編解碼塊是幀間的或任何模式類型（例如，IBC），允許使用保存的模型參數。在另一個實施例中，如果後續的編解碼塊和當前塊有不同的模式類型（例如，一個是幀間塊，一個不是幀間塊），則不允許使用保存的模型參數。

在另一個實施例中，當當前幀間塊使用繼承的交叉分量模式時，所使用的模型參數可以被保存和/或被後續的編解碼塊參考。例如繼承的CCCM，所有或任何子集的模型參數可以被保存。在一個實施例中，如果後續的編解碼塊是幀內的，允許使用保存的模型參數。如果後續的編解碼塊是幀間的或任何模式類型（例如，IBC），允許使用保存的模型參數。在另一個實施例中，如果後續的編解碼塊有不同的模式類型（例如，不是幀間塊），則不允許使用保存的模型參數。

在另一個實施例中，當當前幀間塊使用任何交叉分量模型（例如，繼承的交叉分量模型、自我導出的交叉分量模型、在色度融合中使用的交叉分量模型，意味著色度預測是基於將一個或多個交叉分量預測的假設加到一個或多個非交叉分量預測的現有假設上，或上述任何組合），所使用的模型參數可以被保存和/或被後續的編解碼塊參考。例如繼承的CCCM，所有或任何子集的模型參數可以被保存。在一個實施例中，如果後續的編解碼塊是幀內的，允許使用保存的模型參數。如果後續的編解碼塊是幀間的或任何模式類型（例如，IBC），允許使用保存的模型參數。在另一個實施例中，如果後續的編解碼塊有不同的模式類型（例如，不是幀間塊），則不允許使用保存的模型參數。

I. 建立包含交叉分量模型的候選列表

在一種實施例中，當建立合併類候選模型列表（modelList）時，包括一個或多個以下候選模型資訊的集合。對於列表中的每個候選，它指的是一個候選模型資訊。模型資訊的定義可以在標題為“V.1. 繼承CCM資訊”的部分中找到。 – 來自空間鄰近塊的空間模型資訊（對應於幀間的“來自空間鄰近CU的空間MVP”） – 來自同位塊的時間模型資訊（對應於幀間的“來自同位CU的時間MVP”） – 來自FIFO表的基於歷史的模型資訊（對應於幀間的“來自FIFO表的基於歷史的MVP”） – 成對平均模型資訊（對應於幀間的“成對平均MVP”） – 預設模型資訊（對應於幀間的“零MV”）

在候選類型為“來自空間鄰近塊的空間模型資訊”的上述候選類型列表的一個子實施例中，有效的空間鄰近塊可以來自空間相鄰和非相鄰鄰居之一（或當前塊的鄰近搜索區域中的任何子集的塊），它滿足一個預定義的條件。對於非相鄰鄰居的一個例子，預定義的條件（例如，有效/可用檢查）指的是非相鄰鄰居在非相鄰空間候選的可用區域內。例如，預定義的條件是鄰居由交叉分量模式編碼或與交叉分量模式結合。交叉分量模式指的是如CCLM、MMLM、CCCM、GLM、從合併類候選列表繼承模式資訊的模式、MH CCLM，和/或任何屬於交叉分量分支（包含許多交叉分量模式）且不屬於傳統幀內預測模式的交叉分量模式。與交叉分量模式結合指的是如色度融合（或命名為LM輔助的Angular/Planar模式）、幀間CCLM、幀間CCCM，和/或任何傳統模式，其語法不屬於交叉分量分支，但使用交叉分量資訊生成預測。在另一個子實施例中，當檢查鄰近編解碼塊的有效性時，當提到的有效檢查（例如，鄰近塊不是交叉分量模式或鄰近塊不使用/結合交叉分量模式）時，進一步使用第二輪有效檢查，鄰近塊的運動向量和/或塊向量可以用來找到交叉分量模型。如何使用運動向量和/或塊向量來找到模型的變化可以參考上述候選類型列表中的“來自同位塊的時間模型資訊”的描述。如果找到了模型，則鄰近塊的第二輪有效檢查滿足，並且找到的模型可以插入列表；否則，鄰近塊對於插入無效。當掃描空間鄰近塊時，如果候選有效，則將候選添加到列表中。

在候選類型為“來自同位塊的時間模型資訊”的另一個子實施例中，在第一種情況下，同位塊來自參考圖片中的塊或預定義的同位圖片，作為幀間模式，通過使用當前塊位置和/或當前塊運動，和/或在第二種情況下，同位塊來自參考圖片中的塊或預定義的同位圖片，作為幀間模式，通過使用當前塊位置和/或鄰近塊運動。在第一種情況下，例如，當當前塊由幀間預測模式編碼時，同位塊由當前塊的運動資訊（包含運動向量和參考索引指示的參考圖片）引用。如果當前塊是子塊運動模式（例如，仿射模式），當前塊中的每個子塊都有其自己的同位時間模型資訊。來自所有或任何子集的同位時間資訊，由不同子塊運動（每個子塊）引用的同位時間模型資訊被添加到列表中。另一個例子，當參考索引指示的參考圖片與預定義的同位圖片不同，它可以是用於幀間運動向量預測的同位圖片或任何在標準中指定的同位圖片，以保持運動或交叉分量模型資訊存儲並可用於當前塊，來自參考圖片的時間資訊被禁止使用。另一個例子，當參考索引指示的參考圖片與預定義的同位圖片不同，它可以是用於幀間運動向量預測的同位圖片或任何在標準中指定的同位圖片，以保持運動或交叉分量模型資訊存儲並可用於當前塊，運動向量被縮放以引用預定義的同位圖片，並且使用縮放的運動向量在同位圖片中找到同位塊以獲得同位塊中的交叉分量模型。縮放過程顯示在“繼承時間鄰近模型參數”的部分和“時間候選衍生”的部分。對於第二種情況，描述了一些例子。例如，時間模型資訊可以來自由鄰近塊的運動資訊為當前塊引用的同位塊。類似於第一種情況，禁止方法或縮放方法可以在第二種情況中使用。如果提出的方法應用於IBC塊或任何使用塊向量的模式（在第一種情況下，當前塊是IBC；在第二種情況下，鄰近塊是IBC），塊向量資訊被用作運動向量，其中塊向量資訊由信號和/或模板匹配在預定義的搜索範圍內確定，如intraTMP和/或任何隱含或明確的預定義規則。更多細節可以在“繼承時間鄰近模型參數”的部分中找到。

在候選類型為“基於歷史的模型資訊”的另一個子實施例中，建立了一個基於歷史的表（FIFO表），並存儲來自先前編碼塊的模型資訊。該表可以在CTU、切片、圖片、圖塊和/或序列的開始和/或結束時重置。一個或多個基於歷史的候選可以按照從表頭到尾或從表尾到頭的順序添加到候選列表中。

在另一個候選類型為“成對平均模型資訊”的子實施例中，此候選的模型資訊是基於列表中多個先前候選的模型資訊導出的。例如，它可以平均和/或修改多個候選的模型參數作為待應用的模型參數。另一個例子，它可以結合多個預測作為最終預測，其中每一個預測是通過應用候選列表中的一個模型生成的。

在另一個子實施例中，如果在插入所有預定義候選後列表未滿，則添加默認模型資訊。例如，默認模型可以是CCLM模型。默認的alpha（或稱為 ，a，或縮放參數）從{0, 1/8, -1/8, 2/8, -2/8, 3/8, -3/8, …}中選擇，而beta（或稱為 ，b，或偏移參數）是基於選定的默認alpha、平均鄰近重建的亮度樣本值和平均鄰近重建的色度（Cb/Cr）樣本值。

在另一個子實施例中，用於幀間色度塊的候選列表與用於幀內色度塊的候選列表統一，並且/或可以基於用於幀內色度塊的候選列表進一步包含幀間特定候選（例如，由當前運動參考的時域模型資訊）和/或可以是用於幀內色度塊的候選列表的任何子集。

在另一個實施例中，當構建modelList時，包括一個或多個自派生的交叉分量候選。自派生的交叉分量候選在名為“自派生交叉分量模型”的部分中描述。在另一個子實施例中，只有當列表不包含足夠的繼承候選時，才添加自派生的交叉分量候選。例如，自派生候選在默認候選之前添加或被視為默認候選。在另一個子實施例中，自派生的交叉分量候選在modelList中的任何預定義位置添加。例如，位置在空間相鄰候選之後。另一個例子，位置在空間非相鄰候選之後。另一個例子，位置在所有或任何時域候選的子集之後。

在構建列表後，某一實施例中，列表按照“重新排序列表中的候選”部分中定義的方法重新排序。

II. 啟用或禁用的訊號和選擇列表中的一個或多個模型資訊（如果啟用）

在本節中，“幀間CCLM”一詞指的是“幀間CCLM或幀間CCCM”。

當不應用建議的幀間CCLM（或幀間CCCM）時，當前塊的預測來自原始的幀間預測。

在另一個實施例中，應用幀間CCLM或不應用幀間CCLM的選擇取決於訊號。

在一個子實施例中，訊號指的是編碼的TU/TB/CU/CB級別標誌。該標誌可能依賴於也可能不依賴於要編碼的上下文。以TU/TB標誌為例，只有當TU/TB的亮度Cbf非零且幀間模式的啟用標誌為真時，才發出標誌。以CU/CB標誌為例，只有當CU/CB的亮度Cbf非零且幀間模式的啟用標誌為真時，才發出標誌。幀間模式的啟用標誌意味著當支持所有幀間模式的建議幀間CCLM（或幀間CCCM）時，CU的predMode是MODE_INTER。當支持IBC的建議幀間CCLM（或幀間CCCM）時，首先檢查IBC的啟用標誌，並根據CU的predMode是MODE_IBC來編解碼幀間CCLM（或幀間CCCM）的訊號。當僅支持CIIP的建議幀間CCLM（或幀間CCCM）時，首先檢查CIIP的啟用標誌，並根據CIIP標誌為真來編解碼幀間CCLM（或幀間CCCM）的訊號。當僅支持合併的建議幀間CCLM（或幀間CCCM）時，首先檢查合併標誌，並根據合併標誌為真來編解碼幀間CCLM（或幀間CCCM）的訊號。當僅支持AMVP的建議幀間CCLM（或幀間CCCM）時，首先檢查合併標誌，並根據合併標誌為假來編解碼幀間CCLM（或幀間CCCM）的訊號。建議的幀間CCLM（或幀間CCCM）只能支持合併模式的任何預定義子集、幀間模式的任何預定義子集或非幀內模式的任何預定義子集。

在另一個子實施例中，當訊號指示應用幀間CCLM（或幀間CCCM）時，使用額外的訊號來選擇一個或多個模型從總候選中。候選索引在本披露中稱為modelIdx。如果包含總候選的modelList（例如，如“構建包含交叉分量模型的候選列表”部分所述的候選，CCLM_LT, CCLM_L, CCLM_T, MMLM_LT, MMLM_L, MMLM_T）或任何候選子集按照“重新排序列表中的候選”部分中的方法重新排序，則額外的訊號指定重新排序列表中的候選索引。例如，如果選擇了一個LM模式，則LM預測由選定的一個LM生成。另一個例子，如果選擇了多個LM模式，則LM預測由來自多個LM模式的預測假設混合生成。

在另一個子實施例中，不需要額外的訊號，並且根據隱含規則選擇一個或多個模型。例如，隱含地確定一個或多個選定模型，或者在不發出modelIdx的情況下確定用於當前塊的一個或多個模型。例如，使用列表中的第一個候選。如果列表按模板成本重新排序，則第一個候選是具有最小模板成本的候選。

在另一個實施例中，原始的幀間預測（由運動補償生成）用於亮度，並且色度分量的預測由CCLM和/或任何其他LM模式生成。

在一個子實施例中，當前CU被視為一個幀間CU、幀內CU，或一種新型的預測模式（即既非幀內也非幀間）。

在另一個實施例中，一個或多個LM模式（即交叉分量模式），將被用來生成一個或多個假設預測，以輔助Angular/Planar模式/幀間CCLM/幀間CCCM/MH CCLM，這些模式從一個預定義的合併候選列表（即modelList）中選擇。一個modelIdx被發出信號以從候選列表（modelList）中選擇一個候選，並且所選的候選被用於當前塊。modelList包含一個或多個候選，每個候選指向一個模型（或交叉分量模式）資訊。如果列表中只有一個候選（即列表的大小為1），則不發出信號modelIdx，並且/或可以推斷為0或一個預設值。在一個實施例中，modelIdx是隱含確定的，或者用於當前塊的一個或多個模型是在不發出信號modelIdx的情況下確定的。例如，使用列表中的第一個候選。如果列表按模板成本重新排序，第一個候選是具有最小模板成本的候選。另一個例子，使用的候選/模型是從列表中隱含選擇的，使用一個預定義的規則，這取決於塊的編解碼資訊，以用於待使用的候選。這個實施例被稱為“noteA”。

在一個實施例中，當建立modelList時，添加了一個或多個預定義的候選。預定義的候選可以包括以下候選的任何子集/擴展和/或在“noteA”中描述的實施例中的更多候選。 – CCLM家族：CCLM_LT, CCLM_L, CCLM_T – MMLM家族：MMLM_LT, MMLM_L, MMLM_T – CCCM家族：CCCM_LT, CCCM_L, CCCM_T

上述提出的方法也可以應用於IBC塊或任何IBC子模式的塊（例如，IBC合併或IBC AMVP或任何IBC語法下的IBC模式）。在本發明中，“幀間”的術語可以改為IBC。也就是說，對於色度分量，塊向量預測可以與交叉分量預測結合或替換。

III. 使用模型資訊生成當前色度分量的一個或多個假設預測

III.1. 概念

在一個實施例中，預測或重建基於模型被用來生成當前色度分量的一個假設預測。

在一個預測基於線性模型的子實施例中，導出的模型參數被應用於第一分量（Y）的預測樣本，以獲得第二或第三分量的預測樣本。

第一分量的預測樣本通過下採樣濾波器進行下採樣，這些濾波器可能固定在一個預定義的濾波器上，或在一些候選濾波器中選擇。

在一個重建基於線性模型的子實施例中，導出的模型參數被應用於第一分量（Y）的重建樣本，以獲得第二或第三分量的預測樣本。

第一分量的重建樣本通過下採樣濾波器進行下採樣，這些濾波器可能固定在一個預定義的濾波器上，或在一些候選濾波器中選擇。

預測或重建基於卷積模型與預測或重建基於線性模型的提出方法相似。主要區別是模型係數模式遵循CCCM（而不是CCLM），並且亮度樣本可能會也可能不會首先進行下採樣。

在另一個實施例中，多個假設（MH）的交叉分量預測被混合或多個模型被用來生成當前塊的一個假設預測。提出了多假設CCLM來混合來自多個CCLM方法的預測。術語“CCLM方法”可以指所有交叉分量模式。待混合的CCLM方法可以來自（但不限於）上述提到的CCLM方法（例如，CCLM, MMLM, CCCM, GLM, CCRM, …）和/或在“noteA”中描述的實施例中定義的模型。一個權重方案被用於混合。

III.2. 幀間塊的CCLM

術語“幀間塊的CCLM”也可以被命名為“幀間CCLM”，並且“CCLM”可以被擴展到任何LM模式（或任何交叉分量模式）或被任何LM模式（或任何交叉分量模式）替換。當由基於回歸的方法導出的卷積交叉分量模型被使用時，幀間塊的CCLM也可以被命名為幀間CCCM。

在一個實施例中，對於色度分量，除了原始的幀間預測（由運動補償生成，可以是單一預測和/或雙向預測，來自多個運動候選的多個假設預測，這些候選可能指一個或多個合併候選，一個或多個AMVP候選，上述任何組合，或者可以只是單一預測），一個或多個假設預測（由CCLM和/或任何其他LM模式生成）被用來生成當前預測。

在一個子實施例中，當前預測是幀間預測和CCLM預測的加權和。

在另一個實施例中，幀間預測可以由上述任何幀間模式生成。例如，幀間模式可以是常規合併模式。另一個例子，幀間模式可以是CIIP模式。另一個例子，幀間模式可以是GPM或任何GPM變體（例如，GPM幀內引用一個預測單元使用幀內預測）。

在另一個實施例中，僅當使用一個或多個預定義的幀間模式為當前塊進行編解碼時，才支持幀間CCLM，或者當一個（或多個）啟用預定義幀間模式的啟用標誌被指示為啟用時，支持幀間CCLM。支持幀間CCLM的意義是，當前塊的預測可以在應用幀間CCLM與不應用幀間CCLM之間選擇。

當應用幀間CCLM時，當前塊的預測是通過以下方式生成的： – 在一個子實施例中：混合一個或多個預測假設：（由CCLM和/或任何其他LM模式生成）與原始幀間預測 o 混合現有幀間模式的色度預測和來自LM的預測 o 混合：Predfinal = ( wInter * PredInter + wLM * PredLM  + 2 ) ＞＞ 2 o 權重規則：wInter和wLM，例如： • 如果頂部和左側都是幀內（或任何交叉分量模式），（wInter, wLM）=（1, 3） • 否則，如果頂部和左側之一是幀內，（wInter, wLM）=（2, 2） • 否則，（wInter, wLM）=（3, 1） • 另一個例子，權重遵循CIIP權重規則。 o 例如，predInter = 幀間預測在OBMC之後（如果使用了OBMC） o 另一個例子，predInter = 幀間預測在OBMC之前（混合後可以應用OBMC） – 在另一個子實施例中：用一個或多個預測假設（由CCLM和/或任何其他交叉分量模式生成）替換原始幀間預測

另一個例子，如果CCLM模式用於生成色度預測樣本，而亮度預測來自幀間編解碼工具，則使用一個標誌來指示用於色度預測的CCLM模型是繼承自先前編碼塊中使用的CCLM模型，還是來自預定義的CCLM模式。如果CCLM模型是繼承自先前編碼塊中使用的CCLM模型，則使用一個索引來指示列表中哪個模型被繼承或修改。否則，使用預定義的CCLM模式來隱式導出當前色度預測的CCLM模型。

IV. 選擇使用提議的繼承模式和/ 或使用提議的自我導出模式

在一個實施例中，可以發出一個標誌來指示/選擇是否使用重新導出的模型。如果標誌為0，則用於編碼鄰近合併候選塊的交叉分量模型被繼承。如果標誌為1，則使用重新導出的方法。

在另一個實施例中，使用一個隱式規則（不使用額外的標誌）來確定是否使用重新導出的模型。

在另一個實施例中，如果在建立modelList期間沒有模型可以被繼承，或者空間相鄰/非相鄰候選塊、歷史候選塊、時間候選塊，或者本發明中提到的所有或任何子集（例如，在默認候選塊之前）的候選塊不可用，則使用重新導出的模型。

在另一個實施例中，當使用提議的繼承方法時。具有最小成本的候選塊（例如，modelList中的第一個候選塊）被隱式選擇來生成交叉分量預測。另一個例子，發出一個索引來從modelList中選擇一個或多個候選塊。更多細節可以在第二節中找到。

V. 候選列表中的交叉分量模式（包含Model 資訊）的細節

V.1. 繼承CCM 資訊

在一個實施例中，繼承的交叉分量模型（CCM）資訊可以與繼承的模型參數一起存儲。CCM資訊可以與繼承的模型參數一起繼承。當前塊的預測可以基於繼承的CCM資訊和繼承的模型參數生成。CCM資訊可以包括但不限於，預測模式（例如，CCLM, MMLM, CCCM, 2參數GLM, 3參數GLM（帶亮度項的GLM模型），模型索引用於指示在卷積模型中使用哪種模型形狀，多模型的分類閾值，資訊指示在卷積模型中使用非下採樣樣本，下採樣濾波器標誌（是否進行下採樣），當使用多個下採樣濾波器時的下採樣濾波索引，用於導出模型的鄰近線數量，用於導出模型的模板類型，後濾波標誌，以及模型參數。

在一種實施例中，可以繼承由各種項目（例如，空間項、梯度項、位置項、非線性項和偏差項）組成的混合交叉分量模型（Cross-Component Models，簡稱 CCCM）。除了儲存模型參數外，預測模式可以儲存在交叉分量模型資訊中，以指示繼承的模型是由各種項目組成的混合 CCCM 模型。如果有多種類型的混合 CCCM 模型，模型索引也可以儲存在交叉分量模型資訊中，以指示繼承的是哪一種類型的混合 CCCM 模型。例如，在JVET-AB0119（Ramin G. Youvalari 等人，“Non-EE2: Gradient and location based convolutional cross-component model (GL-CCCM) for 幀內預測”，聯合影片探索小組（Joint Video Exploration Team，簡稱 JVET）的ITU-T SG 16 WP 3 和 ISO/IEC JTC 1/SC 29/WG 11，第28次會議，Mainz, DE, 2022年10月20-28日，文件：JVET-AB0119）中提出的基於梯度和位置的交叉分量模型（Gradient and Location based Cross-Component Model，簡稱 GL-CCCM）是一種混合 CCCM 模型，它由中心位置的一個空間項、水平方向和垂直方向的兩個梯度項、相對水平位置和相對垂直位置的兩個位置項、一個非線性項和一個偏差項組成。預測模式可以儲存在交叉分量模型資訊中，以指示繼承的模型是 GL-CCCM 模型。

V.2. 繼承空間鄰近模型參數

在一種實施例中，繼承的模型參數可以來自一個直接鄰近的塊。來自預定義位置的塊的模型按照預定義的順序被添加到候選列表中。預定義的順序可以是空間鄰近塊的任何可能順序。

在一種實施例中，預定義的位置和預定義的順序可以與幀間合併模式的空間候選者相同。

在一種實施例中，預定義的位置可以是第5圖中所描繪的位置（也如“空間候選者衍生”部分所述）。預定義的順序可以是B0、A0、B1、A1和B2。

在一種實施例中，假設當前塊的位置、寬度和高度分別為（x, y）、W和H，預定義的位置可以包括當前塊正上方的位置，例如（x + W ＞＞ 1, y-1）或（x + (W+1) ＞＞ 1, y-1），如果W大於或等於閾值TH。預定義的位置也可以包括當前塊左側的位置，例如（x-1, y+H＞＞1）或（x-1, y+(H+1)＞＞1），如果H大於或等於閾值TH。TH可以是2、4、8、16、32或64。預定義的位置包括如果W大於或等於TH時，正上方（W ＞＞ 1）或（(W ＞＞ 1)–1）的位置，以及如果H大於或等於TH時，正左方（H ＞＞ 1）或（(H ＞＞ 1)–1）的位置。

在一種實施例中，從空間鄰近塊繼承的模型數量有一個最大值，可以添加到候選列表中的最大數量小於預定義位置的數量。

V.3. 繼承時間鄰近模型參數

在一種實施例中，如果當前切片/圖片是非幀內切片/圖片，繼承的模型參數可以來自先前編碼的切片/圖片中的塊。

在一種實施例中，當前塊的位置在（x, y），塊大小是 。繼承的模型參數可以來自先前編碼的切片/圖片的一些預定義位置的塊。

在一個子實施例中，預定義的位置可以與幀間合併模式的時間候選者的預定義位置相同。

在一個子實施例中，預定義的位置可以是 或 ，其中 。兩個值集 和 被定義為： ，

和 中的所有值都是正數。

例如， 可以是 。

例如， 。例如， 。

例如， 。例如， 和

在一個子實施例中，預定義位置 位於當前編碼塊的相應區域內，即 和 。預定義位置可以是 。

在一個子實施例中，預定義位置 位於當前編碼塊的相應區域外，即 ，和 。預定義位置可以是 。

在一個實施例中，來自更接近 的位置的模型首先被添加到最終合併候選列表中。

先前編碼的圖片，從中獲得繼承的參數模型，此後稱為同位圖片。

在一個實施例中，繼承參數模型的來源（即同位圖片）是參考列表中的圖片之一。

在一個實施例中，同位圖片可以與幀間合併模式的同位圖片相同。

在一個實施例中，同位圖片在圖片/切片標頭中被標記。參考列表和參考索引在圖片/切片標頭中被標記。例如，同位圖片被選擇為L0[0]。另一個例子，同位圖片被選擇為L1[0]。

在一個實施例中，同位圖片被選擇為參考列表中與相應圖片和當前圖片之間POC差異最小的圖片。

在另一個子實施例中，同位圖片被選擇為參考列表中QP較大或較小的圖片。

在一個實施例中，如果參考列表中的一張圖片被重新縮放（即同位圖片的RprConstraintsActiveFlag為真），該圖片不被選擇為同位圖片。重新縮放的參考圖片意味著同位圖片與當前圖片在以下七個參數中的一個或多個不同：1）亮度樣本中的圖片寬度（pps_pic_width_in_luma_samples），2）亮度樣本中的圖片高度（pps_pic_height_in_luma_samples），3）縮放窗口左偏移（pps_scaling_win_left_offset），4）縮放窗口右偏移（pps_scaling_win_right_offset），5）縮放窗口上偏移（pps_scaling_win_top_offset），6）縮放窗口底部偏移（pps_scaling_win_bottom_offset），和7）子圖片數量-1（sps_num_subpics_minus1）。

在一個實施例中，選擇/不選擇同位圖片的規則可以結合。例如，從參考列表中未重新縮放的圖片中選擇同位圖片。同位圖片被選擇為與當前圖片之間POC差異最小的圖片。

在一個實施例中，當同位圖片被重新縮放時，從同位圖片繼承交叉分量模型資訊被禁用。

在一種實施例中，當同位圖片被重新縮放時，繼承模型的來源位置可以根據縮放比例進行縮放。縮放比例是基於當前圖片和同位圖片的縮放窗口導出的。設位置為(x, y)，縮放位置為(x’, y’)，縮放比例為R。縮放位置可以是(x/R, y/R)或經過四捨五入後的(x/R, y/R)。使用的四捨五入方法可以是，但不限於，以下方法：向負無窮大四捨五入、向正無窮大四捨五入、向零四捨五入或四捨五入至最接近的整數（例如，遠離零四捨五入、四捨五入半上、四捨五入半下，…）。

在一種實施例中，先前編碼的切片/圖片中的位置，繼承參數模型的來源，是由鄰近塊的運動向量決定的。設Δx和Δy為基於選擇的鄰近塊運動向量確定的水平和垂直位移，當前塊位置在(x, y)，且塊大小為 。繼承的模型參數可以來自位置(x’, y’)的塊，其中x’ = x + Δx且y’ = y + Δy，或者x’ = x + w/2 +Δx且y’ = y + h/2 +Δy。

在一種實施例中，選擇鄰近塊時，可以有一個預定義位置的列表。列表中的位置按預定義的檢查順序檢查。對於每個位置，首先檢查L0運動向量，然後檢查L1運動向量。另一個例子，首先檢查L1運動向量，然後檢查L0運動向量。選擇的運動向量是第一個其參考圖片未被重新縮放的。

V.4. 繼承非鄰近空間鄰近模型

在一種實施例中，繼承的模型參數可以來自非鄰近空間鄰近塊。來自預定義位置的塊的模型按預定義順序加入候選列表。

在一個子實施例中，預定義的位置和預定義的順序與用於幀間合併模式的非鄰近空間鄰近候選者相同。

在一個子實施例中，預定義的位置和預定義的順序如第9A圖和第9B圖所示。編號方塊的位置是預定義的位置。每個方塊內的數字表示預定義的順序。模式1（第9A圖）中的位置在模式2（第9B圖）中的位置之前加入列表。每個預定義位置之間的距離與當前塊的寬度和高度成比例。

在一種實施例中，可以加入候選列表的來自非鄰近空間鄰居的繼承模型的最大數量小於預定義位置的數量。

V.5. 從歷史表繼承模型參數

在一種實施例中，繼承的模型參數可以來自交叉分量模型歷史表。歷史表存儲有效先前編碼塊的CCM資訊。有效的先前編碼塊指包含有效CCM資訊的任何塊。歷史表中的交叉分量模型可以按預定義順序加入候選列表。在一種實施例中，歷史候選的添加順序可以從表的開始到表的結束。在另一種實施例中，歷史候選的添加順序可以從表的結束到表的開始。

在一種實施例中，可以維護一個交叉分量模型歷史表，用於存儲先前的交叉分量模型（即，CCM資訊），並且交叉分量模型歷史表可以在當前圖片、當前切片、當前圖塊、每M CTU行或每N CTU的開始時重置，N和M可以是任何大於0的值。在另一種實施例中，交叉分量模型歷史表可以在當前圖片、當前切片、當前圖塊、當前CTU行或當前CTU的結束時重置。

在另一種實施例中，使用多個歷史表用於存儲不同類型的交叉分量模型。例如，第一個歷史表用於存儲單一模型，第二個歷史表用於存儲多模型。另一個例子，第一個歷史表用於存儲梯度模型，第二個歷史表用於存儲非梯度模型。另一個例子，第一個歷史表用於存儲簡單線性模型（例如，y = ax + b），第二個歷史表用於存儲複雜模型（例如，CCCM）。

在一種實施例中，從多個歷史表向候選列表添加歷史候選時，添加順序可以從某個表的開始到結束，然後以相同或相反的順序添加下一個歷史表。

V.6. 向量傳播CCM 資訊

在一種實施例中，編解碼塊後，當前塊的交叉分量模型（CCM）資訊被導出並存儲在當前塊中。存儲的CCM資訊可以被後續編解碼塊引用。後續編解碼塊可以繼承當前塊的CCM資訊。CCM資訊的定義在“繼承CCM資訊”部分。存儲的CCM資訊可以作為但不限於以下類型的候選：空間候選（如“繼承空間鄰近模型參數”部分），非鄰近候選（如“繼承非鄰近空間鄰近模型”部分），時間候選（如“繼承時間鄰近模型參數”部分），歷史候選（如“從歷史表繼承模型參數”部分）。

在一種實施例中，如果當前塊未經過交叉分量預測（CCP）編碼且當前塊中有可用的運動向量（例如，當前亮度塊是跨幀編碼的），則可以通過複製位於參考圖片中、由當前塊的運動向量定位的參考塊的交叉分量模型（CCM）資訊來導出當前塊的CCM資訊。例如，如第10圖所示，塊B未經過CCP編碼且在塊B處有可用的運動向量。參考塊A由運動向量定位。使用交叉分量模型的參考塊A的CCM資訊被複製並存儲在塊B中。對於一種實施例，如果由運動向量定位的參考塊也未經過CCP編碼，但參考塊中存儲有CCM資訊，則可以通過複製存儲在參考塊中的CCM資訊來導出當前塊的CCM資訊。也就是說，即使參考塊未經過CCP編碼，只要它有有效的存儲CCM資訊，該存儲的CCM資訊就可以被當前塊引用。例如，如第10圖所示，當前塊C有可用的運動向量，其參考塊B未經過CCP編碼，但存儲有CCM資訊。塊B的CCM資訊被複製並存儲在塊C中。由於塊B中存儲的CCM資訊是從塊A複製的，塊C中存儲的CCM資訊原本來自塊A（即，塊A的CCM資訊傳播到塊C）。僅通過訪問塊B，塊C可以檢索原本來自塊A的CCM資訊。對於一種實施例，如果由運動向量定位的參考塊未經過CCP編碼且沒有存儲CCM資訊，則不為當前塊存儲CCM資訊。

對於一種實施例，當當前塊以雙向預測的方式跨幀編碼時，為了導出當前塊的CCM資訊，如果僅有一個由運動向量定位的參考塊有CCM資訊，則將該有CCM資訊的參考塊的CCM資訊複製並存儲在當前塊中。例如，如第10圖所示，假設塊F以雙向預測的方式跨幀編碼。由運動向量定位的兩個參考塊是塊G和塊H。塊G存儲有CCM資訊而塊H沒有。塊G的CCM資訊被複製並存儲在塊F中。

對於另一種實施例，當當前塊以雙向預測的方式跨幀編碼，且由運動向量定位的兩個參考塊均存儲有CCM資訊時，當前塊的CCM資訊是通過結合其參考塊的所有或部分CCM模型導出的。

對於另一種實施例，當當前塊以雙向預測的方式跨幀編碼，且由運動向量定位的兩個參考塊均存儲有CCM資訊時，根據一組預定義規則選擇其中一個參考塊。然後將選定的參考塊的CCM資訊複製並存儲在當前塊中。

對於一個子實施例，選擇經過CCP編碼的參考塊。

對於一個子實施例，選擇經過幀內編碼的參考塊。

對於一個子實施例，選擇經過跨幀編碼的參考塊。

對於一個子實施例，選擇其參考圖片（即參考塊所在的圖片）與當前圖片的圖片順序計數（POC）距離較小的參考塊。

對於一個子實施例，選擇其參考圖片與當前圖片的QP差異較小的參考塊。

對於一個子實施例，選擇其參考圖片的QP值較小的參考塊。對於另一個子實施例，選擇其參考圖片的QP值較大的參考塊。

對於一個子實施例，選擇由L0運動向量指示的參考塊

對於一個子實施例，選擇由L1運動向量指示的參考塊

對於一個子實施例，先前描述的規則可以結合使用，並不需要應用所有先前描述的規則。例如，選擇經過CCP編碼的參考塊。如果兩個塊都經過CCP編碼，則選擇其參考圖片與當前圖片的POC距離較小的塊。如果兩個塊都經過CCP編碼且與當前圖片的POC距離相同，則選擇其參考圖片與當前圖片的QP差異較小的參考塊。如果兩個塊都經過CCP編碼且與當前圖片的POC距離相同，且QP差異相同，則選擇其參考圖片的QP值較小的參考塊。另一個例子，選擇其參考圖片與當前圖片的POC距離較小的塊。如果兩個塊的POC距離相同，則選擇其參考圖片與當前圖片的QP差異較小的參考塊。如果兩個塊的POC距離相同且QP差異相同，則選擇其參考圖片的QP值較小的參考塊。

在一種實施例中，當由運動向量定位的參考圖片被重新縮放（即，參考圖片的RprConstraintsActiveFlag為真）時，認為該運動向量不能定位CCM資訊。因此，不檢索並存儲CCM資訊。參考圖片被重新縮放意味著參考圖片與當前圖片在以下七個參數中的一個或多個上有所不同：1）亮度樣本中的圖片寬度（pps_pic_width_in_luma_samples），2）亮度樣本中的圖片高度（pps_pic_height_in_luma_samples），3）縮放窗口左偏移（pps_scaling_win_left_offset），4）縮放窗口右偏移（pps_scaling_win_right_offset），5）縮放窗口上偏移（pps_scaling_win_top_offset），6）縮放窗口下偏移（pps_scaling_win_bottom_offset），以及7）子圖片數量-1（sps_num_subpics_minus1）。

在一種實施例中，當由運動向量定位的參考圖片被重新縮放時，參考塊的位置可以根據縮放比例進行縮放。縮放比例是基於當前圖片和同位圖片的縮放窗口導出的。設參考塊的位置為(x, y)，參考塊的縮放位置為(x', y')，縮放比例為R。縮放位置可以是(x/R, y/R)或在湊整後為(x/R, y/R)。使用的湊整方法可以是，但不限於以下方法：向負無窮大湊整（rounding toward negative infinity）、向正無窮大湊整（rounding toward positive infinity）、向零湊整（rounding toward zero）或湊整至最接近的整數（rounding to a nearest integer）（例如，遠離零的湊整、四捨五入、五捨六入……）。

在一種實施例中，由同位塊1130的運動向量定位的位置必須在參考圖片1110中的同位CTU（Coding Tree Units）行1120中。如第11圖所示，如果由運動向量定位的位置1140位於同位CTU行的上方，則該位置映射到同位CTU行頂線的對應位置（標記為(Xm,Y1)）。如果由運動向量定位的位置1142位於當前CTU行的下方，則該位置映射到同位CTU行底線的對應位置（標記為(Xm,Y2)）。然後將映射位置的CCM資訊複製並存儲在當前塊中。假設當前CTU行的最小和最大垂直位置分別為Y1和Y2。假設由運動向量定位的位置為(Xm, Ym)。如果Xm ＜ Y1，則位置改為(Xm, Y1)。位置(Xm, Y1)的CCM資訊被複製到當前塊並存儲。如果Ym ＞ Y2，則位置改為(Xm, Y2)。位置(Xm, Y2)的CCM資訊被複製到當前塊並存儲。

V.7. 從融合模式繼承

融合模式指的是將兩個預測融合以生成最終預測的模式。在色度幀內融合模式中，未使用交叉分量預測（CCP）編解碼工具（例如，CCLM、MMLM、CCCM）生成的色度幀內預測與使用交叉分量預測編解碼工具生成的另一個色度幀內預測融合。例如，非CCLM編碼的幀內預測和CCLM編碼的幀內預測融合在一起以獲得最終的幀內預測。

在一種實施例中，當從由色度幀內融合模式編碼的塊/位置繼承交叉分量模型參數時，用於獲得CCP編碼的幀內預測的模型參數被繼承並進一步精煉。

在一種實施例中，除了繼承和精煉CCP模型參數外，非CCP編碼的幀內預測的融合權重和編解碼模式也被繼承。也就是說，色度幀內融合模式被繼承。

VI. 構建候選列表

VI.1. 重新排序列表中的候選

列表中的候選可以重新排序，以減少在信號選擇的候選索引時的語法開銷，或者通過使用隱式規則選擇一個或多個候選來繞過信號選擇的候選索引的語法。

在一種實施例中，重新排序規則可以依賴於鄰近塊的編解碼資訊或模型誤差。例如，如果上方或左側的鄰近塊由MMLM編碼，則列表中的MMLM候選可以移動到當前列表的頭部。

在一種實施例中，重新排序規則是基於將候選模型應用於當前塊的鄰近模板，然後與鄰近模板的重建樣本進行誤差比較。

VII. 自派生交叉分量模型

在一種實施例中，自派生交叉分量模型的一個例子是CCRM。在進行自派生時，模型（過濾形狀/模式，參數項）與常規幀內模式中的交叉分量模型統一。例如，CCRM模型可以與任何預定義的現有幀內交叉分量模型（例如，使用非下採樣亮度樣本的CCCM、GLM、MMLM）統一，並且/或自派生僅意味著導出模型參數的輸入來自當前色度和同位亮度樣本（例如，如果當前塊是交錯的，則為運動補償結果）。

在另一種實施例中，自派生交叉分量候選指的是一個或多個模型，並且這些模型用於按照以下方式生成當前塊的交叉分量預測。當前塊的交叉分量預測（用於生成目標預測樣本）是通過結合一個或多個提出的源項和模型（指的是提出的權重設置）形成的。如方程式(3)所示，pred(i, j)是當前塊中的目標（預測）樣本，可以在我們提出的機制後獲得，sourceTermSet0包括來自亮度分量的一個或多個源項，sourceTermSet1包括來自色度分量的一個或多個源項，biasTermSet包括一個或多個偏差項。

方程式（3）僅是一個例子，我們提出的機制可以使用sourceTermSet0、sourceTermSet1和biasTermSet的任何子集或擴展。當前塊中的每個樣本或任何子集的樣本根據方程式（3）獲得其目標（預測）樣本。以下，sourceTermSet0的內容在第VII.1節“sourceTermSet0(i, j)的內容”中描述，sourceTermSet1的內容在第VII.2節“sourceTermSet1(i, j)的內容”中描述，biasTermSet的內容在第VII.3節“biasTermSet的內容”中描述，並且使用提出的源項和提出的權重設置的預測器導出在第VII.4節“樣本(i, j)的預測器導出”中描述。我們提出的機制的幾個例子顯示在第VII.4節“樣本(i, j)的預測器導出”中。

pred(i, j) = (sourceTermSet0(i, j) + sourceTermSet1(i, j) + … + biasTermSet) 使用提出的權重設置，其中(i, j)是當前塊中的樣本位置。     (3)

VII.1. sourceTermSet0(i, j)的內容

sourceTermSet0(i, j)包括一個或多個表示為sourceTerm00、sourceTerm01、…和/或sourceTerm0n-1的亮度源項。n的值表示源項集的點數。

在一種實施例中，源項可以是線性項和/或非線性項，僅線性項和/或僅非線性項。

在另一種實施例中，n是一個預定義的值，例如1、2、…或任何正整數。例如，預定義的值在標準中固定。

在另一種實施例中，n由當前塊的編解碼資訊和/或樣本位置(i, j)決定。例如，當當前塊由特定編解碼工具編碼時，n可以固定為該特定編解碼工具的預定義值。

在另一種實施例中，n點的模式指的是定義為圍繞/包含位置(iL, jL)的窗口區域M x N的任何子集的模式，如第12A圖所示。如果目標樣本是亮度，則(iL,jL)是(i, j)。如果目標樣本是色度（例如，Cb或Cr），則(iL, jL)是從(i, j)的同位亮度位置。

例如，僅使用窗口中心(iL,jL)作為源項，如第12A圖所示。

另一個例子是模式為5x5十字包含或不排除(iL,jL)，如第12B圖所示。

對於源項集中的源項，以下實施例用於確定源內容的生成。

在一種實施例中，源內容基於預測模式生成的預測樣本和/或基於預測樣本和重建殘差生成的重建樣本。

在另一個子實施例中，源內容是經過預處理的源或任何預處理的源。例如，源內容是經過預定義模型或過濾器過濾後的預測/重建樣本。

在另一個子實施例中，源內容是來自預測樣本和/或重建樣本的梯度資訊。如果目標樣本(i, j)屬於色度，且同位亮度樣本（作為中心圓）的梯度資訊是用第13圖中的任何一個索伯過濾器（Sobel filters）（1310-1340）或任何預定義過濾器計算的。圍繞中心圓的每個值與同位亮度塊中的對應預測/重建樣本相乘，然後相加以形成目標樣本(i, j)的源項的梯度資訊。

在另一個子實施例中，由於目標樣本屬於色度樣本（例如，Cb或Cr），預測樣本和/或重建樣本位於從當前（色度）塊的同位（亮度）塊內。預測樣本和/或重建樣本被視為初始樣本並用作源內容以生成目標樣本。

在另一種實施例中，源項可能還包括位置資訊。例如，如果目標樣本指的是亮度，則(i, j)的水平位置(i)用於源項，(i, j)的垂直位置(j)用於源項；否則，從樣本(i, j)的同位亮度塊的水平位置用於源項，從樣本(i, j)的同位亮度塊的垂直位置用於源項。

在另一種實施例中，源項可能還包括位置資訊。例如，如果目標樣本指的是色度，則從樣本(i, j)的同位亮度的水平位置用於源項，從樣本(i, j)的同位亮度的垂直位置用於源項。

VII.2. sourceTermSet1(i, j) 的內容

sourceTermSet1(i, j)包括一個或多個色度（Cb或Cr）源項，表示為sourceTerm00、sourceTerm01、…和/或sourceTerm0m-1。m的值表示源項集的點數。在一種實施例中，源項可以是線性項和/或非線性項，僅線性項和/或僅非線性項。在另一種實施例中，m是一個預定義的值，例如1、2、…或任何正整數。例如，預定義的值在標準中固定。

在另一個實施例中，m根據當前塊的編解碼資訊和/或樣本位置(i, j)來確定。例如，當當前塊由特定的編解碼工具編碼時，m被固定在該特定工具的預定義值上。

在另一個實施例中，m點的模式指的是定義為圍繞/包含位置(iC, jC)的M2 x N2窗口區域的任何子集的模式，如第14A圖所示。如果目標樣本是色度(Cb或Cr)，則(iC,jC)是(i, j)。如果目標樣本是亮度，則(iC, jC)是從(i, j)得到的同位色度位置。

例如，只有窗口的中心(iC,jC)被使用，如第14A圖所示。

另一個模式的例子是5x5十字形：(包含或不排除(iC,jC))，如第14B圖所示。

對於源項集中的一個源項，以下實施例用於確定源內容的生成。

在一個實施例中，源內容基於預測模式生成的預測樣本和/或基於預測樣本和預測模式以及重建殘差生成的重建樣本。

在另一個子實施例中，源內容是經過過濾的源或經過任何預處理的源。例如，源內容是經過預定義模型或過濾器過濾後的預測/重建樣本。

在另一個子實施例中，源內容是來自預測樣本和/或重建樣本的梯度資訊。如果目標樣本(i, j)屬於亮度，則計算同位色度樣本的梯度資訊，使用任何一種Sobel過濾器或任何預定義過濾器。

在另一個子實施例中，如果目標樣本屬於色度樣本，預測樣本和/或重建樣本位於當前塊內。預測樣本和/或重建樣本被視為初始樣本，用作生成目標樣本的源內容。

在另一個實施例中，源項可能還包括位置資訊。例如，如果目標樣本指的是色度，則(i, j)的水平位置(i)用於源項，而(i, j)的垂直位置(j)用於源項。

VII.3. 偏差項集的內容( Content of biasTermSet)

偏差項是一個預定義值。在一個實施例中，偏差項是根據標準中指定的位深(bitDepth)的中值(midValue)。例如，偏差項設定為(1≪(bitDepth−1))。在另一個實施例中，每個樣本的偏差項在當前塊中是相同的。也就是說，偏差項與位置(i, j)無關。

VII.4. 樣本(i, j) 的預測器導出

VII.4.1. 建議的權重設定

建議的權重設定是通過預定義的回歸方法估計“當前(色度)塊的參考區域上的預測和/或重建樣本”與“對應亮度塊的參考區域上的預測和/或重建樣本”之間的關係(例如，最小化失真)，並根據回歸方法生成權重(指模型參數)。然後將導出的權重應用於源項以獲得當前塊中的目標(預測)樣本。在一個實施例中，預定義的回歸方法可以是CCLM的線性最小均方誤差(LMMSE)方法，或者可以是與CCLM使用的回歸方法的任何統一方法。在另一個實施例中，預定義的回歸方法可以是CCCM的LDL分解方法，或者可以是與CCCM使用的回歸方法的任何統一方法。在另一個實施例中，預定義的回歸方法可以是高斯消元法。

在一個實施例中，當前塊的參考區域是當前塊1510的空間鄰近區域，如第15圖所示。當前塊的空間鄰近區域包括上方參考區域1520，左側參考區域1530，左上方參考區域1540，和/或上述的任何子集。上方參考區域的大小是A _wxA _H，左側參考區域的大小是L _wxL _H，左上方參考區域的大小是AL _WxAL _H，其中 – A _w= 當前塊的塊寬(W)，k*W，W + 當前塊的塊高(H)，任何預定義值，或任何根據塊位置、塊寬、塊高和/或塊面積的適應性值。 – A _H或AL _H= H，任何預定義值(1, 2, 4, …)，或任何根據塊位置、塊寬、塊高和/或塊面積的適應性值。 – L _W或AL _W= W，任何預定義值(1, 2, 4, …)，或任何根據塊位置、塊寬、塊高和/或塊面積的適應性值。 – L _H= H，k*H，H + W，任何預定義值，或任何根據塊位置、塊寬、塊高和/或塊面積的適應性值。

對應亮度塊的參考區域是對應亮度塊的空間鄰近區域。

在另一個實施例中，當前塊的參考區域是當前塊的向量同位區域，而相應亮度塊的參考區域是相應亮度塊的向量同位區域。對於包含亮度和色度塊的交叉編解碼單元，當前塊的向量同位區域指的是使用當前塊的運動資訊（運動向量和參考圖片）獲得的運動補償結果，而相應亮度塊的向量同位區域指的是使用相應亮度塊的運動資訊（運動向量和參考圖片）獲得的運動補償結果。對於IBC或intraTMP，當前塊的向量同位區域指的是使用當前塊的運動資訊（例如，塊向量和當前圖片）獲得的運動補償結果，而相應亮度塊的向量同位區域指的是使用相應亮度塊的運動資訊（例如，塊向量和當前圖片）獲得的運動補償結果。

在另一個實施例中，上述提出的兩種當前塊的參考區域可以一起使用。例如，通常情況下，在導出模型參數時，使用當前塊的向量同位區域中的樣本作為輸入樣本；然而，對於較小的塊，在導出模型參數時，使用空間鄰近參考區域中的樣本作為額外的輸入樣本。

本發明中的“塊”一詞可以指TU/TB，CU/CB，PU/PB，或CTU/CTB。

本發明中的“LM”可以被視為CCLM/MMLM模式的一種或任何其他CCLM的擴展/變體（例如，本發明提出的CCLM擴展/變體）。一種變體是MMLM，它使用閾值來決定當前色度分量中不同樣本的不同模型。另一種變體是對於Cb（或Cr），從多個同位亮度塊導出模型參數。以下展示了更多可能的變體。這裡的CCLM變體意味著當塊指示參考使用交叉分量模式之一（例如，CCLM_LT，MMLM_LT，CCLM_L，CCLM_T，MMLM_L，MMLM_T，和/或一個幀內預測模式，這不是傳統的DC，平面，和角度模式之一）時，可以選擇一些可選模式。以下展示了使用卷積交叉分量模式（CCCM）作為一個可選模式的例子。當這個可選模式應用於當前塊時，使用包含非線性項的模型的交叉分量資訊來生成色度預測。可選模式可能遵循CCLM的模板選擇，因此CCCM家族包括CCCM_LT CCCM_L，和/或CCCM_T。

本發明提出的方法（對於CCLM）可以用於任何其他交叉分量模式。

本發明提出的任何方法組合都可以應用。

任何上述提出的使用從參考圖片重採樣（RPR）參考圖片導出的交叉分量預測模型的交叉分量預測方法都可以在編碼器和/或解碼器中實現。例如，任何提出的方法都可以在編碼器端的交叉、幀內、預測、IBC、變換、量化模塊或它們的組合中實現，和/或在解碼器端的交叉、幀內/預測、IBC、變換、量化模塊或它們的組合中實現。或者，任何提出的方法都可以作為與編碼器和/或解碼器的交叉、幀內、預測、變換、量化模塊或它們的組合相連接的電路實現，以提供交叉/幀內/預測/IBC/變換/量化模塊所需的資訊。

如上所述，從參考圖片重採樣（RPR）參考圖片導出的交叉分量預測模型可以在編碼器端或解碼器端實現。例如，任何提出的方法都可以在解碼器中的幀內/交叉編解碼模塊（例如，第1B圖中的Intra Pred. 150/MC 152）或編碼器中的幀內/交叉編解碼模塊（例如，第1A圖中的Intra Pred. 110/Inter Pred. 112）中實現。任何提出的方法也可以作為與解碼器或編碼器的幀內/交叉編解碼模塊相連接的電路實現。然而，解碼器或編碼器也可能使用額外的處理單元來實現提出的方法。雖然Intra Pred./MC單元（例如，第1A圖中的單元110/112和第1B圖中的單元150/152）被顯示為單獨的處理單元，它們可能對應於存儲在媒體上的可執行軟體或韌體代碼，例如硬盤或閃存，用於CPU（中央處理單元）或可編程設備（例如，DSP（數字訊號處理器）或FPGA（現場可編程閘陣列））。

第16圖說明了根據本發明一個實施例，結合從參考圖片重採樣（RPR）圖片導出的交叉分量預測模型的示例性影片編解碼系統的流程圖。流程圖中顯示的步驟可以實現為在編碼器或解碼器端的一個或多個處理器（例如，一個或多個CPU）上可執行的程式代碼。流程圖中顯示的步驟也可以基於硬體實現，例如一個或多個電子裝置或處理器被安排執行流程圖中的步驟。根據這個方法，在步驟1610中接收與當前塊相關的輸入資料，包括第一顏色塊和第二顏色塊，其中，輸入資料包括在編碼器端要編碼的像素資料或在解碼器端要解碼的與當前塊相關的資料，且其中當前塊是以非幀內模式編解碼的。在步驟1620中根據一個或多個預定義規則從一個或多個參考圖片列表中選擇同位圖片。在步驟1630中確定所選的同位圖片是否為參考圖片重採樣（RPR）圖片。在步驟1640中依據同位圖片是否為RPR圖片，從同位圖片中導出當前交叉分量預測（CCP）模型。在步驟1650中透過使用包括當前CCP模型的候選列表編碼或解碼當前第二顏色塊，其中，當當前CCP模型被選擇用於編碼當前第二顏色塊時，通過將當前CCP模型應用於當前第一顏色塊，以生成當前第二顏色塊的預測資料。

流程圖所示旨在說明根據本發明的影片編解碼的一個例子。熟練的技術人員可以修改每個步驟，重新排列步驟，分割步驟或結合步驟來實踐本發明，而不脫離本發明的精神。在本揭露中，使用了特定的語法和語義來說明實施本發明實施例的例子。熟練的人員可以通過用等效的語法和語義替換語法和語義來實踐本發明，而不脫離本發明的精神。

上述描述旨在使普通技術領域的人員能夠根據特定應用及其要求實踐本發明。對於技術領域中具有技能的人員來說，對所描述的實施例的各種修改將是顯而易見的，並且在此定義的一般原則可以應用於其他實施例。因此，本發明不打算僅限於顯示和描述的特定實施例，而是要賦予與此處披露的原則和新特徵一致的最廣泛範圍。在上述詳細描述中，為了提供對本發明的徹底理解，描繪了各種特定細節。然而，技術領域中熟練的人員將理解可以實踐本發明。

如上所述的本發明實施例可以在各種硬體、軟體代碼或兩者的組合中實現。例如，本發明的一個實施例可以是一個或多個電路集成到影片壓縮晶片中，或程式代碼集成到影片壓縮軟體中以執行此處描述的處理。本發明的一個實施例也可以是要在數位訊號處理器（DSP）上執行的程式代碼以執行此處描述的處理。本發明還可能涉及由計算機處理器、數位訊號處理器、微處理器或現場可編程閘陣列（FPGA）執行的多個功能。這些處理器可以根據發明配置為執行特定任務，通過執行機器可讀的軟體代碼或韌體代碼來定義發明體現的特定方法。軟體代碼或韌體代碼可以用不同的編程語言和不同的格式或風格開發。軟體代碼也可以為不同的目標平台編譯。然而，不同代碼格式、風格和軟體代碼的語言以及其他配置代碼以根據發明執行任務的手段，不會脫離發明的精神和範圍。

本發明可以在不脫離其精神或基本特徵的情況下以其他特定形式體現。所描述的例子應在各方面僅被視為說明性的，而不是限制性的。因此，本發明的範圍應由所附請求項而不是前述描述來指示。所有在請求項的意義和等價範圍內的變化都應包含在其範圍內。

110、150:幀內預測 112:幀間預測 114:開關 116、422、442、452:加法器 118:變換 120:量化 122:熵編碼器 124:逆量化 126:逆變換 128:重建 130:環路濾波器 134:參考圖片緩衝區 136:預測資料 140:熵解碼器 152:運動補償 210-240:梯度濾波器 410:預測Y 412:預測Cb 414:預測Cr 420、430、1610-1650:步驟 440:過濾預測的Cb 450:過濾預測的Cr 510、710:當前CU 720:同位CU 730:縮放運動向量 740:運動向量 1110:參考圖片 1120:同位CTU行 1130:同位塊 1140、1142:位置 1310-1340:索伯過濾器 1510:當前塊 1520:上方參考區域 1530:左側參考區域 1540:左上方參考區域 L0-L5:亮度樣本 C:色度樣本

第1A圖展示了一個包含環路處理的示例性適應性幀間／幀內影片編碼系統。 第1B圖展示了對應於第1A圖中編碼器的解碼器。 第2圖顯示了GLM（Gradient Linear Model）的16種梯度模式。 第3圖展示了對應於圍繞要預測的色度樣本（即C）的6個鄰近亮度樣本（即L0, L1, …, L5）的6-抽頭空間項，用於卷積交叉分量模型（Convolutional Cross-Component Model，簡稱CCCM）模式。 第4圖展示了交叉分量殘差模型（Cross-component residual model，簡稱CCRM）的示例性系統方塊圖。 第5圖展示了用於導出VVC空間合併候選項的5個鄰近塊。 第6圖展示了相鄰和非相鄰空間合併候選項的示例性模式。 第7圖展示了一個時間候選項導出的例子，其中根據圖片順序計數（Picture Order Count，簡稱POC）距離導出縮放運動向量。 第8圖展示了在候選項C ₀和C ₁之間選擇的時間候選項的位置。 第9A圖（模式1）和第9B圖（模式2）根據預定義位置和預定義順序展示了兩種不同的非相鄰空間鄰近候選項模式。 第10圖展示了CCM資訊傳播的例子。 第11圖展示了將同位CTU行外的映射位置映射到同位CTU行內的位置的例子。 第12A圖與第12B圖展示了在圍繞/包含位置(iL, jL)的窗口區域M x N中的n抽頭模式，以導出sourceTermSet0(i, j)，其中只使用中心（第12A圖）和使用5x5十字（第12B圖）。 第13圖展示了使用索伯濾波器（Sobel filters）從源的預測樣本和/或重建樣本中導出梯度資訊的例子。 第14A圖與第14B圖展示了在圍繞/包含位置(iC, jC)的窗口區域M2 x N2中的m抽頭模式，以導出sourceTermSet1(i, j)，其中只使用中心（第14A圖）和使用5x5十字（第14B圖）。 第15圖展示了作為自導（self-derived）交叉分量模型的權重設定參考區域的鄰近空間區域的例子。 第16圖展示了一個示例性影片編解碼系統的流程圖，該系統根據本發明的一個實施例，從參考圖片重採樣（Reference Picture Resampling，簡稱RPR）參考圖片繼承交叉分量預測模型。

1610:步驟

1620:步驟

1630:步驟

1640:步驟

1650:步驟

Claims (18)

1. 一種使用編解碼工具編解碼彩色圖片的方法，包含一個或多個與交叉分量模型（Cross-Component Models，CCM）相關的模式，該方法包括： 接收與當前塊相關的輸入資料，包括當前第一顏色塊和當前第二顏色塊，其中，該輸入資料包括在編碼器端要編碼的像素資料或在解碼器端要解碼的與該當前塊相關的資料，且其中該當前塊是以非幀內模式編解碼的； 根據一個或多個預定義（pre-defined）規則從一個或多個參考圖片列表中選擇同位圖片（collocated picture）； 確定所選的該同位圖片是否為參考圖片重採樣（Reference Picture Resampling，RPR）圖片； 依據該同位圖片是否為該參考圖片重採樣（RPR）圖片，從該同位圖片中導出當前交叉分量預測（Cross-Component Prediction，CCP）模型；及 透過使用包括該當前交叉分量預測（CCP）模型的候選列表編碼或解碼該當前第二顏色塊，其中，當該當前交叉分量預測（CCP）模型被選擇用於編解碼該當前第二顏色塊時，通過將該當前交叉分量預測（CCP）模型應用於該當前第一顏色塊，以生成該當前第二顏色塊的預測資料。
2. 如請求項1所述的方法，其中，該一個或多個預定義規則與包括L0[0]、L1[0]、圖片順序計數（POC）距離、QP值或其組合的資訊相關。
3. 如請求項1所述的方法，其中，所選的該同位圖片是否為該參考圖片重採樣（RPR）圖片由位元流中發出或解析的標誌所指示。
4. 如請求項1所述的方法，其中，若該同位圖片和包含該當前塊的當前圖片在一個或多個目標參數上有所不同，則所選的該同位圖片是該參考圖片重採樣（RPR）圖片。
5. 如請求項4所述的方法，其中，該一個或多個目標參數包括亮度樣本中的圖片寬度、該亮度樣本中的圖片高度、縮放窗口（scaling window）左偏移、縮放窗口右偏移、縮放窗口上偏移、縮放窗口下偏移、子圖片數量或其組合。
6. 如請求項1所述的方法，其中，該同位圖片是從一個或多個參考圖片列表中的一個或多個未縮放圖片中選擇的。
7. 如請求項1所述的方法，其中，從該一個或多個參考圖片列表中的未縮放圖片中選擇一個目標圖片作為該同位圖片，並且其中該目標圖片是基於與當前圖片的圖片順序計數（POC）差異、圖片順序計數（POC）值、與當前圖片的QP差異、QP值、參考列表或其組合而選擇的。
8. 如請求項1所述的方法，其中，若所選的該同位圖片是該參考圖片重採樣（RPR）圖片，則從該同位圖片繼承的交叉分量模型（CCM）資訊被禁用。
9. 如請求項1所述的方法，其中，若所選的該同位圖片是該參考圖片重採樣（RPR）圖片，則根據縮放比例從縮放位置檢索來自該同位圖片的交叉分量模型（CCM）資訊。
10. 如請求項9所述的方法，其中，該縮放比例是基於當前圖片的縮放窗口和該同位圖片導出的。
11. 如請求項10所述的方法，其中，若當前位置和該縮放比例分別表示為(x,y)和R，則經過湊整進程（rounding process）後，按照(x/R,y/R)決定縮放位置。
12. 如請求項11所述的方法，其中，該湊整進程對應於向負無窮大湊整（rounding toward negative infinity）、向正無窮大湊整（rounding toward positive infinity）、向零湊整（rounding toward zero）或湊整至最接近的整數（rounding to a nearest integer）。
13. 如請求項1所述的方法，其中，來自該同位圖片的該當前交叉分量預測（CCP）模型是根據鄰近塊的運動向量來確定的，並且該鄰近塊是從預定義位置的列表中選擇的。
14. 如請求項13所述的方法，其中，該鄰近塊是根據預定義檢查順序從預定義位置的該列表中選擇的。
15. 如請求項14所述的方法，其中，該預定義檢查順序對應於首先檢查L0運動向量或L1運動向量，並且首先選擇與未縮放參考圖片相關的目標運動向量。
16. 如請求項1所述的方法，其中，若由運動向量定位的目標參考圖片是該參考圖片重採樣（RPR）圖片，則該運動向量被視為沒有由該運動向量定位的交叉分量模型（CCM）資訊。
17. 如請求項1所述的方法，其中，若由運動向量定位的目標參考圖片是該參考圖片重採樣（RPR）圖片，則從該目標參考圖片依據縮放比例在縮放位置檢索交叉分量模型（CCM）資訊。
18. 一種用於編解碼彩色圖片或影片的裝置，使用編解碼工具包含一個或多個交叉分量模型相關模式，該裝置包括一個或多個電子電路或處理器，配置為： 接收與當前塊相關的輸入資料，包括當前第一顏色塊和當前第二顏色塊，其中，該輸入資料包含在編碼器端要編碼的像素資料或在解碼器端要解碼的與該當前塊相關的資料，且其中該當前塊是以非幀內模式編碼的； 根據一個或多個預定義規則從一個或多個參考圖片列表中選擇同位圖片； 確定選擇的該同位圖片是否為參考圖片重採樣（Reference Picture Resampling，RPR）圖片； 依據該同位圖片是否為該參考圖片重採樣（RPR）圖片，從該同位圖片中導出當前交叉分量預測（Cross-Component Prediction，CCP）模型；及 透過使用包括該當前交叉分量預測（CCP）模型的候選列表編碼或解碼該當前第二顏色塊，其中，當該當前交叉分量預測（CCP）模型被選擇用於編解碼該當前第二顏色塊時，透過將該當前交叉分量預測（CCP）模型應用於該當前第一顏色塊，以生成該當前第二顏色塊的預測資料。

Images