[go: up one dir, main page]

TWI884435B - 在視頻編解碼系統中使用基於彎曲或基於擴展角的幀內預測模式的方法和裝置 - Google Patents

在視頻編解碼系統中使用基於彎曲或基於擴展角的幀內預測模式的方法和裝置 Download PDF

Info

Publication number
TWI884435B
TWI884435B TW112113087A TW112113087A TWI884435B TW I884435 B TWI884435 B TW I884435B TW 112113087 A TW112113087 A TW 112113087A TW 112113087 A TW112113087 A TW 112113087A TW I884435 B TWI884435 B TW I884435B
Authority
TW
Taiwan
Prior art keywords
intra
current block
frame prediction
curved
template
Prior art date
Application number
TW112113087A
Other languages
English (en)
Other versions
TW202341730A (zh
Inventor
蔡佳銘
陳俊嘉
江嫚書
林郁晟
徐志瑋
莊子德
陳慶曄
黃毓文
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202341730A publication Critical patent/TW202341730A/zh
Application granted granted Critical
Publication of TWI884435B publication Critical patent/TWI884435B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種用於視頻編解碼的方法和裝置。根據解碼器側的方法，接收與當前待解碼塊相關聯的編碼資料。為當前塊確定與彎曲幀內預測模式相關聯的彎曲幀內預測模型，其中彎曲幀內預測模型是基於當前塊的模板或基於從當前塊的模板的角度場的統計或直方圖推導的解碼器側幀內模式導出的。該模板包括在當前塊的相鄰區域中的至少3條線。使用包括彎曲幀內預測模式的一個或多個幀內預測模式候選來解碼當前塊。

Description

在視頻編解碼系統中使用基於彎曲或基於擴展角的幀內預測模式的方法和裝置
本發明涉及視頻編解碼系統。特別地，本發明涉及視頻編解碼系統中的彎曲幀內預測(curved intra prediction)。
通用視頻編碼(VVC)是由ITU-T視頻編碼專家組(VCEG)的聯合視頻專家組(JVET)和ISO/IEC運動圖像專家組(MPEG)共同製定的最新國際視頻編碼標準,該標準已作為 ISO 標準發布：ISO/IEC 23090-3:2021，信息技術 - 沉浸式媒體的編碼表示-第3部分：通用視頻編碼，2021年2月發布。VVC是在其前身 HEVC（High Efficiency Video Coding）通過添加更多的編解碼工具來提高編解碼效率，還可以處理各種類型的視頻源，包括3維（3D）視頻信號。
第1A圖說明了包含循環處理的示例性自適應幀間/幀內視頻編碼系統。對於幀內預測，預測資料是根據當前圖片中先前編碼的視頻資料導出的。對於幀間預測112，在編碼器側執行運動估計(ME)並且基於ME的結果執行運動補償(MC)以提供從其他圖片和運動資料導出的預測資料。開關114選擇幀內預測110或幀間預測112並且所選擇的預測資料被提供給加法器116以形成預測誤差，也稱為殘差。預測誤差然後由變換(T)118和隨後的量化(Q)120處理。變換和量化的殘差然後由熵編碼器122編碼以包括在對應於壓縮視頻資料的視頻位元流中。 與變換係數相關聯的位元流然後與輔助信息（例如與幀內預測和幀間預測相關聯的運動和編碼模式）以及其他信息（例如與應用於底層圖像區域的環路濾波器相關聯的參數）一起打包。與幀內預測110、幀間預測112和環內濾波器130相關聯的輔助信息被提供給熵編碼器122，如第1A圖所示。當使用幀間預測模式時，也必須在編碼器端重建一個或多個參考圖片。因此，經變換和量化的殘差由逆量化（IQ）124和逆變換（IT）126處理以恢復殘差。然後在重建(REC)128處將殘差加回到預測資料136以重建視頻資料。重建的視頻資料可以存儲在參考圖片緩衝器134中並用於預測其他幀。
如第1A圖所示，輸入的視頻資料在編碼系統中經過一系列處理。由於一系列處理，來自REC128的重建視頻資料可能會受到各種損害。因此，環路濾波器130經常在重構視頻資料被存儲在參考圖片緩衝器134中之前應用於重構視頻資料以提高視頻質量。例如，可以使用去塊濾波器（DF）、樣本自適應偏移（SAO）和自適應環路濾波器（ALF）。可能需要將環路濾波器信息合併到位元流中，以便解碼器可以正確地恢復所需的信息。因此，環路濾波器信息也被提供給熵編碼器122以合併到位元流中。第1A圖中，環路濾波器130在重構樣本被存儲在參考圖片緩衝器134中之前被應用於重構視頻。第1A圖中的系統旨在說明典型視頻編碼器的示例性結構。它可能對應於高效視頻編碼 (HEVC) 系統、VP8、VP9、H.264 或 VVC。
如第1B圖所示，解碼器可以使用與編碼器相似或相同的功能塊，除了變換118和量化120之外，因為解碼器只需要逆量化124和逆變換126。替代熵編碼器122，解碼器使用熵解碼器140將視頻位元流解碼為量化的變換係數和所需的編碼信息(例如ILPF信息、幀內預測信息和幀間預測信息)。解碼器側的幀內預測150不需要執行模式搜索。相反，解碼器僅需要根據從熵解碼器140接收的幀內預測信息生成幀內預測。此外，對於幀間預測，解碼器僅需要根據從熵解碼器140接收的幀間預測信息執行運動補償（MC152）而無需運動估計。
根據VVC，類似於HEVC，輸入圖片被劃分為稱為CTU(編碼樹單元）的非重疊方形塊區域。每個CTU都可以劃分為一個或多個較小尺寸的編碼單元(CU)。生成的CU分區可以是正方形或矩形。此外，VVC將CTU劃分為預測單元(PU)，作為應用預測過程的單元，例如幀間預測、幀內預測等。
VVC標準合併了各種新的編碼工具以進一步提高超過HEVC標準的編碼效率。在各種新的編碼工具中，與本發明相關的一些編碼工具綜述如下。
使用樹結構劃分 CTU
在HEVC中，通過使用表示為編碼樹的四叉樹(QT)結構將CTU分成CU以適應各種局部特性。使用圖片間（時間）或圖片內（空間）預測對圖片區域進行編碼的決定是在葉CU級別做出的。每個葉CU可以根據PU分割類型進一步分割成一個、兩個或四個PU。在一個PU內部，應用相同的預測過程，並將相關信息以PU為基礎傳輸到解碼器。在通過應用基於PU分割類型的預測過程獲得殘差塊之後，葉CU可以根據類似於CU的編碼樹的另一種四叉樹結構被劃分為變換單元（TU）。HEVC結構的關鍵特徵之一是它具有多個分區概念，包括CU、PU和TU。
在VVC中，使用二元和三元分割結構的具有嵌套多類型樹的四叉樹取代了多分割單元類型的概念，即它除了對於具有對於最大變換長度來說尺寸太大的CU來説，去除了CU、PU和TU概念的分離，並且支持更靈活的CU分區形狀。在編碼樹結構中，CU可以是正方形或長方形。編碼樹單元(CTU)首先按四叉樹(quaternary tree)（也稱為quadtree）結構進行分區。然後四叉樹葉節點可以進一步劃分為多類型樹結構。如第2圖所示，多類型樹結構中有四種分割類型，垂直二元分割（SPLIT_BT_VER 210），水平二元分割（SPLIT_BT_HOR 220），垂直三元分割（SPLIT_TT_VER 230），水平三元分割（SPLIT_TT_HOR 240）。多類型樹葉節點稱為編碼單元(CU)，除非CU對於最大變換長度來說太大，否則此分段將用於預測和變換處理，而無需進一步劃分。這意味著，在大多數情況下，CU、PU和TU在具有嵌套多類型樹編碼塊結構的四叉樹中具有相同的塊大小。當支持的最大變換長度小於CU顏色分量的寬度或高度時會發生異常。
第3圖示出了具有嵌套多類型樹編碼樹結構的四叉樹中的分區分割信息的信令機制。編碼樹單元（CTU）被視為四叉樹的根，並且首先由四叉樹結構劃分。每個四叉樹葉節點（當足夠大以允許它時）然後由多類型樹結構進一步劃分。在多類型樹結構中，發送第一標誌(mtt_split_cu_flag)以指示節點是否被進一步劃分；當一個節點被進一步劃分時，第二個標誌（mtt_split_cu_vertical_flag）被發送以指示分割方向，然後第三個標誌（mtt_split_cu_binary_flag）被發送以指示分割是二元分割還是三元分割。根據mtt_split_cu_vertical_flag和mtt_split_cu_binary_flag的值，推導出一個CU的多類型樹分割模式（MttSplitMode），如表1所示。 表1 – 基於多類型樹語法元素導出MttSplitMode
MttSplitMode mtt_split_cu_vertical_flag mtt_split_cu_binary_flag
SPLIT_TT_HOR 0 0
SPLIT_BT_HOR 0 1
SPLIT_TT_VER 1 0
SPLIT_BT_VER 1 1
第4圖示出了CTU被劃分為具有四叉樹和嵌套多類型樹編碼塊結構的多個CU，其中粗體塊邊緣表示四叉樹分區，其餘邊緣表示多類型樹分區。具有嵌套多類型樹分區的四叉樹提供了由CU組成的內容自適應編碼樹結構。CU的大小可以與CTU一樣大，也可以以亮度樣本為單位小至 4×4。對於4:2:0色度格式，最大色度CB大小為64×64，最小色度CB大小由16個色度樣本組成。
在VVC中，支持的最大亮度變換大小為64×64，支持的最大色度變換大小為32×32。當CB的寬度或高度大於最大變換寬度或高度時，CB會自動在水平和/或垂直方向上拆分以滿足該方向上的變換大小限制。
以下參數由用於具有嵌套多類型樹編碼樹方案的四叉樹的SPS語法元素定義和指定。 –CTU 尺寸：四叉樹的根節點大小 – MinQTSize：允許的最小四叉樹葉節點大小 – MaxBtSize：允許的最大二叉樹根節點大小 – MaxTtSize：最大允許的三叉樹根節點大小 – MaxMttDepth：從四叉樹葉節點分割出的多類型樹的最大允許深度 – MinBtSize：允許的最小二叉樹葉節點大小 – MinTtSize：允許的最小三叉樹葉節點大小
在具有嵌套多類型樹編碼樹結構的四叉樹的一個示例中，CTU大小被設置為128×128亮度樣本和兩個對應的64×64塊的4:2:0色度樣本， MinQTSize被設置為16×16， MaxBtSize設置為128×128， MaxTtSize設置為64×64， MinBtSize和 MinTtSize（寬度和高度）設置為4×4，MaxMttDepth設置為4。樹劃分首先應用於CTU以生成四叉樹葉節點。四叉樹葉節點的大小可以從16×16（即 MinQTSize）到128×128（即CTU大小）。如果葉QT節點為128×128，由於大小超過了 MaxBtSize和 MaxTtSize（即64×64），二叉樹將不再進一步分割。否則，四叉樹葉節點可能會被多類型樹進一步劃分。因此，四叉樹葉節點也是多元樹的根節點，其多元樹深度（ mttDepth）為0。當多元樹深度達到 MaxMttDepth（即4）時，被認為不再進一步分割。當多類型樹節點的寬度等於 MinBtSize且小於或等於2 * MinTtSize時，不再考慮進一步水平分割。類似地，當多類型樹節點的高度等於 MinBtSize且小於或等於2 * MinTtSize時，不考慮進一步的垂直分割。
為了在VVC硬件解碼器中允許64×64亮度塊和32×32色度塊流水線設計，當亮度編碼塊的寬度或高度大於64時禁止TT分割，如第5圖所示，其中塊500對應於128x128亮度CU。可以使用垂直二叉樹分割（510）或水平二叉樹分割（520）來拆分CU。將塊拆分成4個CU，每個CU大小為64x64，CU可以進一步使用包括TT在內的分區進行分割。例如，左上角的64x64CU使用垂直三元分割(530)或水平三元分割(540)進行分區。當色度編碼塊的寬度或高度大於32時，也禁止TT拆分。
在VVC中，編碼樹方案支持亮度和色度具有單獨的塊樹結構的能力。對於P和B切片，一個CTU中的亮度和色度CTB必須共享相同的編碼樹結構。然而，對於I切片，亮度和色度可以具有單獨的塊樹結構。當應用分別的塊樹模式時，亮度CTB被一種編碼樹結構分割成CU，色度CTB被另一種編碼樹結構分割成色度CU。這意味著I切片中的CU可能由亮度分量的編碼塊或兩個色度分量的編碼塊組成，而P或B切片中的CU總是由所有三種顏色分量的編碼塊組成，除非視頻是單色。
虛擬管道資料單元（ Virtual Pipeline Data Units ， VPDU)
虛擬流水線資料單元(VPDU)被定義為畫面中的非重疊單元。在硬件解碼器中，連續的VPDU由多個流水線級同時處理。在大多數流水線階段，VPDU大小與緩衝區大小大致成正比，因此保持VPDU大小較小很重要。在大多數硬件解碼器中，VPDU大小可以設置為最大變換塊(TB)大小。然而，在VVC中，三叉樹(TT)和二叉樹(BT)分區可能會導致VPDU大小增加。
為了將VPDU大小保持為64x64亮度樣本，在VTM中應用以下規範分區限制（具有語法信令修改），如第6圖所示： – 對於寬度或高度或寬度和高度均等於128的CU，不允許進行TT拆分（如第6圖中的“X”所示）。 –對於N≤64的128xNCU（即寬度等於128且高度小於128），不允許水平BT。
對於N≤64(即高度等於128且寬度小於128)的Nx128 CU，不允許垂直BT。在第6圖中，亮度塊大小為128x128。虛線表示塊大小為64x64。根據上述約束條件，不允許分區的示例用“X”表示，如第6圖中的各種示例（610-680）所示。
具有 67 種幀內預測模式的幀內模式編碼
為了捕獲自然視頻中呈現的任意邊緣方向，VVC中的方向幀內模式的數量從HEVC中使用的33個擴展到65個。HEVC中沒有的新方向模式在第7圖中被描繪為虛線箭頭、平面和DC模式保持不變。這些更密集的方向幀內預測模式適用於所有塊大小以及亮度和色度幀內預測。
在VVC中，針對非正方形塊，幾種傳統的角度幀內預測模式被自適應地替換為廣角(wide-angle)幀內預測模式。
在HEVC中，每個幀內編碼塊具有正方形形狀並且其每條邊的長度是2的冪。因此，不需要除法運算來使用DC模式生成幀內預測器。在VVC中，塊可以具有矩形形狀，這在一般情況下需要對每個塊使用除法運算。為了避免DC預測的除法操作，只有較長的邊用於計算非方形塊的平均值。
為了保持最可能模式(MPM)列表生成的複雜度較低，通過考慮兩個可用的相鄰幀內模式，使用具有6個MPM的幀內模式編碼方法。構建MPM列表考慮以下三個方面： – 默認幀內模式 – 相鄰幀內模式 – 導出的幀內模式。
統一的6-MPM列表用於幀內塊，而不管是否應用MRL和ISP編碼工具。MPM列表是基於左側和上方相鄰塊的幀內模式構建的。假設左邊的模式記為Left，上方塊的模式記為Above，則統一的MPM列表構造如下： – 當相鄰塊不可用時，其幀內模式默認設置為平面。 – 如果Left和Above兩種模式都是非角度模式： – MPM 列表  →{平面, DC, V, H, V − 4, V + 4} – 如果Left和Above模式之一是角度模式，另一個是非角度模式： – 將模式Max設置為Left和Above中的較大模式 –MPM列表→{平面, Max, DC, Max − 1, Max + 1, Max − 2} – 如果Left和Above都是有角度的並且它們不同： – 將模式Max設置為Left和Above中的較大模式 – 如果模式Left和Above的差異在2到62的範圍內，包括 •MPM列表→{平面, Left, Above, DC, Max − 1, Max + 1} -       否則 •MPM列表→{平面, Left, Above, DC, Max − 2, Max + 2} – 如果 Left 和 Above 都是有角度的並且它們是相同的： –MPM列表→{平面, Left, Left − 1, Left + 1, DC, Left − 2}
此外，MPM索引碼字的第一個二進制碼（bin）是CABAC上下文編碼的。總共使用了三個上下文，對應於當前幀內塊是啟用MRL、啟用ISP還是正常幀內塊。
在6 MPM列表生成過程中，修剪用於去除重複的模式，使得只有獨特的模式可以被包括到MPM列表中。對於61種非MPM模式的熵編碼，使用截斷二進制代碼(Truncated Binary Code， TBC)。
非方形塊的廣角幀內預測
常規角度幀內預測方向被定義為順時針方向從45度到-135度。在VVC中，幾種傳統的角度幀內預測模式被自適應地替換為非方形塊的廣角幀內預測模式。替換的模式使用原始模式索引發出信號，原始模式索引在解析後重新映射到廣角模式的索引。幀內預測模式總數不變，即67，幀內模式編碼方式不變。
為了支持這些預測方向，分別如第8A圖和第8B圖所示定義了長度為2W+1的頂部參考和長度為2H+1的左側參考。
廣角方向模式中替換模式的數量取決於塊的縱橫比。替換的幀內預測模式如表 2 所示。 表 2 – 被廣角模式取代的幀內預測模式
縱橫比 替代的幀内預測模式
W / H == 16 模式 12, 13,14,15
W / H == 8 模式 12, 13
W / H == 4 模式 2,3,4,5,6,7,8,9,10,11
W / H == 2 模式 2,3,4,5,6,7,
W / H == 1 無
W / H == 1/2 模式 61,62,63,64,65,66
W / H == 1/4 模式 57,58,59,60,61,62,63,64,65,66
W / H == 1/8 模式 55, 56
W / H == 1/16 模式 53, 54, 55, 56
如第9圖所示，在廣角幀內預測的情況下，兩個垂直相鄰的預測樣本（樣本910和912)可以使用兩個不相鄰的參考樣本（樣本920和922)。因此，將低通參考樣本濾波器和邊平滑應用於廣角預測，以減少增加的間隙Δp α的負面影響。如果廣角模式表示非分數偏移，那麼廣角模式中有8個模式滿足這個條件，分別是[−14, −12, −10, −6, 72, 76, 78, 80]。當通過這些模式預測塊時，直接複製參考緩衝區中的樣本而不應用任何插值。通過此修改，需要平滑的樣本數量減少了。此外，它使得傳統預測模式和廣角模式中非分數模式具有相似的設計。
在VVC中，支持4:2:2、4:4:4以及4:2:0色度格式。4:2:2 色度格式的色度導出模式(derived mode，DM)推導表最初是從HEVC移植的，將條目數從35擴展到67，以與幀內預測模式的擴展保持一致。由於HEVC規範不支持-135˚以下和45˚以上的預測角度，亮度幀內預測模式從2到5映射到2。因此，4:2:2色度格式的色度DM推導表更新方式是替換映射表條目的一些值，以更精確地轉換色度塊的預測角度。
4 抽頭插值濾波器和參考樣本平滑
四抽頭幀內插值濾波器被用來提高定向幀內預測精度。在HEVC中，雙抽頭線性插值濾波器已用於在方向預測模式（即不包括平面和DC預測器）中生成幀內預測塊。在VVC中，兩組4-抽頭IF（插值濾波器）取代了HEVC中的低精度線性插值，其中一組是基於DCT的插值濾波器（DCTIF），另一組是4-抽頭平滑插值濾波器（SIF）。DCTIF的構建方式與HEVC和VVC中用於色度分量運動補償的方式相同。SIF是通過將2抽頭線性插值濾波器與[1 2 1]/4濾波器進行卷積而獲得的。
根據幀內預測模式，執行以下參考樣本處理：
定向幀內預測模式被分類為以下組之一： – A 組：垂直或水平模式（HOR_IDX、VER_IDX）， – B 組：表示非分數角度（-14、-12、-10、-6、2、34、66、72、76、78、80）的方向模式和平面模式， – C 組：其餘方向模式；
如果方向幀內預測模式被分類為屬於組A，則沒有濾波器被應用於參考樣本以生成預測樣本；
否則，如果模式落入組B並且模式是方向模式，並且以下所有條件都為真，則可以應用[1,2,1]參考樣本過濾器到參考樣本（取決於MDIS條件）以根據所選方向進一步將這些過濾值複製到幀內預測中，但不應用插值濾波器： – refIdx等於0（無 MRL） –TU大小大於32 –亮度 –沒有ISP塊
否則，如果模式被分類為屬於組C，MRL索引等於0，並且當前塊不是ISP塊，則僅將幀內參考樣本插值濾波器應用於參考樣本以生成預測樣本，該預測樣本根據選定的方向落入參考樣本之間的小數或整數位置（不執行參考樣本過濾）。插值濾波器類型確定如下： –設置minDistVerHor等於Min(Abs(predModeIntra−50),Abs(predModeIntra−18)) –將nTbS設置為(Log2(W)+Log2(H))＞＞1 –按照以下規定設置intraHorVerDistThres[ nTbS ]：
nTbS = 2 nTbS = 3 nTbS = 4 nTbS = 5 nTbS = 6 nTbS = 7
intraHorVerDistThres[ nTbS ] 24 14 2 0 0 0
–如果minDistVerHor大於intraHorVerDistThres[nTbS ，則使用SIF進行插值 –否則，DCTIF用於插值
解碼器端幀內模式推導 (DIMD)
當應用DIMD時，兩個幀內模式從重建的相鄰樣本中導出，並且這兩個預測與平面模式預測結合，權重從梯度中導出。DIMD模式用作替代預測模式，並始終在高複雜度RDO模式下進行檢查。
為了隱式導出塊的幀內預測模式，在編碼器和解碼器側都執行紋理梯度分析(texture gradient analysis)。此過程從具有65個條目的空梯度直方圖(HoG)開始，對應於65個角度模式。這些條目的幅度在紋理梯度分析期間確定。
在第一步中，DIMD從當前塊的左側和上方分別選取一個T=3列和行的模板（template）。該區域用作基於梯度的幀內預測模式推導的參考。
在第二步中，水平和垂直Sobel濾波器應用於所有3×3窗口位置，以模板中線的像素為中心。在每個窗口位置，索貝爾濾波器計算純水平和垂直方向的強度分別為 和 。 然後，窗口的紋理角度計算為： (1)
可以轉換為 65 種角度幀內預測模式之一。一旦當前窗口的幀內預測模式索引被導出為 idx，其在HoG[ idx]中的條目的幅度通過添加更新： (2)
第10A-C圖顯示了在對模板中的所有像素位置應用上述操作之後計算的HoG的示例。 第10A圖圖示了為當前塊1010選擇的模板1020的示例。模板1020包括當前塊上方的T行和當前塊左側的T列。對於當前塊的幀內預測，當前塊上方和左側的區域1030對應於重構區域，而塊下方和右側的區域1040對應於不可用區域。第10B圖圖示了T＝3的示例並且HoG是針對中間行中的像素1060和中間列中的像素1062計算的。例如，對於像素1052，使用3x3窗口1050。第10C圖圖示了對於如從等式(1)確定的角度幀內預測模式，基於等式(2)計算的幅度(Ampl)的示例。
一旦計算出HoG，就選擇具有兩個最高直方圖條的索引作為塊的兩個隱式導出的幀內預測模式，並進一步與平面模式組合作為DIMD模式的預測。預測融合被應用為上述三個預測變量的加權平均。為此，平面的權重固定為21/64（~1/3）。剩餘的43/64(~2/3)權重然後在兩個HoG IPM之間共享，與它們的HoG條的幅度成比例。第11圖說明了混合過程的示例。如第11圖所示，根據具有直方圖條1110的兩個最高條的索引選擇兩個幀內模式（M 11112和M 21114）。三個預測子（ Pred 1 1140、 Pred 2 1142和 Pred 3 1144）用於形成混合預測。三個預測子對應於將M 1、M 2和平面幀內模式（分別為1120、1122和1124）應用到參考像素1130以形成相應的預測子。三個預測變量由相應的加權因子（ω 1, ω 2與ω 3）1150加權。使用加法器1152對加權預測變量求和以生成混合預測變量1160。
此外，將兩個隱式導出的幀內模式包含在MPM列表中，以便在構造MPM列表之前執行DIMD過程。DIMD塊的主要導出幀內模式與塊一起存儲，並用於相鄰塊的MPM列表構造。
基於模板的幀內模式推導（ TIMD)
基於模板的幀內模式推導（TIMD)模式在編碼器和解碼器處使用相鄰模板隱式地推導CU的幀內預測模式，而不是將幀內預測模式發信號通知給解碼器。如第12圖所示，使用每個候選模式的模板的參考樣本（1220和1222）生成當前塊1210的模板的預測樣本（1212和1214）。成本被計算為模板的預測樣本和重建樣本之間的SATD（絕對轉換差異之和）。選擇成本最小的幀內預測模式作為DIMD模式並用於CU的幀內預測。候選模式可以是如VVC中的67種幀內預測模式或擴展到131種幀內預測模式。通常，MPM可以提供線索來指示CU的方向信息。因此，為了減少幀內模式搜索空間並利用CU的特性，可以從MPM列表中隱式導出幀內預測模式。
對於MPM中的每個幀內預測模式，計算模板的預測和重建樣本之間的SATD。選擇具有最小SATD的前兩種幀內預測模式作為TIMD模式。這兩種TIMD模式在應用PDPC過程後與權重融合，這種加權的幀內預測用於對當前CU進行編碼。位置相關幀內預測組合(Position dependent intra prediction combination， PDPC)包含在TIMD模式的推導中。
將兩種選擇模式的成本與閾值進行比較，在測試中，成本因子2應用如下： costMode2＜2* costMode1。 其中costMode2為模式2成本，costMode1為模式1成本。
如果該條件為真，則應用融合，否則僅使用模式1。模式的權重(weight)根據其SATD成本計算如下： weight1 = costMode2/(costMode1+ costMode2) weight2 = 1 - weight1。
在本公開中，公開了使用TIMD和DIMD改進幀內預測模式的方法和裝置。
公開了一種用於視頻解碼的方法和裝置。根據解碼端的方法，接收與當前待解碼塊相關聯的編碼資料。為當前塊確定與彎曲幀內預測模式相關聯的彎曲幀內預測模型，其中彎曲幀內預測模型是基於當前塊的模板或基於解碼器側幀內模式推導，其中基於解碼器側幀內模式是使用從當前塊的模板的角度場的統計或直方圖推導。該模板包括在當前塊的相鄰區域中的至少3條線。使用包括彎曲幀內預測模式的一個或多個幀內預測模式候選來解碼當前塊。
在一個實施例中，用於彎曲幀內預測模型的一個或多個模型參數是基於當前塊的模板或基於解碼器側幀內模式推導，其中基於解碼器側幀內模式是使用從當前塊的模板的角度場的統計或直方圖推導。在一個實施例中，所述一個或多個模型參數包括一個或多個角度轉向參數。在另一實施例中，所述一個或多個模型參數還包括角速度參數。在另一實施例中，所述一個或多個角度轉向參數包括角度參數和轉向方向參數。 轉向方向參數指示轉彎方向為右轉與左轉，或順時針轉與逆時針轉。
在一個實施例中，在解碼器側從位元流解析用於彎曲幀內預測模型的一個或多個模型參數。
在一個實施例中，在解碼器側從位元流中解析語法以指示當前塊是使用彎曲幀內預測模式編碼。
在一個實施例中，使用當前塊的模板評估一組彎曲幀內預測模式中的每一個的成本，並且選擇在該組彎曲幀內預測模式中實現最小成本的目標彎曲幀內預測模式對當前塊進行編碼或解碼，並且其中在模板的重構樣本和為所述彎曲幀內預測模式集合中的每一個導出的模板的預測樣本之間評估成本。
在一個實施例中，從當前塊的模板導出的角度場的統計量或直方圖用於確定彎曲幀內預測模型。可以將梯度濾波器應用於從當前塊的模板導出的角度場的統計或直方圖以確定彎曲幀內預測模型。
還公開了用於編碼器側的相應方法和裝置。
將容易理解的是，如本文附圖中大體描述和圖示的本發明的組件可以以多種不同的配置來佈置和設計。因此，以下對如圖所示的本發明的系統和方法的實施例的更詳細描述並不旨在限制所要求保護的本發明的範圍，而僅代表本發明的選定實施例 . 貫穿本說明書對“一個實施例”、“一個實施例”或類似語言的引用意味著結合該實施例描述的特定特徵、結構或特性可以包括在本發明的至少一個實施例中。因此，貫穿本說明書各處出現的短語“在一個實施例中”或“在一個實施例中”不一定都指代相同的實施例。
此外，所描述的特徵、結構或特性可以以任何合適的方式組合在一個或多個實施例中。然而，相關領域的技術人員將認識到，本發明可以在沒有一個或多個特定細節的情況下，或使用其他方法、組件等來實踐。在其他情況下，未顯示或未顯示眾所周知的結構或操作 詳細描述以避免模糊本發明的方面。 參考附圖將最好地理解本發明的所示實施例，其中相同的部分自始至終由相同的數字表示。下面的描述僅旨在作為示例，並且簡單地說明與如本文要求保護的本發明一致的設備和方法的某些選定實施例。
方法 A : 通過模板估計的基於彎曲的角度 ( Curve Based Angle by Template Estimation )
在該方法中，假定幀內預測角度是彎曲的。可以將分段/內容分析應用於模板以估計彎曲幀內預測模型(curved intra prediction model)。在一個實施例中，編碼器可以發送模式標誌（例如指示CU正在使用基於TIMD/DIMD的彎曲角度編碼）。在解碼器側，解碼器可以使用TIMD/DIMD來導出彎曲幀內預測模型的參數。
根據本發明的一個實施例，可以定義一些模型參數，例如轉角(angle-turning)參數和角速度(angular-speed)參數。轉角的參數可能包括： 1.角度+“左轉”（或逆時針轉）， 2.角度+“右轉”（或順時針轉）。
角速度參數可以包括角度如何變化的速度。為了在解碼器端得到彎曲幀內預測模型，它可以使用更厚的L-模板（例如10行或更多）來應用TIMD-近似方法或DIMD-近似方法。
第13圖圖示了用於彎曲幀內預測的模型參數的示例。當前塊1310的彎曲幀內預測由虛線1320指示。角度（或進入角）由箭頭1312指示並且轉動方向由箭頭1322指示。
對於類似TIMD的方法，其使用彎曲幀內預測模型來執行/調整模板匹配並選擇最佳彎曲幀內預測模型。在DIMD方法中，它使用模板內部角度場(angle field)的統計資料或直方圖（例如使用梯度濾波器來猜測模板上每個樣本的角度場）來猜測彎曲幀內預測模型。
在另一個實施例中，編碼器將決定模型參數並將彎曲幀內預測模型參數發送到解碼器。
方法 B: 用於曲面模式的 DIMD
代替根據VVC中的原始平面模式假設當前CU內不同採樣位置的亮度值的平面特性，本發明公開了更複雜的亮度( x,y)表面模型，其中亮度像素( x,y)處的值由新模型描述為 z= ( x,y)的函數，並且 z, x,和 y在笛卡爾坐標系上形成一個平面。對於VVC的平面模式，luma(x,y)由(x, y)的函數建模，如 z = a*x + b*y，其中“a”和“b”取決於當前的 CU 內容。
然而，對於一些大的CU，很難找到純“平面”特徵的內容。因此，我們提出了“新平面模式”的曲面(curved-surface)形式。 如上所述，曲面形式也可以用 z= ( x,y)的函數來描述。然而，曲面不是線性函數，而是具有非線性形式，例如高階方程。例如，第14A圖顯示了 z = x 2/a 2+ y 2/b 2 所描述的拋物面。 第14B圖顯示瞭如 z = x 2/a 2- y 2/b 2 所描述的雙曲拋物面。曲面可以在編碼器和解碼器中定義。雖然例示了曲面的兩個示例，但本發明不限於這些具體示例。例如，函數不一定限於二次曲面。也可以使用具有不同參數的其他類型的公式。此外，所示的兩個示例的表面中心位於坐標原點。可以向中心添加一些偏移量。曲面也可以縮放，CU只能被曲面的一部分覆蓋。
在一個實施例中，編碼器可以導出最佳參數（例如，對於第14A圖和第14B圖中的示例的a和b，或其他模型參數）並發送給解碼器。
在另一個實施例中，可以使用L形模板來推導解碼器側的參數。例如，在沒有來自編碼器的參數的情況下，解碼器可以調整“a”和“b”以生成L形區域（即當前CU周圍的L形相鄰位置）的預測樣本。解碼器然後將預測樣本與L形區域的實際重建樣本進行比較。測量可以是SAD（絕對差和）或其他失真匹配計算。解碼器選擇實現最小失真的一組參數（例如，第14A圖和第14B圖的示例中的“a”和“b”）作為解碼器導出的參數集。
方法 C ：擴展角 ( Spread-Angle ) 方法和特徵
在VVC的傳統角度幀內預測模式中，預測角度是當前CU內的恆定角度。然而，一些內容可能具有擴展角度特性，其中角度在一定範圍內擴展。
第15圖圖示了塊1500內的擴展角的示例，其中圖片對應於具有接近道路可見端的消失點的透視圖的場景。如明顯的車道線（1510、1520 和 1530）和可見的紋理線（1540）所證明的，預測角度似乎在當前CU內從左到右連續變化。因此，一種“擴展角度”幀內模式將對此類內容做更好的預測工作，並可能有助於提高此類內容的壓縮效率。
第16圖圖示“擴展角”幀內模式的示例。預測-角度將在當前CU1600內不斷變化。在這個例子中，角度1是起始角度（左邊），角度2是結束角度（右邊），並且有一個包含a[0]，a[1]，…a[N]的展開角度場，其中a[i]表示角度場內的第i個角度，i=0,…,N。a[0]箭頭上或周圍的預測樣本將使用相應的L鄰域重建樣本。例如，pA、pB、pC的預測子將參考相鄰像素“L”上的樣本或“L”周圍相鄰像素上的一些樣本。
在一個實施例中，編碼器可以導出最佳參數（即，擴展角參數）並發送給解碼器。
在另一個實施例中，解碼器可以使用L形模板以類似於編碼器的方式導出參數，從而不需要用信號發送參數。例如，解碼器可以使用以下過程來導出參數而不需要從編碼器發送參數： •調整擴展角參數以生成L形模板的預測樣本，如第17A-B圖所示。 •將預測樣本與重建樣本在L區域進行比較。例如，執行SAD（或其他失真匹配）計算。 •不斷調整擴展角參數以找到最小成本（例如最小SAD）。確定對應於最小成本的參數作為解碼器導出參數。 •解碼器可以使用確定的參數來導出當前CU的擴展角預測值。
第17A圖和第17B圖圖示了解碼器過程的示例以導出擴展角模型參數。在第17A圖中，顯示了當前塊1700的L形模板（1710和1720），以及角度1（底部的起始角度）、角度 2（頂部的結束角度）和擴展角度場 (a[0], a[1], ….a[N])用箭頭表示，其中角度1和角度2是兩種幀內預測模式，角度1的幀內預測模式小於幀內預測模式角度2的角度。在第17B圖中，顯示了當前塊1750的L形模板（1760和1770），角度1（左側的起始角度）、角度2（右上角的結束角度）和擴展角場(a[0], a[1], ….a[N])用箭頭表示，其中角度1和角度2為兩種幀內預測模式，角度1的幀內預測模式的角度大於角度2的幀內預測模式。
在一個實施例中，該模式是序列相關模式。因此，可以在序列標頭和/或SPS（序列參數集）標頭和/或圖片標頭和/或圖塊標頭等中包含指示該模式是否啟用的語法（例如開/關信號）。
方法 D ：基於 DIMD 的幀內預測模式
該方法類似於先前的方法（即，擴展角方法），但有一些修改。在之前的方法中，擴展角參數可以由編碼器發送，或者在解碼器端使用L-模板導出。在目前的方法中，它可以使用相鄰的重建幀内角度作為參考來推導擴展角參數。
例如，根據該方法，我們可以參考左相鄰CU的（重建的）幀内角度來推導角度1和右上相鄰CU的（重建的）幀内角度來推導角度2，如第17B圖所示。可以根據角度1和角度2導出擴展角參數。
方法 E ：角度場線性回歸模型
根據該方法，參考更多的線(Line)(L-鄰近區域中的更多線)來預測角度場線性模型。例如，參考L-相鄰區域上的多個角度場(使用TIMD或DIMD類似方法)獲得基於L-相鄰區域模板的角度場，並使用線性回歸方法推導模型參數。假設當前CU內的幀内角度存在一個線性模型（角度場線性變化）。
第18圖中示出了使用線性回歸模型推導角度場的示例。在第一步中，對於當前塊1800，使用DIMD、TIMD 或其他方法從參考區域生成多個幀内角度(如第18圖中的箭頭所示)。線性回歸模型是從具有初始角度（angle_start）1810的角度場（即，多個角度）導出的，根據： Angle_in_CU(x, y) = angle_start + x * A + y * B + offset.
上式中，angle_start為幀內預測模式，用於與當前塊左上角位置交叉的對角線方向的樣本，A為縮放參數，用於控制在水平方向上幀內預測模式增加或減少縮放比例，B為縮放參數，控制在垂直方向上幀內預測模式增加或減少比例，offset（偏移）可以為0，正值或負值。
在推導線性模型之後，我們可以推導幀内角度矢量場並將其用於幀內預測。
任何前述提出的方法都可以在編碼器和/或解碼器中實現。例如，所提出的任何方法都可以在解碼器的幀內（例如第1B圖中的幀内預測150）/幀間編碼模塊、運動補償模塊（例如第1B圖中的MC152）、合併候選推導模塊中實現。或者，所提出的任何方法都可以實現為耦合到編碼器的幀內（例如，第1A圖中的幀內預測110）/幀間編碼模塊和/或運動補償模塊（例如，第1B圖中的MC112），編碼器的合併候選推導模塊。
第19圖圖示了根據本發明實施例的利用彎曲幀內預測的示例性視頻解碼系統的流程圖。流程圖中所示的步驟可以實現為可在編碼器側的一個或多個處理器(例如，一個或多個CPU)上執行的程序代碼。流程圖中所示的步驟也可以基於硬件來實現，諸如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器。根據該方法，在步驟1910在解碼器側接收與要解碼的當前塊相關聯的編碼資料。在步驟1920為當前塊確定與彎曲幀內預測模式相關聯的彎曲幀內預測模型，其中，彎曲幀內預測模型與彎曲幀內預測模式相關聯。幀內預測模型是基於當前塊的模板或基於解碼器側幀內模式推導，其中解碼器側幀內模式是使用從當前塊的模板導出的角度場的統計或直方圖推導的，並且其中模板包括當前塊的相鄰區域中的至少3條線。步驟1930中使用包括彎曲幀內預測模式的一個或多個幀內預測模式候選對當前塊進行解碼。
第20圖圖示了根據本發明實施例的利用彎曲幀內預測的示例性視頻編碼系統的流程圖。根據該方法，在步驟2010中接收與當前塊相關聯的輸入資料，其中輸入資料包括要在編碼器側編碼的當前塊的像素資料。步驟2020，與彎曲幀內預測模式相關聯的彎曲幀內預測模型基於當前塊的模板或基於解碼器側幀內模式推導，其中基於解碼器側幀內模式是使用從當前塊的模板推導的角度場的統計或直方圖來推導。模板包括至少3條在當前塊的相鄰區域中的線。在步驟2030中使用包括彎曲幀內預測模式的一個或多個幀內預測模式候選對當前塊進行編碼。
所示流程圖旨在說明根據本發明的視頻編碼的示例。在不脫離本發明的精神的情況下，本領域的技術人員可以修改每個步驟、重新安排步驟、拆分步驟或組合步驟來實施本發明。在本公開中，已經使用特定語法和語義來說明示例以實現本發明的實施例。在不脫離本發明的精神的情況下，技術人員可以通過用等同的語法和語義替換語法和語義來實施本發明。
提供以上描述是為了使本領域普通技術人員能夠實踐在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於本領域技術人員而言將是顯而易見的，並且本文定義的一般原理可以應用於其他實施例。因此，本發明並不旨在限於所示出和描述的特定實施例，而是符合與本文公開的原理和新穎特徵一致的最寬範圍。在以上詳細描述中，舉例說明了各種具體細節以提供對本發明的透徹理解。然而，本領域的技術人員將理解可以實施本發明。
如上所述的本發明的實施例可以以各種硬件、軟件代碼或兩者的組合來實現。例如，本發明的一個實施例可以是集成到視頻壓縮芯片中的一個或多個電路電路或者集成到視頻壓縮軟件中的程序代碼以執行這裡描述的處理。 本發明的實施例還可以是要在數字信號處理器(DSP)上執行以執行這裡描述的處理的程序代碼。本發明還可以涉及由計算機處理器、數字信號處理器、微處理器或現場可編程門陣列(FPGA)執行的許多功能。這些處理器可以被配置為通過執行定義由本發明體現的特定方法的機器可讀軟件代碼或固件代碼來執行根據本發明的特定任務。軟件代碼或固件代碼可以以不同的編程語言和不同的格式或風格來開發。也可以為不同的目標平台編譯軟件代碼。然而，軟件代碼的不同代碼格式、風格和語言以及配置代碼以執行根據本發明的任務的其他方式都不會脫離本發明的精神和範圍。
本發明可以在不脫離其精神或基本特徵的情況下以其他特定形式體現。所描述的示例在所有方面都應被視為說明性而非限制性的。 因此，本發明的範圍由所附權利要求而不是由前述描述來指示。落入權利要求等同物的含義和範圍內的所有變化都應包含在其範圍內。
112:幀間預測 114:開關 110、150:幀內預測 116:加法器 118:變換(T) 120:量化(Q) 122:熵編碼器 130:環內濾波器 124:逆量化（IQ） 126:逆變換（IT） 128:重建(REC) 136:預測資料 134:參考圖片緩衝器 140:熵解碼器 152:MC 210、510:垂直二元分割（SPLIT_BT_VER） 220、520:水平二元分割（SPLIT_BT_HOR） 230、530:垂直三元分割（SPLIT_TT_VER） 240、540:水平三元分割（SPLIT_TT_HOR） 500:塊 610-680:不允許分區 910、912、920、922:樣本 1020:模板 1010:當前塊 1030:重構區域 1060、1062、1052、1050:像素 1110:直方圖條 1120、1122、1124、1140、1142、1144:預測子 1130:參考像素 1152:加法器 1150:加權因子 1160:混合預測變量 1220、1222:參考樣本 1210:當前塊 1212、1214:預測樣本 1312:進入角 1320:彎曲幀內預測 1322:轉動方向 1540:紋理線 1510、1520、1530:車道線 150:塊 1600:當前CU 1700、1750、1800:當前塊 1710、1720、1760、1770:L形模板 1810:初始角度 1910-1930、2010-2030:步驟
第1A圖示出了包含循環處理的示例性自適應幀間/幀內視頻編碼系統。 第1B圖示了第1A圖中的編碼器的相應解碼器。 第2圖示出了對應於垂直二元分割(SPLIT_BT_VER)、水平二元分割(SPLIT_BT_HOR)、垂直三元分割(SPLIT_TT_VER)和水平三元分割(SPLIT_TT_HOR)的多類型樹結構的示例。 第3圖示出了具有嵌套多類型樹編碼樹結構的四叉樹中的分區分割信息的信令機制的示例。 第4圖示出了CTU被劃分為具有四叉樹和嵌套多類型樹編碼塊結構的多個CU的示例，其中粗體塊邊緣表示四叉樹分區，其餘邊緣表示多類型樹分區。 第5圖示出了當亮度編碼塊的寬度或高度大於64時禁止TT分割的示例。 第6圖示出了當亮度編碼塊的寬度或高度大於64時禁止TT分割的一些示例。 第7圖示出了VVC視頻編碼標准採用的幀內預測模式。 第8A-B圖示出了寬度大於高度的塊（第8A圖）和高度大於寬度的塊（第8B圖）的廣角幀內預測的示例。 第9圖圖示了在廣角幀內預測的情況下使用兩個不相鄰參考樣本的兩個垂直相鄰預測樣本的示例。 第10A圖圖示了為當前塊選擇的模板的示例，其中模板包括當前塊上方的T行和當前塊左側的T列。 第10B圖示出了T=3的示例，並且為中間行中的像素和中間列中的像素計算了HoG（梯度直方圖）。 第10C圖圖示了角度幀內預測模式的振幅(Ampl)的示例。 第11圖圖示了混合過程的示例，其中根據具有直方圖條的兩個最高條的索引選擇兩個幀內模式（M l和M 2)和平面模式。 第12圖圖示了基於模板的幀內模式推導（TIMD)模式的示例，其中TIMD在編碼器和解碼器處使用相鄰模板隱式推導CU的幀內預測模式。 第13圖圖示了用於彎曲幀內預測的模型參數的示例，其中當前塊的彎曲幀內預測由虛線指示。 第14A圖例示了與拋物面的表面對應的曲面模型的示例。 第14B圖示出了與雙曲拋物面的表面對應的曲面模型的示例。 第15圖示出了塊內的展開角的示例，其中圖片對應於具有接近道路可見端的消失點的透視圖場景。 第16圖圖示了“擴展角度”幀內模式的示例，其中預測角度在當前CU內從角度1到角度2連續變化。 第17A-B圖示了通過調整擴展角參數來評估與擴展角相關聯的成本的示例，以使用L形模板為高CU（第17A圖）和寬CU（第17B圖）生成預測樣本。 第18圖圖示了使用線性回歸模型的角度場推導的示例，其中使用DIMD、TIMD或當前塊的其他方法從參考區域生成內角。 第19圖圖示了根據本發明實施例的利用彎曲幀內預測的示例性視頻解碼系統的流程圖。 第20圖圖示了根據本發明實施例的利用彎曲幀內預測的示例性視頻編碼系統的流程圖。
1910-1930:步驟

Claims (19)

  1. 一種視頻解碼方法，該方法包括： 在解碼器側接收與當前待解碼塊相關聯的編碼資料； 確定與當前塊的彎曲幀內預測模式相關聯的彎曲幀內預測模型，其中所述彎曲幀內預測模型是基於所述當前塊的模板或基於所述解碼器側幀內模式推導，其中所述解碼器側幀內模式使用來自所述當前塊的模板推導的角度場的統計或直方圖導出，並且其中所述模板包括在所述當前塊的相鄰區域中的至少3條線；以及 使用包括所述彎曲幀內預測模式的一個或多個幀內預測模式候選對所述當前塊進行解碼。
  2. 如請求項1所述的方法，其中所述彎曲幀內預測模型的一或多個模型參數是基於所述當前塊的模板或基於解碼器側幀內模式決定，其中所述解碼器側幀內模式使用來自所述當前塊的模板推導的角度場的統計或直方圖導出。
  3. 如請求項2所述的方法，其中所述一個或多個模型參數包括一個或多個角度轉向參數。
  4. 如請求項3所述的方法，其中所述一個或多個模型參數還包括角速度參數。
  5. 如請求項3所述的方法，其中，所述一個或多個角度轉向參數包括角度參數和轉向方向參數。
  6. 如請求項5所述的方法，其中，所述轉向方向參數指示轉彎方向為右轉與左轉，或順時針轉與逆時針轉。
  7. 如請求項2所述的方法，其中所述一個或多個模型參數包括角速度參數。
  8. 如請求項1所述的方法，其中從位元流解析用於所述彎曲幀內預測模型的一個或多個模型參數。
  9. 如請求項1所述的方法，其中，所述解碼器側從位元流中解析出所述當前塊是否採用彎曲幀內預測編碼的語法。
  10. 如請求項1所述的方法，其中使用所述當前塊的模板評估一組彎曲幀內預測模式中的每一個的成本，並且在該組彎曲幀內預測模式中選擇實現最小成本的目標彎曲幀內預測模式來編碼或解碼所述當前塊，並且其中成本是在模板的重構樣本和為所述彎曲幀內預測模式集合中的每個導出的模板的預測樣本之間評估。
  11. 如請求項1所述的方法，其中從所述當前塊的模板導出的角度場的統計或直方圖用於確定所述彎曲幀內預測模型。
  12. 如請求項11所述的方法，其中，對從所述當前塊的模板導出的角度場的統計或直方圖應用梯度濾波器以確定彎曲幀內預測模型。
  13. 一種視頻編碼方法，該方法包括： 接收與當前塊相關聯的輸入資料，其中所述輸入資料包括在編碼器側待編碼的當前塊的像素資料； 基於所述當前塊的模板或基於使用從所述當前塊的模板導出的角度場的統計或直方圖導出的解碼器側幀內模式，確定與所述當前塊的彎曲幀內預測模式相關聯的彎曲幀內預測模型，其中所述模板包括在所述當前塊的相鄰區域中至少3條線；以及 使用包括所述彎曲幀內預測模式的一個或多個幀內預測模式候選對所述當前塊進行編碼。
  14. 如請求項13所述的方法，其中在編碼器側在位元流中發送語法以指示所述當前塊是否使用彎曲幀內預測模式編碼。
  15. 如請求項13所述的方法，其中，在包括與所述當前塊相關聯的編碼資料的位元流中用信號通知彎曲幀內預測模型的一個或多個模型參數。
  16. 如請求項13所述的方法，其中使用所述當前塊的模板評估一組彎曲幀內預測模式中的每一個的成本，並且在該組彎曲幀內預測模式中選擇實現最小成本的目標彎曲幀內預測模式來編碼或解碼當前塊，並且其中在所述模板的重構樣本和為所述彎曲幀內預測模式集合中的每個導出的模板的預測樣本之間評估成本。
  17. 如請求項13所述的方法，其中從所述當前塊的模板導出的角度場的統計或直方圖用於確定彎曲幀內預測模型。
  18. 一種用於視頻解碼的設備，該設備包括一個或多個電子設備或處理器，被佈置成： 在解碼器側接收與當前待解碼塊相關聯的編碼資料； 確定與當前塊的彎曲幀內預測模式相關聯的彎曲幀內預測模型，其中彎曲幀內預測模型是基於所述當前塊的模板或基於解碼器側幀內模式，其中所述解碼器側幀內模式是使用來自所述當前塊的模板的角度場的統計或直方圖推導得出的，並且其中所述模板包括在所述當前塊的相鄰區域中的至少3條線；以及 使用包括彎曲幀內預測模式的一個或多個幀內預測模式候選對所述當前塊進行解碼。
  19. 一種用於視頻編碼的裝置，該裝置包括一個或多個電子設備或處理器，被佈置成： 接收與當前塊相關聯的輸入資料，其中輸入資料包括在編碼器側待編碼的當前塊的像素資料； 基於當前塊的模板或基於使用從所述當前塊的模板導出的角度場的統計或直方圖導出的解碼器側幀內模式，確定與所述當前塊的彎曲幀內預測模式相關聯的彎曲幀內預測模型，其中所述模板包括所述當前塊的相鄰區域中的多條線，並且多條線數量大於3；以及 使用包括彎曲幀內預測模式的一個或多個幀內預測模式候選對所述當前塊進行編碼。
TW112113087A 2022-04-08 2023-04-07 在視頻編解碼系統中使用基於彎曲或基於擴展角的幀內預測模式的方法和裝置 TWI884435B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202263328770P 2022-04-08 2022-04-08
US63/328,770 2022-04-08
WOPCT/CN2023/074904 2023-02-08
PCT/CN2023/074904 WO2023193516A1 (en) 2022-04-08 2023-02-08 Method and apparatus using curve based or spread-angle based intra prediction mode in video coding system

Publications (2)

Publication Number Publication Date
TW202341730A TW202341730A (zh) 2023-10-16
TWI884435B true TWI884435B (zh) 2025-05-21

Family

ID=88243890

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112113087A TWI884435B (zh) 2022-04-08 2023-04-07 在視頻編解碼系統中使用基於彎曲或基於擴展角的幀內預測模式的方法和裝置

Country Status (4)

Country Link
US (1) US20250234034A1 (zh)
CN (1) CN119404501A (zh)
TW (1) TWI884435B (zh)
WO (1) WO2023193516A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025149343A1 (en) * 2024-01-09 2025-07-17 Interdigital Ce Patent Holdings, Sas Perspective intra prediction based on a template

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201817236A (zh) * 2016-09-15 2018-05-01 美商高通公司 用於視頻寫碼之線性模型色度內預測
US20190253624A1 (en) * 2017-07-17 2019-08-15 Ki Baek Kim Image data encoding/decoding method and apparatus
TW202005370A (zh) * 2018-06-05 2020-01-16 日商佳能股份有限公司 視訊編碼及解碼

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI500308B (zh) * 2008-03-09 2015-09-11 Lg Electronics Inc 視訊訊號之編碼或解碼方法及其裝置
US20160073107A1 (en) * 2013-04-15 2016-03-10 Intellectual Discovery Co., Ltd Method and apparatus for video encoding/decoding using intra prediction
US20170374369A1 (en) * 2016-06-24 2017-12-28 Mediatek Inc. Methods and Apparatuses of Decoder Side Intra Mode Derivation
KR102869508B1 (ko) * 2019-03-23 2025-10-14 엘지전자 주식회사 Mpm 리스트를 이용하는 인트라 예측에 기반한 영상 코딩 방법 및 그 장치
WO2023280282A1 (en) * 2021-07-09 2023-01-12 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
EP4402894A4 (en) * 2021-09-13 2025-07-30 Sharp Kk DEVICE AND METHOD FOR INTRA PREDICTIONS IN VIDEO CODING
CN115883834A (zh) * 2021-09-30 2023-03-31 维沃移动通信有限公司 帧内预测的方法及终端
US12524984B2 (en) * 2021-10-01 2026-01-13 Qualcomm Incorporated Histogram of gradient generation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201817236A (zh) * 2016-09-15 2018-05-01 美商高通公司 用於視頻寫碼之線性模型色度內預測
US20190253624A1 (en) * 2017-07-17 2019-08-15 Ki Baek Kim Image data encoding/decoding method and apparatus
TW202005370A (zh) * 2018-06-05 2020-01-16 日商佳能股份有限公司 視訊編碼及解碼

Also Published As

Publication number Publication date
WO2023193516A1 (en) 2023-10-12
TW202341730A (zh) 2023-10-16
WO2023193516A9 (en) 2025-01-02
US20250234034A1 (en) 2025-07-17
CN119404501A (zh) 2025-02-07

Similar Documents

Publication Publication Date Title
TWI678917B (zh) 用於視訊編解碼的畫面內-畫面間預測的方法及裝置
CN104320665B (zh) 图像处理设备和方法
TWI870822B (zh) 視頻編解碼系統中解碼器導出幀內預測的改進方法和裝置
TWI853402B (zh) 視訊編解碼方法及相關裝置
TW201803349A (zh) 使用獨立分區編碼的視頻編碼方法和裝置以及相關的視頻解碼方法和裝置
TW202349956A (zh) 在視訊編解碼系統中使用解碼器導出的幀內預測的方法和裝置
TWI884435B (zh) 在視頻編解碼系統中使用基於彎曲或基於擴展角的幀內預測模式的方法和裝置
TW202349944A (zh) 視頻編解碼系統中基於最可能模式列表構造的解碼器側模式推導的方法和裝置
TWI866163B (zh) 使用梯度和模板改進幀內模式推導和預測的方法和裝置
TWI821103B (zh) 在視訊編解碼系統中使用邊界匹配進行重疊塊運動補償的方法和裝置
CN113243107A (zh) 图像编码设备、图像编码方法、图像解码设备和图像解码方法
JP2008271068A (ja) 動画像符号化方法，動画像並列符号化用符号化器，動画像並列符号化方法，動画像並列符号化装置，それらのプログラム，およびそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
TWI870841B (zh) 視訊編解碼方法及相關裝置
CN113615202A (zh) 用于屏幕内容编解码的帧内预测的方法和装置
KR20130070195A (ko) 문맥 기반의 샘플 적응적 오프셋 필터 방향 추론 및 적응적 선택에 대한 비디오 방법 및 장치
TW202516932A (zh) 視訊編解碼方法和裝置
TW202541493A (zh) 編解碼彩色圖片的方法和裝置
TW202406337A (zh) 用於重構視訊的適應性環路濾波器處理方法和裝置
TW202406342A (zh) 使用交叉分量預測對彩色圖片進行視訊編解碼的方法和裝置
TW202406336A (zh) 用於重構視訊的適應性環路濾波器處理方法和裝置
KR20190065620A (ko) 양방향 필터를 사용하는 비디오 코딩 방법 및 장치
HK1238453B (zh) 运动图像编码装置以及运动图像解码装置
HK1238833B (zh) 运动图像编码装置以及运动图像解码装置
HK1224114B (zh) 图像编码装置和方法、以及图像译码装置和方法
HK1224113B (zh) 图像编码装置和方法、以及图像译码装置和方法