[go: up one dir, main page]

TW202431835A - 自適應迴路濾波器分類器 - Google Patents

自適應迴路濾波器分類器 Download PDF

Info

Publication number
TW202431835A
TW202431835A TW112147950A TW112147950A TW202431835A TW 202431835 A TW202431835 A TW 202431835A TW 112147950 A TW112147950 A TW 112147950A TW 112147950 A TW112147950 A TW 112147950A TW 202431835 A TW202431835 A TW 202431835A
Authority
TW
Taiwan
Prior art keywords
block
loop filter
adaptive loop
classifier
video
Prior art date
Application number
TW112147950A
Other languages
English (en)
Inventor
伊克拉姆 朱馬庫里耶夫
楠 胡
法迪姆 塞瑞金
馬塔 卡茲維克茲
張治
黃漢
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202431835A publication Critical patent/TW202431835A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公開了與使用自適應迴路濾波器分類器有關的示例方法及設備。示例方法包括決定與該視頻資料的塊相關聯的窗口內的一個或多個重構殘差樣本值的絕對值的總和。示例方法包括至少部分地基於該絕對值的總和來決定類索引。示例方法包括基於類索引決定自適應迴路濾波器。示例方法包括將自適應迴路濾波器應用於塊的當前待濾波樣本。示例方法包括基於自適應迴路濾波器的應用來對塊進行解碼。

Description

自適應迴路濾波器分類器
本申請主張於2023年1月3日遞交的美國臨時申請No. 63/478,349的權益，據此將上述申請的全部內容通過引用的方式併入本文中。
本公開內容係關於視頻編碼及視頻解碼。
數位視頻能力可以被合併到各種各樣的設備中，包括數位電視機、數位直播系統、無線廣播系統、個人數位助理（PDA）、膝上型計算機或桌上型計算機、平板計算機、電子書閱讀器、數位相機、數位記錄設備、數位媒體播放器、視頻遊戲設備、視頻遊戲控制台、蜂巢或衛星無線電電話（所謂的“智慧電話”）、視頻電話會議設備、視頻串流設備、等等。數位視頻設備實現視頻寫碼技術，例如MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4，第10部分，高級視頻寫碼（AVC）、ITU-T H.265/高效視頻寫碼（HEVC）、ITU-T H.266/通用視頻寫碼（VVC）定義的標準及此類標準的延伸以及諸如由開放媒體聯盟開發的AOMedia視頻1（AV1）之類的專有視頻編解碼器/格式中所描述的那些技術。通過實現這樣的視頻寫碼技術，視頻設備可以更有效地傳送、接收、編碼、解碼及/或儲存數位視頻資訊。
視頻寫碼技術包括空間（圖片內）預測及/或時間（圖片間）預測，以減少或消除視頻序列中固有的冗餘。對於基於塊的視頻寫碼，視頻切片（例如，視頻圖片或視頻圖片的一部分）可以被劃分為視頻塊，視頻塊亦可以被稱為寫碼樹單元（CTU）、寫碼單元（CU）及/或寫碼節點。圖片的經框內編碼（I）的切片中的視頻塊是使用相對於同一圖片中的相鄰（neighboring）塊中的參考樣本的空間預測來編碼的。圖片的框間編碼（P或B）切片中的視頻塊可以使用相對於同一圖片中相鄰塊中的參考樣本的空間預測，或相對於其它參考圖片中的參考樣本的時間預測。圖片可以被稱視框，並且參考圖片可以被稱為參考視框。
一般來說，本公開內容描述了用於使用分類器進行自適應迴路濾波（ALF）的技術。一些視頻寫碼器可以使用用於ALF的分類器，諸如，決定應用哪個ALF濾波器。此類分類器在本文中可被稱為ALF分類器。這些分類器可以限於基於拉普拉斯及基於頻帶的分類器，並且分類器的應用可以在應用中限於重構域中的樣本。根據本公開內容的技術，可以利用一個或多個其它ALF分類器。一個或多個ALF分類器可以包括基於拉普拉斯及基於頻帶的分類器及/或其它分類器。另外或替代地，此類分類器可以應用於重構域及/或其它域中的樣本值。例如，可以基於重構域及/或其它域中的樣本值來選擇ALF濾波器。本公開內容的分類器技術的使用可以導致選擇更適當ALF濾波器，從而提高寫碼效率及/或提高視頻品質。
在一個示例中，一種方法包括：決定與視頻資料的塊相關聯的窗口內的一個或多個重構殘差樣本值的絕對值的總和；至少部分地基於該絕對值的總和來決定類索引；基於該類索引決定自適應迴路濾波器；將該自適應迴路濾波器應用於該塊的當前待濾波樣本；以及基於該自適應迴路濾波器的該應用來對該塊進行解碼。
在另一示例中，一種設備包括：一個或多個記憶體，其經組態以儲存視頻資料；以及一個或多個處理器，其被實現在電路中，並且通信地耦合到該一個或多個記憶體，該一個或多個處理器經組態以：決定與該視頻資料的塊相關聯的窗口內的一個或多個重構殘差樣本值的絕對值的總和；至少部分地基於該絕對值的總和來決定類索引；基於該類索引決定自適應迴路濾波器；將該自適應迴路濾波器應用於該塊的當前待濾波樣本；以及基於該自適應迴路濾波器的該應用來對該塊進行解碼。
在另一示例中，一種方法包括：決定與視頻資料的塊相關聯的窗口內的一個或多個重構殘差樣本值的絕對值的總和；至少部分地基於該絕對值的總和來決定類索引；基於該類索引來決定自適應迴路濾波器；將該自適應迴路濾波器應用於該塊的當前待濾波樣本；以及基於該自適應迴路濾波器的該應用來對該塊進行編碼。
在另一示例中，一種設備包括：一個或多個記憶體，其經組態以儲存視頻資料；以及一個或多個處理器，其被實現在電路中，並且通信地耦合到該一個或多個記憶體，該一個或多個處理器經組態以：決定與該視頻資料的塊相關聯的窗口內的一個或多個重構殘差樣本值的絕對值的總和；至少部分地基於該絕對值的總和來決定類索引；基於該類索引決定自適應迴路濾波器；將該自適應迴路濾波器應用於該塊的當前待濾波樣本；以及基於該自適應迴路濾波器的該應用來對該塊進行編碼。
在隨附圖式及以下說明中闡述了一個或多個示例細節。根據說明書、圖式及申請專利範圍，其它特徵、目的及優點將是顯而易見的。
一些視頻寫碼器使用用於ALF的分類器，例如，用於選擇要應用的ALF濾波器。這些分類器可以限於基於拉普拉斯的分類器及基於帶寬的分類器。這些分類器亦可以限於應用於重構域中的樣本。根據本公開內容的技術，可以利用ALF分類器的一個或多個其它類型。另外或替代地，一個或多個ALF分類器可以應用於重構域及/或其它域中的樣本值。本公開內容的分類器技術的使用可以導致選擇更適當ALF濾波器，從而提高寫碼效率及/或提高視頻品質。
圖1是示出可以履行本公開內容的技術的示例視頻編碼及解碼系統100的方塊圖。本公開內容的技術通常針對寫碼（編碼及/或解碼）視頻資料。通常，視頻資料包括用於處理視頻的任何資料。因此，視頻資料可以包括原始的未經編碼的視頻、經編碼的視頻、經解碼（例如，經重構）的視頻、以及視頻元資料（諸如，信令資料）。
如圖1所示，在該示例中，系統100包括源設備102，該源設備102提供經編碼視頻資料，經編碼視頻資料將由目的地設備116解碼及顯示。具體而言，源設備102經由計算機可讀媒體110來將視頻資料提供給目的地設備116。源設備102及目的地設備116可以是或者可以包括各種各樣的設備中的任何一種，諸如，桌上型計算機、筆記型計算機（即，膝上型計算機）、行動設備、平板計算機、機頂盒、諸如智慧電話之類的電話手機、電視機、相機、顯示設備、數位媒體播放器、視頻遊戲控制台、視頻串流式傳輸設備、廣播接收器設備等等。在一些情況下，源設備102及目的地設備116可以被配備用於無線通信，因此可以被稱為無線通信設備。
在圖1的示例中，源設備102包括視頻源104、記憶體106、視頻編碼器200及輸出介面108。目的地設備116包括輸入介面122、視頻解碼器300、記憶體120及顯示設備118。根據本公開內容，源設備102的視頻編碼器200及目的地設備116的視頻解碼器300可經組態以應用用於基於殘差資料的自適應迴路濾波器分類器的技術。自適應迴路濾波器分類器是例如視頻解碼器300可以用於決定來自複數個自適應迴路濾波器中的哪個自適應迴路濾波器應用於視頻資料的經解碼樣本的分類器。因此，源設備102代表視頻編碼設備的示例，而目的地設備116代表視頻解碼設備的示例。在其它示例中，源設備及目的地設備可以包括其它組件或排列。例如，源設備102可以從諸如外部攝影機之類的外部視頻源接收視頻資料。同樣，目的地設備116可以與外部顯示設備以介面連接，而不是包括整合顯示設備。
如圖1中所示的系統100僅是一個示例。一般來說，任何數位視頻編碼及/或解碼設備可以基於殘差資料來履行用於自適應迴路濾波器分類器的技術。源設備102及目的地設備116僅僅是這樣的寫碼設備的示例，其中，源設備102生成經寫碼視頻資料以傳輸到目的地設備116。本公開內容將“寫碼（coding）”設備指稱為履行對資料的寫碼（例如，編碼及/或解碼）的設備。因此，視頻編碼器200及視頻解碼器300分別表示寫碼設備的示例（具體地，視頻編碼器及視頻解碼器）。在一些示例中，源設備102及目的地設備116可以以基本上對稱的方式操作，使得源設備102及目的地設備116中的每個設備包括視頻編碼及解碼組件。因此，系統100可以支援在源設備102和目的地設備116之間的單向或雙向視頻傳輸，例如，用於視頻串流式傳輸、視頻回放、視頻廣播、或視頻電話。
通常，視頻源104代表視頻資料（即原始的未編碼視頻資料）的源，並將視頻資料的圖片（亦稱為“視框”）的序列提供給視頻編碼器200，視頻編碼器200對圖片的資料進行編碼。源設備102的視頻源104可以包括視頻捕獲設備，諸如攝影機，包含先前捕獲的原始視頻的視頻檔案、及/或用於從視頻內容提供商接收視頻的視頻饋送介面。作為另外的替代方式，視頻源104可以生成基於計算機圖形的資料作為源視頻，或者生成即時視頻、存檔視頻及計算機生成的視頻的組合。在每種情況下，視頻編碼器200對捕獲的、預捕獲的或計算機生成的視頻資料進行編碼。視頻編碼器200可以將圖片從接收順序（有時稱為“顯示順序”）重新排列為用於寫碼的寫碼順序。視頻編碼器200可以生成包括經編碼視頻資料的位元串流。然後，源設備102可以經由輸出介面108將經編碼視頻資料輸出到計算機可讀媒體110上，以便由例如目的地設備116的輸入介面122進行接收及/或檢索。
源設備102的記憶體106及目的地設備116的記憶體120代表通用記憶體。在一些示例中，記憶體106、120可以儲存原始視頻資料，例如，來自視頻源104的原始視頻及來自視頻解碼器300的原始的經解碼視頻資料。另外或可替代地，記憶體106、120可以儲存可以由例如視頻編碼器200及視頻解碼器300分別執行的軟體指令。儘管在該示例中記憶體106及記憶體120與視頻編碼器200及視頻解碼器300分開顯示，但應理解，視頻編碼器200及視頻解碼器300亦可以包括內部記憶體，以實現功能上相似或等效的目的。此外，記憶體106、120可以儲存例如從視頻編碼器200輸出的以及輸入到視頻解碼器300的經編碼視頻資料。在一些示例中，記憶體106、120的部分可以被分配為一個或多個視頻緩衝器，例如，以儲存原始的視頻資料、經解碼的視頻資料、及/或經編碼的視頻資料。
計算機可讀媒體110可以代表能夠將經編碼視頻資料從源設備102傳輸到目的地設備116的任何類型的媒體或設備。在一個示例中，計算機可讀媒體110代表用於使源設備102能夠即時地（例如經由射頻網路或基於計算機的網路）將經編碼視頻資料直接傳送到目的地設備116的通信媒體。輸出介面108可以根據諸如無線通信協定之類的通信標準，來對包括經編碼的視頻資料的傳輸信號進行調變，並且輸入介面122可以根據諸如無線通信協定之類的通信標準來對所接收的傳輸信號進行解調。通信媒體可以包括任何無線或有線通信媒體，諸如，射頻（RF）頻譜或一條或多條實體傳輸線。通信媒體可以形成諸如以下的基於封包的網路的一部分：區域網路、廣域網路、或諸如網際網路之類的全球網路。通信媒體可以包括路由器、交換機、基地台或任何其它可用於促進從源設備102到目的地設備116的通信的設備。
在一些示例中，源設備102可以從輸出介面108向儲存設備112輸出經編碼資料。類似地，目的地設備116可以經由輸入介面122從儲存設備112存取經編碼資料。儲存設備116可以包括多種分布式或本地存取的資料儲存媒體中的任何一種，諸如硬盤驅動器、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或任何其它合適的用於儲存經編碼視頻資料的數位儲存媒體。
在一些示例中，源設備102可以將經編碼視頻資料輸出到檔案伺服器114或另一中間儲存設備，其可儲存由源設備102生成的經編碼視頻資料。目的地設備116可以借助串流式傳輸或下載來從檔案伺服器114存取所儲存的視頻資料。
檔案伺服器114可以是能夠儲存經編碼視頻資料並將該經編碼視頻資料傳送到目的地設備116的任何類型的伺服器設備。檔案伺服器114可以表示web伺服器（例如，用於網站）、經組態以提供檔案傳輸協定服務（諸如檔案傳輸協定（FTP）或基於單向傳輸的檔案遞送（FLUTE）協定）的伺服器、內容遞送網路（CDN）設備、超文字傳輸協定（HTTP）伺服器、多媒體廣播多播服務（MBMS）或增強型MBMS（eMBMS）伺服器、及/或網路附加儲存（NAS）設備。檔案伺服器114可以另外或替代地實現一種或多種HTTP串流式傳輸協定，諸如基於HTTP的動態自適應串流式傳輸（DASH）、HTTP即時串流式傳輸（HLS）、即時串流式傳輸協定（RTSP）、HTTP動態串流式傳輸、等等。
目的地設備116可以通過任何標準資料連接（包括網際網路連接）來從檔案伺服器114存取經編碼視頻資料。這可以包括適合存取儲存在檔案伺服器114上的經編碼視頻資料的無線信道（例如Wi-Fi連接）、有線連接（例如，數位訂戶線（DSL）、纜線數據機、等等）或兩者的組合。輸入介面122可以經組態以根據上文所論述的用於從檔案伺服器114檢索或接收媒體資料的各種協定或用於檢索媒體資料的其它此類協定中的任何一個或多個協定來操作。
輸出介面108及輸入介面122可以代表無線發射器/接收器、數據機、有線聯網組件（例如，乙太網路卡）、根據各種IEEE 802.11標準中的任何一個標準進行操作的無線通信組件、或者其它實體組件。在其中輸出介面108及輸入介面122包括無線組件的示例中，輸出介面108及輸入介面122可以經組態以根據蜂巢通信標準（諸如4G、4G-LTE（長期演進技術）、改進的LTE、5G等等）來傳輸資料（諸如經編碼的視頻資料）。在其中輸出介面108包括無線發射器的一些示例中，輸出介面108及輸入介面122可以經組態以根據其它無線標準（諸如IEEE 802.11規範、IEEE 802.15規範（例如，ZigBee™）、Bluetooth™標準等等）來傳輸資料（諸如經編碼的視頻資料）。在一些示例中，源設備102及/或目的地設備116可以包括各自的系統單晶片（SoC）設備。例如，源設備102可以包括SoC設備以履行屬於視頻編碼器200及/或輸出介面108的功能，並且目的地設備116可以包括SoC設備以履行屬於視頻解碼器300及/或輸入介面122的功能。
本公開內容的技術可以應用於支援各種多媒體應用中的任何一種的視頻寫碼，這些多媒體應用諸如：空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視頻傳輸（例如通過HTTP的動態自適應串流式傳輸（DASH））、被編碼到資料儲存媒體上的數位視頻、對儲存在資料儲存媒體上的數位視頻進行解碼、或其它應用。
目的地設備116的輸入介面122從計算機可讀媒體110（例如，通信媒體、儲存設備112、檔案伺服器114等等）接收經編碼的視頻位元串流。經編碼的視頻位元串流可以包括由視頻編碼器200定義的諸如以下語法元素之類的信令資訊（其亦被視頻解碼器300使用）：該語法元素具有描述視頻塊或其它寫碼單元（例如，切片、圖片、圖片組、序列等等）的特性及/或處理的值。顯示設備118向用戶顯示經解碼視頻資料的經解碼圖片。顯示設備118可以代表多種顯示設備中的任何一種，例如液晶顯示器（LCD）、電漿顯示器、有機發光二極體（OLED）顯示器或另一類型的顯示設備。
儘管未在圖1中示出，但在一些示例中，視頻編碼器200及視頻解碼器300可以各自與音頻編碼器及/或音頻解碼器整合，並且可以包括適當的MUX-DEMUX單元或其它硬體及/或軟體以處理包括通用資料串流中的音頻及視頻兩者的多工串流。
視頻編碼器200及視頻解碼器300可以各自被實現為各種合適的編碼器及/或解碼器電路中的任何一種，諸如一個或多個微處理器、數位信號處理器（DSP）、特定應用積體電路（ASIC）、現場可程式化閘陣列（FPGA）、離散邏輯電路、軟體、硬體、韌體或其任何組合。當該技術部分地以軟體實現時，設備可以將用於軟體的指令儲存在合適的非暫時性計算機可讀媒體中，並使用一個或多個處理器以硬體方式執行該指令以履行本公開內容的技術。可以將視頻編碼器200及視頻解碼器300中的每一個包括在一個或多個編碼器或解碼器中，其中的任何一個可以被整合為相應設備中的組合編碼器/解碼器（CODEC）的一部分。包括視頻編碼器200及/或視頻解碼器300的設備可以在諸如積體電路及/或微處理器之類的處理電路中實現視頻編碼器200及/或視頻解碼器300。這種設備可以是無線通信設備（諸如蜂巢電話），或本文中所描述的任何其它類型的設備。
視頻編碼器200及視頻解碼器300可以根據視頻寫碼標準（諸如ITU-T H.265，亦稱為高效視頻寫碼（HEVC）或其延伸，諸如多視圖及/或可縮放視頻寫碼延伸））進行操作。可替換地，視頻編碼器200及視頻解碼器300可以根據其它專有或行業標準（諸如ITU-T H.266，亦被稱為通用視頻寫碼（VVC））進行操作。在其它示例中，視頻編碼器200及視頻解碼器300可以根據專有視頻編解碼器/格式（諸如AOMedia Video 1（AV1）、AV1的延伸及/或AV1的後續版本（例如，AV2））進行操作。在其它示例中，視頻編碼器200及視頻解碼器300可以根據其它專有格式或行業標準進行操作。然而，本公開內容的技術不限於任何特定寫碼標準或格式。通常，視頻編碼器200及視頻解碼器300可以經組態以結合使用具有自適應迴路濾波的分類器的任何視頻寫碼技術來履行本公開內容的技術。
總體而言，視頻編碼器200及視頻解碼器300可以履行對圖片的基於塊的寫碼。術語“塊”通常是指包括要被處理的（例如，在編碼及/或解碼過程中被編碼、被解碼或以其它方式被使用的）資料的結構。例如，塊可以包括亮度及/或色度資料樣本的二維矩陣。總體而言，視頻編碼器200及視頻解碼器300可以對以YUV（例如，Y、Cb、Cr）格式表示的視頻資料進行寫碼。也就是說，並不是對用於圖片的樣本的紅色、綠色及藍色（RGB）資料進行寫碼，視頻編碼器200及視頻解碼器300可以對亮度分量及色度分量進行寫碼，其中，色度分量可以包括紅色色相及藍色色相色度分量兩者。在一些示例中，視頻編碼器200在編碼之前將接收到的RGB格式的資料轉換成YUV表示，並且視頻解碼器300將YUV表示轉換成RGB格式。可替代地，預處理單元及後處理單元（未示出）可以履行這些轉換。
總體而言，本公開內容可以涉及對圖片的寫碼（例如，編碼及解碼）以包括對圖片的資料進行編碼或解碼的過程。類似地，本公開內容可以涉及對圖片的塊的寫碼以包括對塊的資料進行編碼或解碼的過程，例如，預測及/或殘差寫碼。經編碼視頻位元串流通常包括用於語法元素的一系列值，這些值表示寫碼決策（例如，寫碼模式）以及圖片到塊的劃分。因此，關於對圖片或塊進行寫碼的提及，通常應當被理解為對用於形成圖片或塊的語法元素的值進行寫碼。
HEVC定義各種塊，包括寫碼單元（CU）、預測單元（PU）及變換單元（TU）。根據HEVC，視頻寫碼器（例如，視頻編碼器200）根據四叉樹結構將寫碼樹單元（CTU）劃分為CU。即，視頻寫碼器將CTU及CU劃分為四個相等的不重疊的正方形，並且四叉樹的每個節點具有零個或四個子節點。沒有子節點的節點可以被稱為“葉節點”，並且這樣的葉節點的CU可以包括一個或多個PU及/或一個或多個TU。視頻寫碼器可進一步分割PU及TU。例如，在HEVC中，殘差四叉樹（RQT）表示TU的分割。在HEVC中，PU表示框間預測資料，而TU表示殘差資料。被框內預測的CU包括框內預測資訊，諸如框內模式指示。
作為另一個示例，視頻編碼器200及視頻解碼器300可以經組態以根據VVC進行操作。根據VVC，視頻寫碼器（諸如，視頻編碼器200）將圖片劃分為複數個CTU。視頻編碼器200可以根據諸如四叉樹-二叉樹（QTBT）結構或多類型樹（MTT）結構的樹結構來劃分CTU。QTBT結構消除了多個劃分類型的概念，諸如HEVC的CU、PU和TU之間的分隔。QTBT結構包括兩個級別：根據四叉樹劃分而劃分的第一級，以及根據二叉樹劃分而劃分的第二級。QTBT結構的根節點對應於CTU。二叉樹的葉節點對應於寫碼單元（CU）。
在MTT劃分結構中，可以使用四叉樹（QT）劃分、二叉樹（BT）劃分及一種或多種類型的三叉樹（TT）（亦稱為三元樹（TT））劃分來劃分塊。三叉樹或三元樹劃分是將塊分成三個子塊的劃分。在一些示例中，三叉樹或三元樹劃分將塊劃分成三個子塊，而不經由中心來劃分原始塊。MTT中的劃分類型（例如，QT、BT及TT）可以是對稱的或不對稱的。
當根據AV1編解碼器操作時，視頻編碼器200及視頻解碼器300可以經組態以對塊中的視頻資料進行寫碼。在AV1中，能夠處理的最大寫碼塊被稱為超級塊。在AV1中，超級塊可以是128×128亮度樣本或64×64亮度樣本。然而，在後繼視頻寫碼格式（例如，AV2）中，超級塊可由不同（例如，更大）亮度樣本大小定義。在一些示例中，超級塊是塊四叉樹的頂級。視頻編碼器200可以進一步將超級塊分割成更小的寫碼塊。視頻編碼器200可以使用正方形或非正方形劃分將超級塊及其它寫碼塊劃分成較小塊。非正方形塊可以包括N/2×N、N×N/2、N/4×N及N×N/4塊。視頻編碼器200及視頻解碼器300可以對每個寫碼塊履行單獨的預測及變換處理。
AV1亦定義視頻資料的圖塊（tile）。圖塊是超級塊的矩形陣列，這些超級塊可以獨立於其它圖塊進行寫碼。即，視頻編碼器200及視頻解碼器300可以在不使用來自其它圖塊的視頻資料的情況下分別對一個圖塊內的寫碼塊進行編碼及解碼。然而，視頻編碼器200及視頻解碼器300可以跨圖塊邊界履行濾波。圖塊的大小可以是均勻的或不均勻的。基於圖塊的寫碼可以實現用於編碼器及解碼器實現方式的並行處理及/或多線程。
在一些示例中，視頻編碼器200及視頻解碼器300可以使用單個QTBT或MTT結構來表示亮度分量及色度分量中的每個分量，而在其它示例中，視頻編碼器200及視頻解碼器300可以使用兩個或更多個QTBT或MTT結構，諸如，用於亮度分量的一個QTBT/MTT結構及用於兩個色度分量的另一個QTBT/MTT結構（或用於相應色度分量的兩個QTBT/MTT結構）。
視頻編碼器200及視頻解碼器300可以經組態以使用四叉樹劃分、QTBT劃分、MTT劃分、超級塊劃分或其它劃分結構。
在一些示例中，CTU包括：具有三個樣本陣列的圖片的亮度樣本的寫碼樹塊（CTB）、色度樣本的兩個對應的CTB；或者單色圖片或使用三個單獨的顏色平面進行寫碼的圖片的樣本的CTB；以及用於對樣本進行寫碼的語法結構。CTB可以是針對某個N值的樣本的N×N塊，使得將分量分成CTB是“劃分”。分量是來自以4:2:0、4:2:2或4:4:4的顏色格式組成圖片的三個陣列（一個亮度及兩個色度）之一的陣列或單個樣本，或者是以單色格式組成圖片的陣列或陣列的單個樣本。在一些示例中，寫碼塊是針對某些M及N值的M×N樣本塊，使得將CTB分成寫碼塊是“劃分”。
塊（例如，CTU或CU）可以在圖片中各種方式分組。作為一個示例，磚塊（brick）可以指稱圖片中的特定圖塊內的CTU行的矩形區域。圖塊可以是圖片中的特定圖塊列及特定圖塊行內的CTU的矩形區域。圖塊列指稱CTU的矩形區域，其具有等於圖片的高度的高度以及由語法元素（例如，諸如在圖片參數集中的語法元素）指定的寬度。圖塊行指稱CTU的矩形區域，其具有由語法元素指定的高度（例如，諸如在圖片參數集中的語法元素）以及等於圖片的寬度的寬度。
在一些示例中，可以將圖塊劃分為多個區塊，每個區塊可以包括該圖塊內的一個或多個CTU行。未被分割成多個磚塊的分塊亦可以被稱為磚塊。然而，作為圖塊的真子集的磚塊可以不被稱為圖塊。圖片中的磚塊亦可以排列在切片中。切片可以是圖片的可以唯一地被包含在單個網路抽象層（NAL）單元中的整數個磚塊。在一些示例中，切片包括多個完整的圖塊，或者僅包括一個圖塊的完整磚塊的連續序列。
本公開內容可互換地使用“N×N”及“N乘N”來指稱按照垂直及水平尺寸的塊（例如CU或其它視頻塊）的樣本尺寸，例如16×16樣本或16乘16樣本。通常，16×16 CU在垂直方向上具有16個樣本（y=16），在水平方向上具有16個樣本（x=16）。同樣，N×N CU通常在垂直方向上具有N個樣本，在水平方向上具有N個樣本，其中N表示非負整數值。CU中的樣本可以按行及列排列。此外，CU不需要一定在水平方向上具有與在垂直方向上相同數量的樣本。例如，CU可以包括NxM個樣本，其中M不一定等於N。
視頻編碼器200對CU的表示預測資訊及/或殘差資訊以及其它資訊的視頻資料進行編碼。預測資訊指示要如何預測CU以便形成CU的預測塊。殘差資訊通常表示編碼之前的CU的樣本和預測塊之間的逐樣本差異。
為了預測CU，視頻編碼器200通常可通過框間預測或框內預測來形成用於CU的預測塊。框間預測通常是指根據先前寫碼的圖片的資料來預測CU，而框內預測通常是指根據同一圖片的先前寫碼的資料來預測CU。為了履行框間預測，視頻編碼器200可以使用一個或多個運動向量來生成預測塊。視頻編碼器200通常可以例如按照在CU和參考塊之間的差來履行運動搜索，以識別與CU緊密匹配的參考塊。視頻編碼器200可使用絕對差的總和（SAD），平方差的總和（SSD），平均絕對差（MAD），均方差（MSD）或其它此類差值計算來計算差值度量，以決定參考塊是否與當前CU緊密匹配。在一些示例中，視頻編碼器200可使用單向預測或雙向預測來預測當前CU。
VVC的一些示例亦提供了仿射運動補償模式，其可被視為框間預測模式。在仿射運動補償模式下，視頻編碼器200可以決定表示非平移運動（諸如放大或縮小、旋轉、透視運動或其它不規則的運動類型）的兩個或更多個運動向量。
為了履行框內預測，​​視頻編碼器200可選擇框內預測模式以生成預測塊。VVC的一些示例提供了67種框內預測模式，包括各種方向模式，以及平面模式及DC模式。通常，視頻編碼器200選擇框內預測模式，該框內預測模式描述據以預測當前塊（例如，CU的塊）的樣本的當前塊的相鄰樣本。假設視頻編碼器200以光柵掃描順序（從左到右，從上到下）對CTU及CU進行寫碼，則此類樣本通常可以在與當前塊相同的圖片中當前塊的上方、左上方或左側。
視頻編碼器200對表示當前塊的預測模式的資料進行編碼。例如，對於框間預測模式，視頻編碼器200可以對表示使用各種可用框間預測模式中的哪一個的資料以及對應模式的運動資訊進行編碼。對於單向或雙向框間預測，例如，視頻編碼器200可以使用高級運動向量預測（AMVP）或合併模式來對運動向量進行編碼。視頻編碼器200可以使用類似的模式來對用於仿射運動補償模式的運動向量進行編碼。
AV1包括用於對視頻資料的寫碼塊進行編碼及解碼的兩種通用技術。這兩種通用技術是框內預測（intra prediction）（例如，視框內預測（intra frame prediction）或空間預測）及框間預測（inter prediction）（例如，視框間（inter frame prediction）預測或時間預測）。在AV1的上下文中，當使用框內預測寫碼模式來預測視頻資料的當前視框的塊時，視頻編碼器200及視頻解碼器300不使用來自視頻資料的其它視框的視頻資料。對於大多數框內預測模式，視頻編碼器200基於在當前塊中的樣本值和從同一視框中的參考樣本生成的預測值之間的差來編碼當前視框的塊。視頻編碼器200基於框內預測寫碼模式來決定從參考樣本生成的預測值。
在諸如塊的框內預測或框間預測之類的預測之後，視頻編碼器200可計算該塊的殘差資料。殘差資料（例如殘差塊）表示該塊和使用相應預測模式形成的該塊的預測塊之間的逐樣本差。視頻編碼器200可以將一個或多個變換應用於殘差塊，以在變換域而非樣本域中產生經變換的資料。例如，視頻編碼器200可以將離散餘弦變換（DCT）、整數變換、小波變換或概念上類似的變換應用於殘差視頻資料。另外，視頻編碼器200可以在第一變換之後應用二次變換，諸如模式相關的不可分割二次變換（MDNSST）、信號相關變換、Karhunen-Loeve變換（KLT）等。視頻編碼器200在應用一個或多個變換之後產生變換係數。
如上所述，在用以產生變換係數的任何變換之後，視頻編碼器200可履行變換係數的量化。量化通常是指對變換係數進行量化以可能地減少用於表示變換係數的資料量，從而提供進一步壓縮的過程。通過履行量化過程，視頻編碼器200可減小與一些或所有變換係數相關聯的位元深度。例如，視頻編碼器200可以在量化期間將n位元的值向下捨入為m位元的值，其中n大於m。在一些示例中，為了履行量化，視頻編碼器200可以履行對要被量化的值的按位右移。
在量化之後，視頻編碼器200可以掃描變換係數，從而從包括經量化的變換係數的二維矩陣產生一維向量。可以將掃描設計為將較高能量（並且因此較低頻率）的變換係數放在向量的前面，並且將較低能量（並且因此較高頻率）的變換係數放在向量的後面。在一些示例中，視頻編碼器200可以利用預定義的掃描次序來掃描經量化的變換係數以產生經串行化的向量，並且然後對向量的經量化的變換係數進行熵編碼。在其它示例中，視頻編碼器200可以履行自適應掃描。在掃描經量化的變換係數以形成一維向量之後，視頻編碼器200可以例如根據上下文自適應二進制算術寫碼（CABAC）來對一維向量進行熵編碼。視頻編碼器200亦可對語法元素的值進行熵編碼，語法元素描述與經編碼視頻資料相關聯的元資料，以供視頻解碼器300在對視頻資料進行解碼時使用。
為了履行CABAC，視頻編碼器200可以將上下文模型內的上下文分配給要傳送的符元。上下文可以涉及例如符元的相鄰值是否為零值。機率決定可以基於分配給符元的上下文。
視頻編碼器200進一步可以例如在圖片標頭、塊標頭、切片標頭中，向視頻解碼器300生成語法資料，諸如基於塊的語法資料、基於圖片的語法資料及基於序列的語法資料，或其它語法資料，諸如序列參數集（SPS）、圖片參數集（PPS）或視頻參數集（VPS）。視頻解碼器300可類似地解碼此類語法資料以決定如何對相應的視頻資料進行解碼。
以此方式，視頻編碼器200可以生成包括經編碼視頻資料的位元串流，該經編碼視頻資料例如為：描述將圖片劃分為塊（例如，CU）的語法元素以及塊的預測資訊及/或殘差資訊。最終，視頻解碼器300可以接收位元串流並對經編碼視頻資料進行解碼。
通常，視頻解碼器300履行視頻編碼器200所履行的過程的互逆過程以對位元串流的經編碼視頻資料進行解碼。例如，視頻解碼器300可使用CABAC以與視頻編碼器200的CABAC編碼過程雖然互逆但基本相似的方式來對位元串流的語法元素的值進行解碼。語法元素可以定義用於如下的劃分資訊：將圖片劃分為CTU，以及根據相應的劃分結構（例如QTBT結構）劃分每個CTU以定義CTU的CU。語法元素可進一步定義視頻資料的塊（例如，CU）的預測資訊及殘差資訊。
殘差資訊可以由例如經量化變換係數表示。視頻解碼器300可以對塊的經量化變換係數進行逆量化及逆變換以再現用於塊的殘差塊（其是經重構的殘差塊）。視頻解碼器300使用用信令通知的預測模式（框內預測或框間預測）及相關的預測資訊（例如，用於框間預測的運動資訊）來形成用於該塊的預測塊。視頻解碼器300然後可以組合預測塊及殘差塊（在逐樣本的基礎上）以再現原始塊。視頻解碼器300可履行附加處理，諸如履行解塊處理以減少沿塊的邊界的視覺偽像。
本公開內容通常可能涉及“用信令通知”某些資訊（諸如語法元素）。術語“用信令通知”通常可以指稱對用於語法元素的值及/或用於對經編碼的視頻資料進行解碼的其它資料的傳送。也就是說，視頻編碼器200可以在位元串流中用信令通知用於語法元素的值。通常，用信號通知指在位元串流中生成值。如上所述，源設備102可以基本上即時地或非即時地（諸如在將語法元素儲存到儲存設備112以供稍後由目的地設備116檢索時可能發生）將位元串流傳輸到目的地設備116。
根據本公開內容中的技術，一種方法包括：決定與視頻資料的塊相關聯的窗口內的一個或多個重構殘差樣本值的絕對值的總和；至少部分地基於該絕對值的總和來決定類索引；基於該類索引來決定自適應迴路濾波器；將該自適應迴路濾波器應用於該塊的當前待濾波樣本；以及基於該自適應迴路濾波器的該應用來對該塊進行解碼。
根據本公開內容中的技術，一種設備包括：一個或多個記憶體，其經組態以儲存視頻資料；以及一個或多個處理器，其被實現在電路中，並且通信地耦合到該一個或多個記憶體，該一個或多個處理器經組態以：決定與該視頻資料的塊相關聯的窗口內的一個或多個重構殘差樣本值的絕對值的總和；至少部分地基於該絕對值的總和來決定類索引；基於該類索引決定自適應迴路濾波器；將該自適應迴路濾波器應用於該塊的當前待濾波樣本；以及基於該自適應迴路濾波器的該應用來對該塊進行解碼。
根據本公開內容中的技術，一種方法包括：決定與視頻資料的塊相關聯的窗口內的一個或多個重構殘差樣本值的絕對值的總和；至少部分地基於該絕對值的總和來決定類索引；基於該類索引來決定自適應迴路濾波器；將該自適應迴路濾波器應用於該塊的當前待濾波樣本；以及基於該自適應迴路濾波器的該應用來對該塊進行編碼。
根據本公開內容中的技術，一種設備包括：一個或多個記憶體，其經組態以儲存視頻資料；以及一個或多個處理器，其被實現在電路中，並且通信地耦合到該一個或多個記憶體，該一個或多個處理器經組態以：決定與該視頻資料的塊相關聯的窗口內的一個或多個重構殘差樣本值的絕對值的總和；至少部分地基於該絕對值的總和來決定類索引；基於該類索引決定自適應迴路濾波器；將該自適應迴路濾波器應用於該塊的當前待濾波樣本；以及基於該自適應迴路濾波器的該應用來對該塊進行編碼。
在視頻寫碼（諸如H.266/VVC）中，可以應用ALF濾波器以最小化經濾波的樣本和原始樣本之間的均方誤差。ALF濾波器的輸入樣本可以是樣本自適應偏移（SAO）濾波的輸出樣本。ALF濾波器的輸出樣本可儲存於經解碼圖片緩衝器（DPB）中或作為輸出圖片發出。聯合探索模型（JEM）軟體中採用的ALF濾波器的濾波器形狀為5x5、7x7及9x9菱形。在JEM中，可以（例如，通過視頻編碼器200）選擇濾波器形狀並且以圖片級別用信號通知該濾波器形狀。
圖2是示出VVC版本1中的示例ALF濾波器形狀的概念圖。為了在寫碼效率和濾波器複雜度之間獲得更好的折衷，在VVC中，對於亮度及色度分量，可以分別僅支援7x7菱形形狀250及5x5菱形形狀260，如圖2所示。
在每個ALF濾波器中，整數係數 可以利用7位元分數精度表示。可以通過使用第0階指數哥倫布碼來寫碼 的絕對值，接著是用於非零係數的正負號位元。在圖2中，每個正方形對應於亮度或色度樣本，並且7x7菱形形狀250（c12）的中心正方形及5x5菱形形狀260（c6）的中心正方形對應於當前待濾波樣本。為了減少發送係數的負擔及乘法的數量，圖2中的ALF濾波器形狀是點對稱的。另外，如以下等式（1）中所示，所有濾波器係數的總和等於128，其為具有7位元分數精度的1.0的定點表示。
（1）
在等式（1）中， 是係數的數量，並且 分別對於7x7及5x5濾波器形狀等於13及7。
在VVC中，非線性被引入ALF。當相鄰樣本值和當前待濾波樣本值之間的差值過大時，可以應用簡單的裁剪函數來減小相鄰樣本值的影響。為了對樣本進行濾波，ALF濾波過程可被履行為
（2）
其中， 是SAO之後的樣本值。
可以利用裁剪函數將非線性函數定義為
（3）
其中 等於0或1， 是裁剪參數，並且 是第 係數 的濾波器抽頭位置偏移。
在VVC版本1中，如下面的等式（4）中，係數 的裁剪參數 由裁剪索引 決定。在等式（4）中， 是內部位元深度。
（4）
在ALF濾波器中，用信號通知的係數的數量及用信號通知的裁剪索引的數量兩者可以是 。每個係數可以被限制在[-128,127]的範圍內，其等同於具有7位元分數精度的[-1.0,1.0]。每個裁剪索引 可以是0、1、2或3，並且可以通過使用2位元固定長度碼來用信號通知。為了簡化裁剪操作，如在等式（4）中，在一些示例中，裁剪參數 的值可以僅是2的冪。因此，可以應用簡單的逐位元邏輯操作作為裁剪操作。
現在討論子塊級別濾波器自適應。在VVC版本1中，ALF遵循與JEM-7.0中的ALF相同的亮度分類框架。為了獲得寫碼效率和計算複雜度之間的更好折衷，將用於分類的塊大小從2x2樣本增加到4x4樣本。
圖3是示出用於ALF分類的4x4子塊的示例經二次採樣的拉普拉斯值的概念圖。為了獲得4x4塊350的類索引（用虛線標記示出），可以採用具有8x8個亮度樣本的周圍窗口360（用虛線示出）來導出方向及活動資訊。周圍窗口可以是塊周圍的視框內的區域。在該8x8亮度樣本窗口360中，可以首先計算每個第二樣本的四個梯度值，如圖3所示。例如，在圖3中，可以計算用*標記的樣本的梯度值。可以將其它樣本（例如，未標記有*的樣本）的梯度值設定為0。
圖4是示出亮度樣本的示例拉普拉斯梯度值H、V、D1、D2的概念圖。對於具有坐標 的每個樣本，圖4示出了四個梯度值：水平梯度 400、垂直梯度V 410、135度梯度D1 420及45度梯度D2 430。這些梯度值可以如下導出：
（5）
在以下等式中， 及 參考4x4塊中的左上樣本的坐標。計算的水平梯度 、垂直梯度 、135度梯度 及45度梯度 的總和可以如下計算：
（6）
由 表示的水平梯度及垂直梯度的最大值及最小值的比率以及由 表示的兩個對角線梯度的最大值及最小值的比率可以在等式（7）中計算。
（7）
可以將 及 與兩個閾值 及 彼此比較以導出方向性 。例如，視頻編碼器200或視頻解碼器300可以如下導出方向性 ：
步驟1：如果 並且 ，則D被設置為0（紋理），否則繼續步驟2。
步驟2：如果 ，則繼續步驟3，否則繼續步驟4。
步驟3：如果 ，則D被設置為1（弱對角線），否則，D被設置為2（強對角線）。
步驟4：如果 ，則D被設置為3（弱水平/垂直），否則，D被設置為4（強水平/垂直）。
可以將可以指示樣本周圍的樣本鄰域中的樣本值的方差的活動值 A計算為：
（8）
可以進一步映射到0到4的範圍（包含0及4），且映射到0到4的範圍（包含0及4）的 的經量化值可以表示為 。因此，每個4x4塊被分類到25個類中的一個類中：
（9）
因此，亮度濾波器集合可以包含25個濾波器。然而，為了減少在維持寫碼效率的同時表示濾波器係數所需的位元的數量，可以合併不同類。合併的類可以使用相同的濾波器。可以用信號通知合併表。例如，視頻編碼器200可以用信號通知合併表。
圖5是示出將25個亮度類合併成7個合併類的示例的概念圖。在合併表500中，可以通過使用固定長度的代碼來用信號通知每個類的濾波器索引（例如，類索引），例如，如圖5所示。例如，合併表500示出了將25個亮度類合併成7個合併類的示例，其中，每個正方形表示基於D值及 的類（索引可以是從0到24，含0及24）。在此示例濾波器集合中，可用信號通知7個亮度濾波器。對於每個類，可以在ALF自適應參數集（ALF_APS）中用信號通知濾波器索引（在該示例中從0到6）。
圖6是示出7x7菱形濾波器形狀的幾何變換的示例的概念圖。諸如圖6中所示的幾何變換在本文中亦可以被稱為幾何轉置。一旦基於4x4塊及合併表的類索引 從亮度濾波器集合獲得濾波器，在對該塊的樣本進行濾波之前，可以根據如下面的表I中所示的針對4x4塊計算的梯度值將如圖6所示的簡單幾何變換應用於濾波器。例如，視頻編碼器200或視頻解碼器300可以將幾何變換應用於濾波器。幾何變換600表示對角翻轉幾何變換。幾何變換610表示垂直翻轉幾何變換。幾何變換620表示向右旋轉幾何變換。 表I-基於梯度值的幾何變換
梯度值 變換
且 無變換
且 對角翻轉
且 垂直翻轉
且 向右旋轉
現在討論寫碼樹塊級別自適應。在JEM-7.0中，僅將一個亮度ALF濾波器集合應用於切片的所有亮度CTB，且僅將一個色度ALF濾波器應用於切片的所有色度CTB。然而，這些應用存在兩個缺點。首先，當CTB之間的統計資訊可能極大地不同時，且針對顏色分量的所有CTB使用相同ALF濾波器/濾波器集合可限制ALF的寫碼效率，尤其針對大分辨率序列及混合內容視頻序列。第二，當導出用於切片的ALF濾波器時，直到收集了整個切片的統計資訊之前都無法計算ALF濾波器。因此，具有多通道編碼器的ALF的這種使用不利於低延遲應用。為了解決這個問題，一個解決方案可以是使用來自先前經寫碼切片的統計。然而，該解決方案可能導致一定量的性能損失。
除了亮度4x4塊級別濾波器自適應之外，VVC還支援CTB級別濾波器自適應。在切片中，允許不同亮度CTB使用不同亮度濾波器集合，且不同色度CTB能夠使用不同色度濾波器。換句話說，視頻寫碼器（例如視頻編碼器200或視頻解碼器300）可以針對切片的不同色度CTB使用不同亮度濾波器集合用於不同亮度CTB及/或不同色度濾波器（或濾波器集合）。此CTB級別濾波器自適應可以提高寫碼效率，尤其對於低延遲應用。另外，VVC版本1允許CTB使用來自先前經寫碼圖片的濾波器。此時間濾波器重用機制可以減少信令濾波器係數的負擔。在VVC版本1中，多達七個用信號通知的亮度濾波器集合及八個用信號通知的色度濾波器可以應用於切片。當不存在任何用信號通知的濾波器時，可以將16個固定濾波器集合中的一個固定濾波器應用於亮度CTB。當啟用ALF時，可以針對亮度CTB用信號通知固定濾波器集合或用信號通知的亮度濾波器集合的濾波器集合索引。可以針對色度CTB用信號通知經信號通知的色度濾波器的濾波器索引。通過使用從先前寫碼的圖片用信號通知的濾波器及/或固定濾波器，當在低延遲應用中對當前CTU進行編碼時，可以僅使用當前CTU的統計資訊來決定三個CTU級別開/關標誌及濾波器/濾波器集合索引。因此，可以即時生成每個CTU的經編碼位元串流，而不是等待整個圖片的統計的可用性。
現在討論行緩衝器減少。如圖2所示，在垂直方向上，針對亮度及色度分量，濾波器形狀分別具有7個抽頭及5個抽頭。結果，在VTM-2.0中，當對CTU行進行解碼時，由於解塊濾波器及SAO的延遲，上CTU行的7個亮度及4個色度線被儲存在用於ALF的行緩衝器中。然而，額外線緩衝器需要相對大的晶片面積，尤其對於高清（HD）及超高清（UHD）視頻序列。
為了使ALF硬體有益，可以應用虛擬邊界（VB）以移除或減少ALF的線緩衝器負擔。考慮VVC版本1中的解塊濾波器及SAO，VB的位置可以是水平CTU邊界上方的4個亮度樣本及2個色度樣本。當在VB的一側上的一個樣本被濾波時，可以不利用VB的另一側上的樣本。
圖7A-7C是示出ALF虛擬邊界處的亮度ALF濾波的示例對稱樣本填充的概念圖。可以如圖7A-7C所示應用具有對稱樣本填充的修改濾波，其中，中心正方形是當前待濾波樣本的位置，而水平線是VB的位置。例如，在圖7A中，VB 700與將樣本712放置在VB 700的與當前待濾波樣本714相反的一側上的濾波器710相交，並且與將樣本722放置在VB 700的與當前待濾波樣本724相反的一側上的濾波器720相交。此類樣本的值可以填充有緊鄰VB 700的樣本的值。例如，可以用樣本V的值來填充濾波器710中的樣本712的值。類似地，可以用樣本S的值來填充濾波器720中的樣本722的值。
在圖7B中，VB 730與將樣本742、744、746及748放置在VB 730的與當前待濾波樣本741相反的一側上的濾波器740相交，並且與將樣本752、754、756及758放置在VB 730的與當前待濾波樣本751相反的一側上的濾波器725相交。此類樣本的值可以填充有鄰近VB 730的樣本的值。例如，樣本742的值可以用樣本N的值填充，樣本744的值可以用樣本O的值填充，樣本746的值可以用樣本P的值填充，並且樣本748的值可以用樣本O的值填充。類似地，對於濾波器750，樣本752的值可以用樣本J的值填充，樣本754的值可以用樣本I的值填充，樣本756的值可以用樣本J的值填充，並且樣本758的值可以用樣本K的值填充。
然而，當當前待濾波樣本（例如，樣本772或782）在VB 760的每側上的最接近行上時，如圖7C相對於濾波器770及780所示，2D濾波器等效於水平濾波器。這可能引入視覺偽像。為了解決該問題，當當前待濾波樣本在VB的每一側上的最近行上時，可以補償濾波器強度，如等式（10）中所示。將等式（10）與等式（2）進行比較，更多的位元被右移。
（10）
圖8是示出ALF虛擬邊界處的示例ALF 4x4子塊分類的概念圖。當應用處理時，亦可以修改4x4塊的分類（例如，窗口810或820的散列區域）。當計算VB（例如，VB 812或VB 822）的一側上的4x4塊的類索引時，可以不使用VB的另一側上的梯度及樣本，如圖8所示。當計算與VB相鄰的樣本的梯度值時，可以不利用VB的另一側上的樣本。因此，如圖8所示，可以重複地延伸當前側的邊界樣本。由於可用梯度值的數量減少，因此等式（8）中的活動推導被重新縮放，因為BD是位元深度：
（11）
現在討論濾波器係數信號通知。在VVC版本1中，可以在ALF自適應參數集（APS）中用信號通知ALF係數。一個APS可以包含具有多達25個濾波器、多達8個色度濾波器及多達8個跨分量ALF（CC-ALF）濾波器的一個亮度濾波器集合。每個亮度濾波器集合支援將ALF應用於亮度25個類。在VVC版本1中，支援多達8個ALF_APS。下面闡述VVC版本1的摘錄。
alf_data( ) { Descriptor
   alf_luma_filter_signal_flag u(1)
   if( aps_chroma_present_flag ) {
      alf_chroma_filter_signal_flag u(1)
alf_cc_cb_filter_signal_flag u(1)
alf_cc_cr_filter_signal_flag u(1)
   }
   if( alf_luma_filter_signal_flag ) {
      alf_luma_clip_flag u(1)
   alf_luma_num_filters_signalled_minus1 ue(v)
      if( alf_luma_num_filters_signalled_minus1 ＞ 0 )
         for( filtIdx = 0; filtIdx ＜ NumAlfFilters; filtIdx++ )
            alf_luma_coeff_delta_idx[ filtIdx ] u(v)
      for( sfIdx = 0; sfIdx  ＜=  alf_luma_num_filters_signalled_minus1; sfIdx++ )
         for( j = 0; j ＜ 12; j++ ) {
            alf_luma_coeff_abs[ sfIdx ][ j ] ue(v)
            if( alf_luma_coeff_abs[ sfIdx ][ j ] )
               alf_luma_coeff_sign[ sfIdx ][ j ] u(1)
         }
      if( alf_luma_clip_flag )
         for( sfIdx = 0; sfIdx  ＜=  alf_luma_num_filters_signalled_minus1; sfIdx++ )
            for( j = 0; j ＜ 12; j++ )
               alf_luma_clip_idx[ sfIdx ][ j ] u(2)
   }
   if( alf_chroma_filter_signal_flag ) {
      alf_chroma_clip_flag u(1)
      alf_chroma_num_alt_filters_minus1 ue(v)
      for( altIdx = 0; altIdx  ＜=  alf_chroma_num_alt_filters_minus1; altIdx++ ) {
         for( j = 0; j ＜ 6; j++ ) {
            alf_chroma_coeff_abs[ altIdx ][ j ] ue(v)
            if( alf_chroma_coeff_abs[ altIdx ][ j ] ＞ 0 )
               alf_chroma_coeff_sign[ altIdx ][ j ] u(1)
         }
         if( alf_chroma_clip_flag )
            for( j = 0; j ＜ 6; j++ )
               alf_chroma_clip_idx[ altIdx ][ j ] u(2)
      }
   }
   if( alf_cc_cb_filter_signal_flag ) {
      alf_cc_cb_filters_signalled_minus1 ue(v)
      for( k = 0; k ＜ alf_cc_cb_filters_signalled_minus1 + 1; k++ ) {
         for( j = 0; j ＜ 7; j++ ) {
alf_cc_cb_mapped_coeff_abs[ k ][ j ] u(3)
            if( alf_cc_cb_mapped_coeff_abs[ k ][ j ] )
alf_cc_cb_coeff_sign[ k ][ j ] u(1)
         }
      }
   }
   if( alf_cc_cr_filter_signal_flag ) {
      alf_cc_cr_filters_signalled_minus1 ue(v)
      for( k = 0; k ＜ alf_cc_cr_filters_signalled_minus1 + 1; k++ ) {
         for( j = 0; j ＜ 7; j++ ) {
alf_cc_cr_mapped_coeff_abs[ k ][ j ] u(3)
           if( alf_cc_cr_mapped_coeff_abs[ k ][ j ] )
alf_cc_cr_coeff_sign[ k ][ j ] u(1)
         }
      }
   }
}
圖9是示出具有多個分類器的示例ALF框架的概念圖。現在討論具有多個分類器的自適應迴路濾波器。在VVC中，當對樣本進行濾波時，可以僅應用一個分類器及一個濾波器。為了改善在VVC中公開的ALF的性能，在2022年6月23日公開的美國專利公開2022-0201292中，公開了基於多個分類器的ALF框架，例如，如圖9所示。當對樣本進行濾波時，如圖9所示，可以應用多個分類器。將濾波器應用於對應於分類器的樣本。在圖9中，存在兩個階段。例如，視頻編碼器200或視頻解碼器300可以應用兩個濾波階段。第一（第一階段），預濾波階段900包括濾波器集合F(f, i) ，其中，i＝0···Nf-1，以及分類器C(f, i) ，其中，第i個固定濾波器集合的i =0…Nf-1。第二（第二階段），最終濾波階段902包括用信號通知的濾波器或預定義的濾波器集合F’及對應的分類器C’。
圖10是示出具有三個分類器的示例ALF框架的概念圖。在Chang等人的“Compression efficiency methods beyond VVC”，ITU-T SG 16WP 3及ISO/IEC JTC 1/SC 29/WG 11的聯合視頻專家組（JVET），第21次會議：由電話會議，2021年1月6-15日，JVET-U0100，其在ECM-1.0中採用，提出了Nf ＝2的ALF框架，如圖10所示。例如，第一階段1000包括兩個濾波器及兩個分類器，第二階段1002包括用信號通知的濾波器或預定義的濾波器集合F’，以及對應的分類器C’，總共三個分類器。
在ECM-1.0中，在分類器 C(f, i) （其中i = 0或1）中，可以基於2-D拉普拉斯值決定活動及方向值。
與VVC類似，可以通過使用垂直及水平梯度來導出活動值Ai及方向性值 。
可以進一步量化到0到 （包含）的範圍，且經量化值可以表示為 。值 可以在0到 （包含）的範圍內。
類索引 可以被導出為 。
基於 ，可以選擇來自 C(f, i) 的濾波器。
現在討論第二階段（第二階段902或1002）。在第二階段，F'是用信號通知的濾波器或預定義的濾波器集合，並且C'是對應的分類器。中間經濾波結果可以進一步用當前樣本及/或當前樣本的鄰近樣本濾波。C'可以用於決定應用F'中的哪個濾波器以及如何轉置係數。
C'可以使用 R 及/或 R' 通過計算作為第一階段的活動及方向來決定濾波器集合F'的濾波器索引。在一些示例中，當應用F'時可以應用轉置。例如，視頻編碼器200或視頻解碼器300可以應用轉置。
在ECM-7.0中，將基於二分類器的分類應用於每個2x2塊以從如在2023年1月12日公開的美國專利公開第2023-0010869A1號中公開的用信號通知的濾波器集合中選擇濾波器。對於每個2x2塊，可以將基於拉普拉斯或基於頻帶的分類器應用於CTB。基於拉普拉斯的分類器可以基於一個或多個樣本值的相鄰樣本的值而為視頻資料塊的一個或多個樣本值指派類索引。基於頻帶的分類器可以將類索引指派給塊的一個或多個樣本值，而不管一個或多個樣本值的相鄰樣本的值。在一些示例中，視頻編碼器200或視頻解碼器300可以在基於拉普拉斯的分類器和基於頻帶的分類器之間切換C'。
可以針對APS中的每個濾波器集合用信號通知該選擇。分類器可以應用於ALF的輸入。
當應用基於拉普拉斯的技術時，如VVC一樣，可以通過使用垂直梯度及水平梯度來導出活動值A（參見圖4）。然後， 可以進一步量化到0到 （包含）的範圍，且經量化值可以表示為 。可以通過使用垂直梯度及水平梯度來導出具有0到 範圍的方向性值 。
然後，類索引C’＝ * + D。例如，視頻編碼器200或視頻解碼器300可以使用基於拉普拉斯的分類器來決定類索引。
當基於頻帶的分類技術應用於 N 個類別時，值的動態範圍（例如，樣本的值或塊的樣本值的總和）可以均勻或非均勻地劃分成 N 個非重疊間隔。例如，視頻編碼器200或視頻解碼器300可以使用基於頻帶的分類器來決定類索引。當對樣本或塊進行分類時，可以導出樣本的值或塊的樣本值的總和。樣本值或總和的間隔索引可以用作類索引。例如，當塊的總和的動態範圍被均勻地劃分為N個間隔時，類索引可以被導出為 (總和 * N) ＞＞ {位元深度 + [log2(塊中的樣本的數量)]} 其中，位元深度是樣本值的位元深度。
現在討論濾波。在從C'獲得樣本的類索引之後，可以基於類索引來選擇來自濾波器集合F'的濾波器。例如，視頻編碼器200或視頻解碼器300可以基於類索引來決定或選擇濾波器。視頻編碼器200或視頻解碼器300可以應用所決定的濾波器。濾波可以被應用為 (12)
在上述等式（12）中，濾波被分成2個部分。 濾波部分1： 包括通過使用相鄰樣本進行濾波，其中可以應用幾何變換。 是係數的數量。濾波器可以是5x5、7x7、9x9、11x11或13x13菱形濾波器，並且如圖9所示應用。 濾波部分2： 包括通過使用中間濾波樣本進行濾波，其中，可以應用幾何變換。 是係數的數量。
具有 j ＝0或1的函數 可以用裁剪函數定義為
(13)
函數 可以用裁剪函數定義為
(14)
是對應於係數 的裁剪參數。在ECM-1.0中， 。
在ECM-7.0及VVC中，可以應用用信號通知的濾波器來對樣本進行濾波。例如，視頻編碼器200可以應用濾波器，並且在位元串流中將濾波器用信號通知給視頻解碼器300，視頻解碼器300可以解析該濾波器以決定要應用的濾波器。對於每個CTU，可以將用信號通知的濾波器集合應用於每個顏色分量。可以對每個塊應用分類，並且可以決定類索引。利用該類索引，來自濾波器集合的對應濾波器可以被決定為應用於塊中的樣本。
在VVC及ECM-7.0中，基於拉普拉斯及基於頻帶的分類器都可以應用於ALF的輸入，ALF的輸入是重構域中的樣本。重構域可以是重構樣本的域，例如，在應用任何逆變換之後。例如，視頻編碼器200或視頻解碼器300可以將基於拉普拉斯及/或基於頻帶的分類器應用於重構域中的樣本以決定類索引。重構域中的相同樣本可以輸入到選擇的ALF濾波器，視頻編碼器200或視頻解碼器300可以基於類索引來選擇該選擇的ALF濾波器。
根據本公開內容的技術，視頻編碼器200或視頻解碼器300可以應用一個或多個其它類型的自適應迴路濾波器分類器。例如，視頻編碼器200或視頻解碼器300可以將絕對值總和分類器應用於重構殘差樣本值。絕對值總和分類器可以是使用與待濾波樣本相鄰的一個或多個樣本的絕對值的總和來決定待濾波樣本的類索引的分類器。另外或替代地，視頻編碼器200或視頻解碼器300可以將分類器應用於其它域中的樣本值。
視頻編碼器200或視頻解碼器300可以將一個或多個分類器應用於輸入（例如，一個或多個不同類型的輸入）以決定類索引。視頻編碼器200或視頻解碼器300可以使用類索引來決定或選擇自適應迴路濾波器以應用於當前待濾波樣本。
在一個示例中，視頻編碼器200或視頻解碼器300可以將一個或多個分類器應用於預測符以決定類索引。在一個示例中，視頻編碼器200或視頻解碼器300可以將一個或多個分類器應用於解量化係數。例如，視頻編碼器200或視頻解碼器300可以將一個或多個分類器應用於在解量化之後的變換係數。在一個示例中，視頻編碼器200或視頻解碼器300可以將一個或多個分類器應用於重構殘差樣本值。在一個示例中，視頻編碼器200或視頻解碼器300可以將一個或多個分類器應用於重構殘差樣本值的絕對值。在一個示例中，視頻編碼器200或視頻解碼器300可以將一個或多個分類器應用於應用解塊濾波器之前的樣本。在一個示例中，視頻編碼器200或視頻解碼器300可以將一個或多個分類器應用於以上類型的樣本值（例如，上文所討論的樣本類型）的任何組合。
根據本公開內容的技術，視頻編碼器200或視頻解碼器300可以將分類器應用於樣本值的類型或上文所討論的若干類型的樣本值，以決定當前待濾波樣本的類索引。例如，視頻編碼器200或視頻解碼器300可以將分類器應用於單個類型的樣本值或複數個類型的樣本值。分類器的輸出（例如，類索引）可以用於選擇濾波器。在一些示例中，視頻編碼器200或視頻解碼器300可以應用分類器以選擇一個或多個固定濾波器。在一些示例中，視頻解碼器300可以應用分類器以選擇一個或多個用信號通知的濾波器。例如，視頻編碼器200可以在位元串流中用信號通知複數個濾波器。視頻解碼器300可以從位元串流決定複數個濾波器，並且可以基於分類器的應用來選擇用信號通知的濾波器中的一個或多個濾波器以進行應用。
在一些示例中，當m及n為1時，視頻編碼器200或視頻解碼器300可以將分類器應用於大小為m*n的塊（例如，這可等效於將分類器應用於樣本）。為了決定塊的類索引，視頻編碼器200或視頻解碼器300可以使用具有大小p*q的周圍樣本窗口。例如，樣本窗口可以大於塊大小，以圍繞塊，例如，如圖3及圖8所示。
類似於VVC及ECM，視頻編碼器200或視頻解碼器300可以利用基於拉普拉斯的分類器來決定當前待濾波樣本的類索引。例如，視頻編碼器200或視頻解碼器300可以計算具有大小p*q的窗口中的樣本的梯度值。例如，可以通過使用垂直梯度及水平梯度來導出活動值 A 。然後， 可以進一步量化到0到 （包含）的範圍，且經量化值可以表示為 。可以通過使用垂直梯度及水平梯度來導出具有0到 範圍的方向性值 。類索引C’可以被決定為C’＝ * + D。
在一些示例中，視頻編碼器200或視頻解碼器300可以使用基於頻帶的分類器來決定當前待濾波樣本的類索引。例如，視頻編碼器200或視頻解碼器300可以決定窗口中的樣本值的總和，並且導出類索引為C'＝總和/f，其中，f可以為縮放因子。在一些示例中，當總和為負時，視頻編碼器200或視頻解碼器300可以導出C'可以作為|總和|/f。或者，C’可以被設置為預設值，例如0。
在一些示例中，視頻編碼器200或視頻解碼器300可以使用絕對值總和分類器來決定當前待濾波樣本的類索引。例如，視頻編碼器200或視頻解碼器300可以決定窗口中的絕對樣本值（或絕對殘差值的總和）的總和。在一些示例中，視頻編碼器200或視頻解碼器300將類索引導出為C'＝總和/f，其中f是縮放因子。
在一些示例中，視頻編碼器200或視頻解碼器300可以使用平方值總和分類器來決定當前待濾波樣本的類索引。例如，視頻編碼器200或視頻解碼器300可以通過對每個樣本的值求平方並且對窗口中的所有樣本的結果求和來決定窗口中的樣本的平方樣本值的總和。在一些示例中，視頻編碼器200或視頻解碼器300可以導出類索引為C'＝總和/f，其中，f是縮放因子。
在一些示例中，視頻編碼器200或視頻解碼器300可以使用方差分類器來決定當前待濾波樣本的類索引。例如，視頻編碼器200或視頻解碼器300可以決定窗口中的樣本值的方差。在一些示例中，視頻編碼器200或視頻解碼器300可以將類索引導出為C'＝方差/f，其中f是縮放因子。
在一些示例中，視頻編碼器200或視頻解碼器300使用熵分類器來決定當前待濾波樣本的類索引。例如，視頻編碼器200或視頻解碼器300可以導出窗口中的樣本值的直方圖/分佈為， 其中， 及 是塊寬度及高度，並且 是等於x的樣本值的數量。 視頻編碼器200或視頻解碼器300可以基於分佈將樣本值的熵導出為 。 視頻編碼器200或視頻解碼器300可以將類索引導出為 C′ = ，其中，f為縮放因子。替代地，類索引可以通過使用非線性變換 = , C′ = ) 例如，C′ = exp( 來導出，其中，f是縮放因子。
在一些示例中，視頻編碼器200或視頻解碼器300可以使用總變化分類器來決定當前待濾波樣本的類索引。例如，視頻編碼器200或視頻解碼器300可以決定窗口中的樣本值（例如，梯度範數的總和）的總變化，且將類索引導出為 C’＝(總變化)/f，其中，f是縮放因子。
在一些示例中，類索引C'的範圍可從0到M。當C’小於0時，C’可以設置為0。當C’大於M時，C’可以設置為M。在一個示例中，M＝24。
在一些示例中，縮放因子f可以取決於或基於量化參數（QP）、量化步長、預測模式及/或樣本位元深度。在一個示例中，f＝樣本位元深度-常數值。
在一些示例中，當應用分類器時，視頻編碼器200或視頻解碼器300可以將幾何轉置應用於所選擇的濾波器。例如，視頻編碼器200或視頻解碼器300可以轉置濾波器係數，例如上文關於圖6所討論的。可以基於ECM-7.0或VVC的技術導出幾何轉置。在一個示例中，可以基於以下樣本值中的一項來決定幾何轉置：預測符、解量化係數、重構殘差樣本值及重構樣本值（例如，到ALF的輸入）。在另一示例中，可以不應用幾何轉置。例如，視頻編碼器200或視頻解碼器300可以不應用或可以避免在應用特定分類器時將幾何轉置應用於濾波。
可針對APS級別處的每個濾波器集合用信號通知分類器及資料使用選擇（例如，分類器輸入的類型，例如預測器、解量化係數、重構殘差樣本值、重構殘差樣本值的絕對值、解塊濾波之前的樣本等）。例如，APS中的一個或多個語法元素可以指示分類器及資料使用選擇。替代地，可以圖片級別、切片級別、CTB級別或塊級別處用信號通知分類器及資料使用選擇。例如，視頻編碼器200可以例如在位元串流中的一個或多個語法元素中用信號通知分類器及資料使用選擇。視頻解碼器300可以解析位元串流中的一個或多個語法元素以決定分類器及資料使用選擇。
圖11是示出根據本公開內容的一個或多個態樣的示例自適應迴路濾波器分類器技術的流程圖。視頻編碼器200或視頻解碼器300可以將絕對值總和分類器應用於重構殘差樣本值以決定類索引。例如，視頻編碼器200或視頻解碼器300可以決定與視頻資料塊相關聯的窗口內的一個或多個重構殘差樣本值的絕對值的總和（1100）。例如，視頻編碼器200或視頻解碼器300可以對圍繞視頻資料塊（例如窗口360（圖3）、810或820（圖8））的大小為p*q的窗口內的重構殘差樣本值的絕對值求和。視頻編碼器200或視頻解碼器300可以至少部分地基於絕對值的總和來決定類索引（1102）。例如，絕對值總和分類器的應用的輸出可以是類索引，或者視頻編碼器200或視頻解碼器300可以縮放絕對值總和分類器的應用的輸出以決定類索引。
視頻編碼器200或視頻解碼器300可以基於類索引來決定自適應迴路濾波器（1104）。例如，類索引可以標識要應用以對塊的當前待濾波樣本進行濾波的自適應迴路濾波器。
視頻編碼器200或視頻解碼器300可以將自適應迴路濾波器應用於塊的當前待濾波樣本（1106）。例如，視頻編碼器200或視頻解碼器300可以使用與類索引相關聯的自適應迴路濾波器對當前待濾波樣本進行自適應迴路濾波。
視頻編碼器200或視頻解碼器300可以基於自適應迴路濾波器的應用來對塊進行寫碼（1108）。例如，視頻編碼器200可以基於自適應迴路濾波器的應用對塊進行編碼，或者視頻解碼器300可以基於自適應迴路濾波器的應用來對塊進行解碼。例如，視頻編碼器200或視頻解碼器300可以將一個或多個自適應迴路濾波器應用於視頻資料的視框的塊中的每個塊的樣本，並且將經濾波的視框儲存在經解碼圖片緩衝器中。視頻編碼器200可以使用視頻編碼器200的解碼迴路的經解碼圖片緩衝器的所儲存內容作為後續視框中的相同視框或塊中的其它塊的預測符。
在一些示例中，視頻編碼器200或視頻解碼器300決定絕對值的總和並且在將絕對值總和分類器應用於窗口內的一個或多個重構殘差樣本值時決定類索引。在一些示例中，自適應迴路濾波器包括固定自適應迴路濾波器或在位元串流中用信號通知的自適應迴路濾波器。在一些示例中，類索引被限制在0至正整數值的範圍內，諸如24。在一些示例中，類索引進一步基於縮放因子（例如，縮放因子f，如上所述）。例如，視頻編碼器200或視頻解碼器300可以將絕對值的總和除以縮放因子。在一些示例中，縮放因子是基於量化參數、量化步長、預測模式或樣本位元深度中的至少一者。在一些示例中，類索引基於絕對值的和除以縮放因子。
在一些示例中，視頻編碼器200或視頻解碼器300可以避免將幾何轉置應用於自適應迴路濾波器。在其它示例中，視頻編碼器200或視頻解碼器300可以將幾何轉置應用於自適應迴路濾波器。
在一些示例中，視頻解碼器300可以從位元串流解析指示絕對值總和分類器的分類器的標識及關於將輸入到分類器的重構殘差樣本值的指示。
在一些示例中，當前待濾波樣本為第一當前待濾波樣本，窗口為第一窗口，類索引為第一類索引，自適應迴路濾波器為第一自適應迴路濾波器，塊為第一塊。在一些示例中，視頻編碼器200或視頻解碼器300可以將分類器應用於與第二窗口相關聯的一個或多個輸入以決定第二類索引，該第二窗口與視頻資料的第二塊相關聯。例如，一個或多個輸入可以包括或導出自第二窗口內的樣本。在一些示例中，視頻編碼器200或視頻解碼器300可以基於第二類索引將第二自適應迴路濾波器應用於第二當前待濾波樣本。在一些示例中，視頻編碼器200或視頻解碼器300可以基於第二自適應迴路濾波器的應用來解碼第二塊。
在一些示例中，與第二窗相關聯的一個或多個輸入包含預測符、解量化變換係數、重構殘差樣本值、重構殘差樣本值的絕對值或解塊濾波之前的樣本。在一些示例中，分類器包括基於拉普拉斯的分類器、基於頻帶的分類器、絕對值總和分類器、平方值總和分類器、方差分類器、熵分類器或總變化分類器。
圖12是示出可以履行本公開內容的技術的示例視頻編碼器200的方塊圖。提供圖12是出於說明的目的，並且不應被認為是對本公開內容中廣泛例示及描述的技術的限制。出於解釋的目的，本公開內容根據VVC及HEVC的技術來描述視頻編碼器200。然而，本公開內容的技術可由經組態以用於其它視頻寫碼標準及視頻寫碼格式（諸如AV1及AV1視頻寫碼格式的後繼）的視頻編碼設備履行。
在圖12的示例中，視頻編碼器200包括視頻資料記憶體230、模式選擇單元202、殘差生成單元204、變換處理單元206、量化單元208、逆量化單元210、逆變換處理單元212、重構單元214、濾波器單元216、解碼圖片緩衝器（DPB）218及熵編碼單元220。可以在一個或多個處理器中或在處理電路中實現視頻資料記憶體230、模式選擇單元202、殘差生成單元204、變換處理單元206、量化單元208、逆量化單元210、逆變換處理單元212、重構單元214、濾波器單元216、DPB 218及熵編碼單元220中的任何一個或全部。例如，視頻編碼器200的各單元可以被實現為一個或多個電路或邏輯元件，作為硬體電路的一部分，或者作為處理器、ASIC或FPGA的一部分。此外，視頻編碼器200可以包括額外的或替代的處理器或處理電路，以履行這些及其它功能。
視頻資料記憶體230可以儲存將由視頻編碼器200的組件進行編碼的視頻資料。視頻編碼器200可以從例如視頻源104（圖1）接收儲存在視頻資料記憶體230中的視頻資料。DPB 218可以用作參考圖片記憶體，其儲存參考視頻資料，以供視頻編碼器200在預測後續視頻資料時使用。視頻資料記憶體230及DPB 218可以由多種儲存設備中的任何一種形成，諸如動態隨機存取記憶體（DRAM），包括同步DRAM（SDRAM），磁阻RAM（MRAM），電阻性RAM（RRAM）或其它類型的儲存設備。視頻資料記憶體230及DPB 218可以由相同的儲存設備或分離的儲存設備提供。在各種示例中，視頻資料記憶體230可以與視頻編碼器200的其它組件（如圖所示）在晶片上，或者相對於那些組件在晶片外。
在本公開內容中，對視頻資料記憶體230的提及不應被解釋為限於視頻編碼器200內部的記憶體，除非如此具體地描述，或者視頻編碼器200外部的記憶體，除非如此具體地描述。而是，對視頻資料記憶體230的提及應被理解為儲存視頻編碼器200所接收的用於進行編碼的視頻資料（例如，要被編碼的當前塊的視頻資料）的參考記憶體。圖1的記憶體106亦可以提供對視頻編碼器200的各個單元的輸出的臨時儲存。
示出圖12的各個單元以幫助理解由視頻編碼器200履行的操作。這些單元可以被實現為固定功能電路、可程式化電路或其組合。固定功能電路是指提供特定功能並被預先設置可履行的操作的電路。可程式化電路是指可以被程式化以履行各種任務並且在可履行的操作中提供靈活功能的電路。例如，可程式化電路可以執行軟體或韌體，軟體或韌體使可程式化電路以軟體或韌體的指令所定義的方式進行操作。固定功能電路可以執行軟體指令（例如，以接收參數或輸出參數），但固定功能電路履行的操作的類型通常是不可變的。在一些示例中，其中一個或多個單元可以是不同的電路塊（固定功能或可程式化的），並且在一些示例中，其中一個或多個單元可以是積體電路。
視頻編碼器200可以包括由可程式化電路形成的算術邏輯單元（ALU）、基本功能單元（EFU）、數位電路、類比電路及/或可程式化核心。在使用由可程式化電路執行的軟體來履行視頻編碼器200的操作的示例中，記憶體106（圖1）可以儲存視頻編碼器200接收並且執行的軟體的指令（例如，目標代碼），或者視頻編碼器200內的另一記憶體（未示出）可以儲存這樣的指令。
視頻資料記憶體230經組態以儲存接收到的視頻資料。視頻編碼器200可以從視頻資料記憶體230提取視頻資料的圖片，並將視頻資料提供給殘差生成單元204及模式選擇單元202。視頻資料記憶體230中的視頻資料可以是將被編碼的原始視頻資料。
模式選擇單元202包括運動估計單元222、運動補償單元224及框內預測單元226。模式選擇單元202可以包括其它功能單元，以根據其它預測模式履行視頻預測。作為示例，模式選擇單元202可以包括調色板單元、塊內複製單元（其可以是運動估計單元222及/或運動補償單元224的一部分）、仿射單元、線性模型（LM）單元等。
模式選擇單元202通常協調多個編碼通道，以測試編碼參數的組合以及針對這樣的組合所得到的率失真值。編碼參數可以包括：CTU到CU的劃分，用於CU的預測模式，用於CU的殘差資料的變換類型，用於CU的殘差資料的量化參數、等等。模式選擇單元202可以最終選擇率失真值優於其它經測試組合的編碼參數組合。
視頻編碼器200可以將從視頻資料記憶體230檢索的圖片劃分為一系列CTU，並將一個或多個CTU封裝在切片內。模式選擇單元202可以根據樹結構（例如上述MTT結構、QTBT結構、超級塊結構或四叉樹結構）來劃分圖片的CTU。如上所述，視頻編碼器200可以根據樹結構通過劃分CTU來形成一個或多個CU。通常亦將這樣的CU稱為“視頻塊”或“塊”。
通常，模式選擇單元202亦控制其組件（例如，運動估計單元222、運動補償單元224及框內預測單元226）以生成用於當前塊（例如，當前CU，或者在HEVC中為PU及TU的重疊部分）的預測塊。為了對當前塊進行框間預測，運動估計單元222可履行運動搜索以識別一個或多個參考圖片（例如，儲存在DPB 218中的一個或多個先前寫碼的圖片）中的一個或多個緊密匹配的參考塊。具體而言，運動估計單元222可以例如根據絕對差的總和（SAD）、平方差的總和（SSD）、平均絕對差（MAD）、均方差（MSD）等等，來計算表示潛在參考塊與當前塊的相似程度的值。運動估計單元222通常可使用在當前塊和所考慮的參考塊之間的逐樣本差來履行這些計算。運動估計單元222可以識別具有由這些計算產生的最低值的參考塊，其指示與當前塊最緊密匹配的參考塊。
運動估計單元222可以形成一個或多個運動向量（MV），該運動向量限定相對於當前塊在當前圖片中的位置而言參考塊在參考圖片中的的位置。然後，運動估計單元222可以將運動向量提供給運動補償單元224。例如，對於單向框間預測，運動估計單元222可提供單個運動向量，而對於雙向框間預測，運動估計單元222可以提供兩個運動向量。運動補償單元224然後可使用運動向量來生成預測塊。例如，運動補償單元224可以使用運動向量來檢索參考塊的資料。作為另一示例，如果運動向量具有分數樣本精度，則運動補償單元224可以根據一個或多個內插濾波器來內插預測塊的值。此外，對於雙向框間預測，運動補償單元224可以檢索由相應運動向量標識的兩個參考塊的資料，並組合所檢索的資料，例如通過逐樣本平均或加權平均。
當根據AV1視頻寫碼格式進行操作時，運動估計單元222及運動補償單元224可經組態以使用平移運動補償、仿射運動補償、重疊塊運動補償（OBMC）及/或複合框間-框內預測，來對視頻資料的寫碼塊（例如，亮度寫碼塊及色度寫碼塊兩者）進行編碼。
作為另一示例，對於框內預測或框內預測寫碼，框內預測單元226可以根據與當前塊相鄰的樣本來生成預測塊。例如，對於方向性模式，框內預測單元226通常可以在數學上將相鄰樣本的值進行組合，並且跨越當前塊在所定義的方向上填充這些計算出的值以產生預測塊。作為另一示例，對於DC模式，框內預測單元226可以計算當前塊的相鄰樣本的平均值，並且生成預測塊以包括針對預測塊的每個樣本的該得到的平均值。
當根據AV1視頻寫碼格式操作時，框內預測單元226可以經組態以使用方向性框內預測、非方向性框內預測、遞歸濾波器框內預測、根據亮度預測色度（CFL）預測、塊內複製（IBC）及/或調色板模式，來對視頻資料的寫碼塊（例如，亮度寫碼塊及色度寫碼塊兩者）進行編碼。模式選擇單元202可以包括其它功能單元，以根據其它預測模式履行視頻預測。
模式選擇單元202可以根據樹結構（諸如上述MTT結構、QTBT結構、超級塊結構或四叉樹結構）來對圖片的CTU進行分割。殘差生成單元204從視頻資料記憶體230接收當前塊的原始未編碼版本，從模式選擇單元202接收預測塊。殘差生成單元204計算當前塊和預測塊之間的逐樣本差。所得的逐樣本差定義了當前塊的殘差塊。在一些示例中，殘差生成單元204亦可決定殘差塊中的樣本值之間的差以使用殘差差分脈衝編碼調變（RDPCM）來生成殘差塊。在一些示例中，可以使用履行二進制減法的一個或多個減法器電路來形成殘差生成單元204。
在模式選擇單元202將CU劃分為PU的示例中，每個PU可與亮度預測單元及對應的色度預測單元相關聯。視頻編碼器200及視頻解碼器300可支援具有各種大小的PU。如上所述，CU的大小可以指的是CU的亮度寫碼塊的大小，PU的大小可以指的是PU的亮度預測單元的大小。假設特定CU的大小為2Nx2N，則視頻編碼器200可以支援用於框內預測的2Nx2N或NxN的PU大小、以及用於框間預測的2Nx2N、2NxN、Nx2N、NxN或類似大小的對稱的PU大小。視頻編碼器200及視頻解碼器300亦可支援用於框間預測的2N×nU、2N×nD、nL×2N及nR×2N的PU大小的非對稱劃分。
在模式選擇單元202不將CU進一步劃分成PU的示例中，每個CU可以與亮度寫碼塊及對應的色度寫碼塊相關聯。如上所述，CU的大小可以指CU的亮度寫碼塊的大小。視頻編碼器200及視頻解碼器300可以支援2Nx2N、2NxN或Nx2N的CU大小。
對於其它視頻寫碼技術（舉一些示例，諸如塊內複製模式寫碼、仿射模式寫碼及線性模型（LM）模式寫碼），模式選擇單元202經由與寫碼技術相關聯的相應單元來生成用於正被編碼的當前塊的預測塊。在一些示例中，諸如調色板模式寫碼，模式選擇單元202可以不生成預測塊，而是生成指示基於所選調色板對塊進行重構的方式的語法元素。在這樣的模式中，模式選擇單元202可以將這些語法元素提供給熵編碼單元220以進行編碼。
如上所述，殘差生成單元204接收當前塊及對應的預測塊的視頻資料。殘差生成單元204然後為當前塊生成殘差塊。為了生成殘差塊，殘差生成單元204計算預測塊和當前塊之間的逐樣本差。
變換處理單元206將一個或多個變換應用於殘差塊以生成變換係數的塊（在本文中稱為“變換係數塊”）。變換處理單元206可以將各種變換應用於殘差塊以形成變換係數塊。例如，變換處理單元206可以將離散餘弦變換（DCT）、方向變換、Karhunen-Loeve變換（KLT）或概念上類似的變換應用於殘差塊。在一些示例中，變換處理單元206可以對殘差塊履行多種變換，例如，主變換及二次變換（諸如旋轉變換）。在一些示例中，變換處理單元206不將變換應用於殘差塊。
當根據AV1操作時，變換處理單元206可以將一個或多個變換應用於殘差塊以生成變換係數的塊（在本文中被稱作“變換係數塊”）。變換處理單元206可以將各種變換應用於殘差塊以形成變換係數塊。例如，變換處理單元206可應用可以包括離散餘弦變換（DCT）、非對稱離散正弦變換（ADST）、翻轉ADST（例如，反向順序的ADST）及恒等變換（IDTX）的水平/垂直變換組合。當使用恒等變換時，將在垂直或水平方向之一中跳過變換。在一些示例中，可跳過變換處理。
量化單元208可以量化變換係數塊中的變換係數，以產生經量化的變換係數塊。量化單元208可以根據與當前塊相關聯的量化參數（QP）值來量化變換係數塊的變換係數。視頻編碼器200（例如，經由模式選擇單元202）可以通過調整與CU相關聯的QP值，來調整被應用於與當前塊相關聯的變換係數塊的量化程度。量化可能會引入資訊丟失，並且因此，經量化的變換係數可能具有比由變換處理單元206產生的原始變換係數更低的精度。
逆量化單元210及逆變換處理單元212可以分別對經量化的變換係數塊應用逆量化及逆變換，以從變換係數塊重構殘差塊。重構單元214可以基於重構的殘差塊及由模式選擇單元202生成的預測塊來產生與當前塊相對應的重構塊（儘管可能具有某種程度的失真）。例如，重構單元214可以將重構的殘差塊的樣本與來自模式選擇單元202所生成的預測塊的對應樣本相加，以產生重構塊。
濾波器單元216可以對重構塊履行一個或多個濾波器操作。例如，濾波器單元216可以履行圖11的ALF濾波技術。例如，濾波器單元216可以包括分類器217且可以使用分類器217來決定將哪個ALF應用於給定樣本。例如，濾波器單元216可履行解塊操作以減少沿著CU的邊緣的成塊偽像。在一些示例中，可以跳過濾波器單元216的一個或多個操作。
當根據AV1操作時，濾波器單元216可對重構塊履行一個或多個濾波器操作。例如，濾波器單元216可履行解塊操作以減少沿著CU的邊緣的成塊偽像。在其它示例中，濾波器單元216可以應用約束定向增強濾波器（CDEF），其可以在解塊之後應用，並且可以包括基於估計的邊緣方向來應用不可分割、非線性、低通方向濾波器。濾波器單元216亦可以包括在CDEF之後應用的迴路恢復濾波器，並且可以包括可分割的對稱歸一化維納濾波器或雙自導濾波器。
視頻編碼器200將重構塊儲存在DPB 218中。例如，在不履行濾波器單元216的操作的示例中，重構單元214可以將重構塊儲存到DPB 218。在其中履行濾波器單元216的操作的示例中，濾波器單元216可以將經濾波的經重構塊儲存到DPB 218中。運動估計單元222及運動補償單元224可以從DPB 218取回根據經重構的（並且潛在地經濾波的）塊形成的參考圖片，以對後續編碼的圖片的塊進行框間預測。另外，框內預測單元226可以使用在DPB218中的當前圖片的經重構的塊來對當前圖片中的其它塊進行框內預測。
通常，熵編碼單元220可以對從視頻編碼器200的其它功能組件接收的語法元素進行熵編碼。例如，熵編碼單元220可以對來自量化單元208的經量化的變換係數塊進行熵編碼。作為另一示例，熵編碼單元220可以對來自模式選擇單元202的預測語法元素（例如，用於框間預測的運動資訊或用於框內預測的框內模式資訊）進行熵編碼。熵編碼單元220可以對語法元素（其是視頻資料的另一個示例）履行一個或多個熵編碼操作，以生成經熵編碼的資料。例如，熵編碼單元220可以對資料履行上下文自適應變長寫碼（CAVLC）操作、CABAC操作、可變-可變（V2V）長度寫碼操作、基於語法的上下文自適應二進制算術寫碼（SBAC）操作、機率區間分割熵（PIPE）寫碼操作、指數哥倫布編碼操作、或另一種類型的熵編碼操作。在一些示例中，熵編碼單元220可以在旁路模式中操作，在旁路模式中，不對語法元素進行熵編碼。
視頻編碼器200可以輸出包括對於重構切片或圖片的塊而言所需的經熵編碼的語法元素的位元串流。特別地，熵編碼單元220可以輸出位元串流。
根據AV1，熵編碼單元220可以經組態為符元到符元自適應多符元算術寫碼器。AV1中的語法元素包括N個元素的字母表，且上下文（例如，機率模型）包括N個機率的集合。熵編碼單元220可以將機率儲存為n-位元（例如，15-位元）累積分佈函數（CDF）。熵編碼單元220可以使用基於字母表大小的更新因子履行遞歸縮放，以更新上下文。
針對塊描述了上述操作。這樣的描述應該被理解為是針對亮度寫碼塊及/或色度寫碼塊的操作。如上文所描述的，在一些示例中，亮度寫碼塊及色度寫碼塊是CU的亮度分量及色度分量。在一些示例中，亮度寫碼塊及色度寫碼塊是PU的亮度分量及色度分量。
在一些示例中，不需要針對色度寫碼塊重複針對亮度寫碼塊履行的操作。作為一個示例，不需要重複用於識別用於亮度寫碼塊的運動向量（MV）及參考圖片的操作來識別用於色度塊的MV及參考圖片。而是，可以縮放用於亮度寫碼塊的MV以決定用於色度塊的MV，並且參考圖片可以是相同的。作為另一示例，對於亮度寫碼塊及色度寫碼塊，框內預測處理可以是相同的。
視頻編碼器200表示經組態以對視頻資料進行編碼的設備的示例，包括：一個或多個記憶體，其經組態以儲存視頻資料；以及一個或多個處理器，其被實現在電路中，並且通信地耦合到該一個或多個記憶體，該一個或多個處理器經組態以：決定與該視頻資料的塊相關聯的窗口內的一個或多個重構殘差樣本值的絕對值的總和；至少部分地基於該絕對值的總和來決定類索引；基於該類索引決定自適應迴路濾波器；將該自適應迴路濾波器應用於該塊的當前待濾波樣本；以及基於該自適應迴路濾波器的該應用來對該塊進行編碼。
圖13是示出可以履行本公開內容的技術的示例性視頻解碼器300的方塊圖。提供圖13是出於說明的目的，並非是對本公開內容中廣泛例示及描述的技術的限制。出於解釋的目的，本公開內容根據VVC及HEVC的技術來描述視頻解碼器300。然而，本公開內容的技術可以由經組態以用於其它視頻寫碼標準的視頻寫碼設備履行。
在圖13的示例中，視頻解碼器300包括：寫碼圖片緩衝器（CPB）記憶體320、熵解碼單元302、預測處理單元304、逆量化單元306、逆變換處理單元308、重構單元310、濾波器單元312及DPB134。可以在一個或多個處理器中或在處理電路中實現CPB記憶體320、熵解碼單元302、預測處理單元304、逆量化單元306、逆變換處理單元308、重構單元310、濾波器單元312及DPB 314中的任何一個或全部。例如，視頻解碼器300的各單元可以被實現為作為硬體電路的一部分或作為處理器、ASIC或FPGA的一部分的一個或多個電路或邏輯元件。此外，視頻解碼器300可以包括額外的或替代的處理器或處理電路，以履行這些功能及其它功能。
預測處理單元304包括運動補償單元316及框內預測單元318。預測處理單元304可以包括用於根據其它預測模式來履行預測的其它單元。作為示例，預測處理單元304可以包括：調色板單元、塊內複製單元（其可以形成運動補償單元316的一部分）、仿射單元、線性模型（LM）單元等等。在其它示例中，視頻解碼器300可以包括更多、更少或不同的功能組件。
當根據AV1操作時，運動補償單元316可以經組態以使用平移運動補償、仿射運動補償、OBMC及/或複合框內框間預測來對視頻資料的寫碼塊（例如，亮度寫碼塊及色度寫碼塊兩者）進行解碼，如上所述。框內預測單元318可以經組態以使用方向性框內預測、非方向性框內預測、遞歸濾波器框內預測、CFL、IBC及/或調色板模式來對視頻資料的寫碼塊（例如，亮度寫碼塊及色度寫碼塊兩者）進行解碼，如上所述。
CPB記憶體320可以儲存將由視頻解碼器300的組件解碼的視頻資料，諸如經編碼視頻位元串流。例如，儲存在CPB記憶體320中的視頻資料可以從計算機可讀媒體110（圖1）獲得。CPB記憶體320可以包括儲存來自經編碼視頻位元串流的經編碼視頻資料（例如，語法元素）的CPB。而且，CPB記憶體320可以儲存除了經寫碼圖片的語法元素之外的視頻資料，諸如表示來自視頻解碼器300的各個單元的輸出的臨時資料。DPB 314通常儲存經解碼的圖片，視頻解碼器300可以輸出經解碼的圖片，及/或在對經編碼的視頻位元串流的後續資料或圖片進行解碼時使用經解碼的圖片作為參考視頻資料。CPB記憶體320及DPB 314可以由各種記憶體設備中的任何一種形成，諸如DRAM（包括SDRAM）、MRAM、RRAM或其它類型的記憶體設備。CPB記憶體320及DPB 314可以由相同的儲存設備或分離的儲存設備提供。在各種示例中，CPB記憶體320可以與視頻解碼器300的其它組件在晶片上，或者相對於那些組件在晶片外。
另外或替代地，在一些示例中，視頻解碼器300可以從記憶體120（圖1）取回經編碼的視頻資料。即，記憶體120可以如上所述與CPB記憶體320一起儲存資料。類似地，當以軟體實現視頻解碼器300的一些或全部功能以通過視頻解碼器300的處理電路來執行時，記憶體120可以儲存將由視頻解碼器300執行的指令。
示出在圖13中示出的各個單元以幫助理解由視頻解碼器300履行的操作。這些單元可以被實現為固定功能電路、可程式化電路或其組合。類似於圖12，固定功能電路是指提供特定功能並被預先設置可履行的操作的電路。可程式化電路是指可以被程式化以履行各種任務並且在可履行的操作中提供靈活功能的電路。例如，可程式化電路可以執行軟體或韌體，軟體或韌體使可程式化電路以軟體或韌體的指令所定義的方式進行操作。固定功能電路可以執行軟體指令（例如，以接收參數或輸出參數），但固定功能電路履行的操作的類型通常是不可變的。在一些示例中，其中一個或多個單元可以是不同的電路塊（固定功能或可程式化的），並且在一些示例中，其中一個或多個單元可以是積體電路。
視頻解碼器300可以包括由可程式化電路形成的ALU、EFU、數位電路、類比電路及/或可程式化核心。在由在可程式化電路執行的軟體來履行視頻解碼器300的操作的示例中，晶載或晶外記憶體可以儲存視頻解碼器300接收並執行的軟體的指令（例如，目標代碼）。
熵解碼單元302可以從CPB接收經編碼視頻資料並且對視頻資料進行熵解碼以再現語法元素。預測處理單元304、逆量化單元306、逆變換處理單元308、重構單元310及濾波器單元312可以基於從位元串流中提取的語法元素來生成經解碼視頻資料。
通常，視頻解碼器300在逐塊的基礎上重構圖片。視頻解碼器300可單獨地在每個塊上履行重構操作（其中當前正在重構（即，解碼）的塊可被稱為“當前塊”）。
熵解碼單元302可以對定義如下的語法元素進行熵解碼：經量化的變換係數塊的經量化的變換係數，以及諸如量化參數（QP）及/或變換模式指示之類的變換資訊。逆量化單元306可以使用與經量化的變換係數塊相關聯的QP來決定量化度，並且同樣地，決定逆量化單元306所應用的逆量化度。逆量化單元306可以例如履行按位左移運算以對經量化的變換係數進行逆量化。逆量化單元306可以由此形成包括變換係數的變換係數塊。
在逆量化單元306形成變換係數塊之後，逆變換處理單元308可以將一個或多個逆變換應用於變換係數塊以生成與當前塊相關聯的殘差塊。例如，逆變換處理單元308可以將逆DCT、逆整數變換、逆Karhunen-Loeve變換（KLT）、逆旋轉變換、逆方向性變換或另一逆變換應用於變換係數塊。
此外，預測處理單元304根據由熵解碼單元302熵解碼的預測資訊語法元素來生成預測塊。例如，如果預測資訊語法元素指示當前塊是框間預測的，則運動補償單元316可以生成預測塊。在這種情況下，預測資訊語法元素可以指示在DPB 314中的要從其取回參考塊的參考圖片、以及標識相對於當前塊在當前圖片中的定位而言參考塊在參考圖片中的定位的運動向量。運動補償單元316通常可以以與針對運動補償單元224（圖12）所描述的方式基本相似的方式來履行框間預測處理。
作為另一示例，如果預測資訊語法元素指示當前塊是經框內預測的，則框內預測單元318可以根據由預測資訊語法元素指示的框內預測模式來生成預測塊。再次，框內預測單元318通常可以以與關於框內預測單元226（圖12）所描述的方式基本上類似的方式來履行框內預測過程。框內預測單元318可以從DPB314取回當前塊的相鄰樣本的資料。
重構單元310可以使用預測塊及殘差塊來重構當前塊。例如，重構單元310可以將殘差塊的樣本與預測塊的對應樣本相加以重構當前塊。
濾波器單元312可以對重構塊履行一個或多個濾波器操作。例如，濾波器單元312可以履行圖11的ALF濾波技術。例如，濾波器單元312可以包括分類器317且可以使用分類器317來決定將哪個ALF應用於給定樣本。例如，濾波器單元312可以履行解塊操作以減少沿著重構塊的邊緣的成塊偽像。不一定在所有示例中都履行濾波器單元312的全部操作。
視頻解碼器300可以將重構塊儲存在DPB 314中。例如，在未履行濾波器單元312的操作的示例中，重構單元310可以將重構塊儲存到DPB 314。在其中履行濾波器單元312的操作的示例中，濾波器單元312可以將經濾波的經重構塊儲存到DPB 314中。如上所述，DPB 314可以向預測處理單元304提供參考資訊，諸如用於框內預測的當前圖片的樣本以及用於後續運動補償的先前經解碼圖片。此外，視頻解碼器300可以從DPB 314輸出經解碼圖片（例如，經解碼視頻），以用於隨後在顯示設備（例如，圖1的顯示設備118）上呈現。
以此方式，視頻解碼器300表示視頻解碼裝置的示例，包括：一個或多個記憶體，其經組態以儲存視頻資料；以及一個或多個處理器，其被實現在電路中，並且通信地耦合到該一個或多個記憶體，該一個或多個處理器經組態以：決定與該視頻資料的塊相關聯的窗口內的一個或多個重構殘差樣本值的絕對值的總和；至少部分地基於該絕對值的總和來決定類索引；基於該類索引決定自適應迴路濾波器；將該自適應迴路濾波器應用於該塊的當前待濾波樣本；以及基於該自適應迴路濾波器的該應用來對該塊進行解碼。
圖14是示出根據本公開內容的技術的用於編碼當前塊的示例方法的流程圖。當前塊可以是或可以包括當前CU。儘管針對視頻編碼器200（圖1及12）進行了描述，但是應當理解，其它設備可以經組態以履行類似於圖14的方法的方法。
在該示例中，視頻編碼器200最初預測當前塊（350）。例如，視頻編碼器200可以形成當前塊的預測塊。然後，視頻編碼器200可以計算用於當前塊的殘差塊（352）。為了計算殘差塊，視頻編碼器200可以計算原始的未經編碼的塊和當前塊的預測塊之間的差。然後，視頻編碼器200可以對殘差塊進行變換以及對殘差塊的變換係數進行量化（354）。接下來，視頻編碼器200可以掃描殘差塊的經量化變換係數（356）。在掃描期間或在掃描之後，視頻編碼器200可以對變換係數進行熵編碼（358）。例如，視頻編碼器200可使用CAVLC或CABAC來對變換係數進行編碼。然後，視頻編碼器200可以輸出塊的經熵編碼資料（360）。在視頻編碼器200的解碼迴路中，視頻編碼器200可以採用圖11的技術作為在將當前塊輸出到經解碼圖片緩衝器218之前對當前塊進行濾波的部分。
圖15是示出根據本公開內容的技術的用於對當前塊進行解碼的示例方法的流程圖。當前塊可以是或可以包括當前CU。儘管針對視頻解碼器300（圖1及13）進行了描述，但是應當理解，其它設備可以經組態以履行與圖15的方法類似的方法。
視頻解碼器300可以接收用於當前塊的經熵編碼資料，諸如與當前塊相對應的、經熵編碼的預測資訊以及殘差塊的變換係數的經熵編碼資料（370）。視頻解碼器300可以對經熵編碼資料進行熵解碼，以決定當前塊的預測資訊並再現殘差塊的變換係數（372）。視頻解碼器300可以例如使用由當前塊的預測資訊指示的框內預測模式或框間預測模式來預測當前塊（374），以計算當前塊的預測塊。然後，視頻解碼器300可以逆掃描再現的變換係數（376），以創建經量化變換係數的塊。然後，視頻解碼器300可以對變換係數進行逆量化，並將逆變換應用於變換係數以產生殘差塊（378）。視頻解碼器300可以最終通過組合預測塊及殘差塊來對當前塊進行解碼（380）視頻解碼器300可以採用圖11的技術作為在輸出當前塊以供顯示之前對當前塊進行濾波的部分。
以下編號的條款示出了本公開內容中描述的設備及技術的一個或多個態樣。
條款1A、一種對視頻資料進行寫碼的方法，該方法包含：將分類器應用於該視頻資料的第一塊的一個或多個樣本，其中，該第一塊的該一個或多個樣本為第一類型的樣本；基於該分類器的該應用將自適應迴路濾波器應用於該第一塊的該一個或多個樣本；以及基於該自適應迴路濾波器的該應用來對該第一塊進行寫碼。
條款2A、如條款1A之方法，其中，該第一類型包含除了重構域之外的域。
條款3A、如條款1A或條款2A之方法，其中，該第一類型包含預測器、解量化係數、重構殘差樣本值、重構殘差樣本值的絕對值或解塊濾波之前的樣本。
條款4A、如條款1A-3A中任一項之方法，其中，該一個或多個樣本是第一一個或多個樣本，進一步包含：將該分類器應用於該第一塊的第二一個或多個樣本，其中，該第二一個或多個樣本是第二類型的樣本。
條款5A、如條款1A-3A中任一項之方法，進一步包含：將該分類器應用於該視頻資料的第二塊的一個或多個樣本，其中，該第二塊的該一個或多個樣本為第二類型的樣本。
條款6A、如條款4A或條款5A之方法，其中，該第二類型包含預測器、解量化係數、重構殘差樣本值、重構殘差樣本值的絕對值或解塊濾波之前的樣本。
條款7A、如條款1A-6A中任一項之方法，其中，該自適應迴路濾波器是固定自適應迴路濾波器或通過用信號通知指示的自適應迴路濾波器。
條款8A、如條款1A-7A中任一項之方法，進一步包含：決定類索引。
條款9A、如條款8A之方法，其中，決定該類索引包含：決定窗口內的一個或多個樣本的梯度值；基於該梯度值決定活動值；基於該梯度值決定方向性值；以及至少部分地基於該活動值及該方向性值來決定該類索引。
條款10A、如條款8A之方法，其中，決定該類索引包含：決定窗口內的一個或多個樣本的樣本值的總和；以及至少部分地基於該總和來決定該類索引。
條款11A、如條款8A之方法，其中，決定該類索引包含：決定窗口內的一個或多個樣本的絕對樣本值的總和；以及至少部分地基於該總和來決定該類索引。
條款12A、如條款8A之方法，其中，決定該類索引包含：決定窗口內的一個或多個樣本的平方樣本值的總和；以及至少部分地基於該總和來決定該類索引。
條款13A、如條款8A之方法，其中，決定該類索引包含：決定窗口內的一個或多個樣本的樣本值的方差；以及至少部分地基於該方差來決定該類索引。
條款14A、如條款8A之方法，其中，決定該類索引包含：決定窗口內的一個或多個樣本的樣本值的直方圖；基於該直方圖來決定該樣本值的熵；以及至少部分地基於該熵來決定該類索引。
條款15A、如條款8A之方法，其中，決定該類索引包含：決定窗口內的一個或多個樣本的樣本值的總變化；以及至少部分地基於該總變化來決定該類索引。
條款16A、如條款8A-15A中任一項之方法，其中，該類索引被限制在0至M的範圍內。
條款17A、如條款8A-16A中任一項之方法，其中，該類索引進一步基於縮放因子，並且其中，該縮放因子是基於量化參數、量化步長、預測模式或樣本位元深度中的至少一項的。
條款18A、如條款1A-17A中任一項之方法，進一步包含：對該第一塊的該一個或多個樣本應用幾何轉置。
條款19A、如條款1A-18A中任一項之方法，進一步包含：用信號通知或解析該分類器的標識及資料使用。
條款20A、如條款1A-19A中任一項之方法，其中，寫碼包含解碼。
條款21A、如條款1A-20A中任一項之方法，其中，寫碼包含編碼。
條款22A、一種用於對視頻資料進行寫碼的設備，該設備包含用於履行如條款1A-21A中任一項之方法的一個或多個構件。
條款23A、如條款22A之設備，其中，該一個或多個構件包含在電路中實現的一個或多個處理器。
條款24A、如條款22A及23A中任一項之設備，進一步包含：用於儲存該視頻資料的記憶體。
條款25A、如條款22A-24A中任一項之設備，進一步包含：經組態以顯示經解碼視頻資料的顯示器。
條款26A、如條款22A-25A中任一項之設備，其中，該設備包含相機、計算機、行動設備、廣播接收器設備或機頂盒中的一項或多項。
條款27A、如條款22A-26A中任一項之設備，其中，該設備包含視頻解碼器。
條款28A、如條款22A-27A中任一項之設備，其中，該設備包含視頻編碼器。
條款29A、一種具有儲存在其上的指令的計算機可讀儲存媒體，該指令當被執行時使得一個或多個處理器履行如條款1A-21A中任一條款之方法。
條款1B、一種對視頻資料進行解碼的方法，該方法包含：決定與該視頻資料的塊相關聯的窗口內的一個或多個重構殘差樣本值的絕對值的總和；至少部分地基於該絕對值的總和來決定類索引；基於該類索引決定自適應迴路濾波器；將該自適應迴路濾波器應用於該塊的當前待濾波樣本；以及基於該自適應迴路濾波器的該應用來對該塊進行解碼。
條款2B、如條款1B之方法，其中，決定該絕對值的總和並且決定該類索引包含將絕對值總及分類器應用於該窗口內的該一個或多個重構殘差樣本值。
條款3B、如條款1B或條款2B之方法，其中，該該自適應迴路濾波器包含固定自適應迴路濾波器或在位元串流中用信號通知的自適應迴路濾波器。
條款4B、如條款1B-3B中任一項之方法，其中，該類索引被限制在0至正整數值的範圍內。
條款5B、如條款1B-4B中任一項之方法，其中，該類索引進一步基於縮放因子。
條款6B、如條款5B之方法，其中，該縮放因子是基於量化參數、量化步長、預測模式或樣本位元深度中的至少一項的。
條款7B、如條款4B或條款5B之方法，其中，該類索引是基於該絕對值的總和除以該縮放因子的。
條款8B、如條款1B-7B中任一項之方法，進一步包含：避免將幾何轉置應用於該自適應迴路濾波器。
條款9B、如條款1B-7B中任一項之方法，進一步包含：將幾何轉置應用於該自適應迴路濾波器。
條款10B、如條款1B-9B中任一項之方法，進一步包含：從位元串流解析指示絕對值總和分類器的分類器的標識及關於該重構殘差樣本值將被輸入到該分類器的指示。
條款11B、如條款1B-10B中任一項之方法，其中，該當前待濾波樣本是第一當前待濾波樣本，該窗口是第一窗口，該類索引是第一類索引，該自適應迴路濾波器是第一自適應迴路濾波器，並且該塊是第一塊，該方法進一步包含：將分類器應用於與第二窗口相關聯的一個或多個輸入以決定第二類索引，該第二窗口與該視頻資料的第二塊相關聯；基於該第二類索引將第二自適應迴路濾波器應用於第二當前待濾波樣本；以及基於該第二自適應迴路濾波器的該應用對該第二塊進行解碼。
條款12B、如條款11B之方法，其中，與該第二窗口相關聯的該一個或多個輸入包含預測符、解量化變換係數、重構殘差樣本值、重構殘差樣本值的絕對值或解塊濾波之前的樣本。
條款13B、如條款11B或條款12B之方法，其中，該分類器包含基於拉普拉斯的分類器、基於頻帶的分類器、絕對值總和分類器、平方值總和分類器、方差分類器、熵分類器或總變化分類器。
條款14B、一種用於對視頻資料進行解碼的設備，該設備包含：一個或多個記憶體，其經組態以儲存該視頻資料；以及一個或多個處理器，其被實現在電路中，並且通信地耦合到該一個或多個記憶體，該一個或多個處理器經組態以：決定與該視頻資料的塊相關聯的窗口內的一個或多個重構殘差樣本值的絕對值的總和；至少部分地基於該絕對值的總和來決定類索引；基於該類索引決定自適應迴路濾波器；將該自適應迴路濾波器應用於該塊的當前待濾波樣本；以及基於該自適應迴路濾波器的該應用來對該塊進行解碼。
條款15B、如條款14B之設備，其中，作為決定該絕對值的總和及決定該類索引的部分，該一個或多個處理器經組態以將絕對值總和分類器應用於該窗口內的該一個或多個重構殘差樣本值。
條款16B、如條款14B或條款15B之設備，其中，該自適應迴路濾波器包含固定自適應迴路濾波器或在位元串流中用信號通知的自適應迴路濾波器。
條款17B、如條款14B-16B中任一項之設備，其中，該類索引被限制在0至正整數值的範圍內。
條款18B、如條款14B-17B中任一項之設備，其中，該類索引進一步基於縮放因子。
條款19B、如條款18B之設備，其中，該縮放因子是基於量化參數、量化步長、預測模式或樣本位元深度中的至少一項的。
條款20B、如條款18B或條款19B之設備，其中，該類索引是基於該絕對值的總和除以該縮放因子的。
條款21B、如條款14B-20B中任一項之設備，其中，該一個或多個處理器進一步經組態以避免將幾何轉置應用於該自適應迴路濾波器。
條款22B、如條款14B-20B中任一項之設備，其中，該一個或多個處理器進一步經組態以將幾何轉置應用於該自適應迴路濾波器。
條款23B、如條款14B-22B中任一項之方法，其中，該一個或多個處理器進一步經組態以：從位元串流解析指示絕對值總和分類器的分類器的標識及關於該重構殘差樣本值將被輸入到該分類器的指示。
條款24B、如條款14B-23B中任一項之設備，其中，該當前待濾波樣本是第一當前待濾波樣本，該窗口是第一窗口，該類索引是第一類索引，該自適應迴路濾波器是第一自適應迴路濾波器，並且該塊是第一塊，以及其中，該一個或多個處理器進一步經組態以：將分類器應用於與第二窗口相關聯的一個或多個輸入以決定第二類索引，該第二窗口與該視頻資料的第二塊相關聯；基於該第二類索引將第二自適應迴路濾波器應用於第二當前待濾波樣本；以及基於該第二自適應迴路濾波器的該應用對該第二塊進行解碼。
條款25B、如條款24B之設備，其中，與該第二窗口相關聯的該一個或多個輸入包含預測符、解量化變換係數、重構殘差樣本值、重構殘差樣本值的絕對值或解塊濾波之前的樣本。
條款26B、如條款24B或條款15B之設備，其中，該分類器包含基於拉普拉斯的分類器、基於頻帶的分類器、絕對值總和分類器、平方值總和分類器、方差分類器、熵分類器或總變化分類器。
條款27B、如條款14B-26B中任一項之設備，進一步包含：經組態以顯示經解碼視頻資料的顯示器。
條款28B、如條款14B-27B中任一項之設備，其中，該設備包含相機、計算機、行動設備、廣播接收器設備或機頂盒中的一項或多項。
條款29B、一種對視頻資料進行編碼的方法，該方法包含：決定與該視頻資料的塊相關聯的窗口內的一個或多個重構殘差樣本值的絕對值的總和；至少部分地基於該絕對值的總和來決定類索引；基於該類索引決定自適應迴路濾波器；將該自適應迴路濾波器應用於該塊的當前待濾波樣本；以及基於該自適應迴路濾波器的該應用來對該塊進行編碼。
條款30B、一種用於對視頻資料進行編碼的設備，該設備包含：一個或多個記憶體，其經組態以儲存該視頻資料；以及一個或多個處理器，其被實現在電路中，並且通信地耦合到該一個或多個記憶體，該一個或多個處理器經組態以：決定與該視頻資料的塊相關聯的窗口內的一個或多個重構殘差樣本值的絕對值的總和；至少部分地基於該絕對值的總和來決定類索引；基於該類索引決定自適應迴路濾波器；將該自適應迴路濾波器應用於該塊的當前待濾波樣本；以及基於該自適應迴路濾波器的該應用來對該塊進行編碼。
要認識到的是，根據示例，本文描述的任何技術的特定動作或事件可以以不同的順序履行，可以被添加、合併或完全省略（例如，並非所有描述的動作或事件是對於實踐該技術都是必要的）。此外，在特定示例中，動作或事件可以併發地（例如通過多線程處理、中斷處理或多個處理器）而不是順序地履行。
在一個或多個示例中，可以以硬體、軟體、韌體或其任意組合來實現所描述的功能。如果以軟體實現，則該功能可以作為一個或多個指令或代碼在計算機可讀媒體上進行儲存或傳送，並由基於硬體的處理單元執行。計算機可讀媒體可以包括：計算機可讀儲存媒體，其對應於諸如資料儲存媒體之類的有形媒體，或者通信媒體，包括來促進計算機程式從一個地方傳送到另一個地方（例如根據通信協定）的任何媒體。以這種方式，計算機可讀媒體通常可以對應於：（1）非暫時性的有形計算機可讀儲存媒體，或者（2）諸如信號或載波的通信媒體。資料儲存媒體可以是可以由一台或多台計算機或一個或多個處理器存取以檢索指令、代碼及/或資料結構以實現本公開內容中描述的技術的任何可用媒體。計算機程式產品可以包括計算機可讀媒體。
例如而非進行限制，這樣的計算機可讀儲存媒體可以包括如下一項或多項：RAM、ROM、EEPROM、CD-ROM或其它光盤儲存、磁盤儲存或其它磁儲存設備、快閃記憶體、或者能夠用於以指令或資料結構形式儲存期望的程式代碼以及能夠由計算機存取的任何其它媒體。另外，任何連接都被適當地稱為計算機可讀媒體。例如，如果用同軸纜線、光纖纜線、雙絞線、數位用戶線路（DSL）或例如紅外、無線及微波的無線技術從網站、伺服器或其它遠程源傳送軟體，則該同軸纜線、光纖纜線、雙絞線、DSL或例如紅外、無線及微波的無線技術亦包括在媒體的定義中。然而，應當理解，計算機可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其它暫時性媒體，而是針對非暫時性有形儲存媒體。本文所使用的磁盤及光碟包括緊湊光碟（CD）、雷射光碟、光學光碟、數位多功能光碟（DVD）、軟盤及藍光碟，其中磁盤通常磁性地再現資料，而光碟通常利用雷射光學地再現資料。上述的組合應當亦被包括在計算機可讀媒體的範疇內。
指令可由一個或多個處理器執行，諸如一個或多個DSP、通用微處理器、ASIC、FPGA或其它等效整合或離散邏輯電路。相應地，如本文所使用的術語“處理器”及“處理電路”可以指任何前述結構或適合於實現本文描述的技術的任何其它結構。另外，在一些態樣中，本文描述的功能可以在經組態用於編碼及解碼的專屬硬體及/或軟體模組內提供，或結合在組合編解碼器中。同樣，該技術可以在一個或多個電路或邏輯元件中完全實現。
本公開內容的技術可以在包括無線手持機、積體電路（IC）或一組IC（例如，晶片組）的多種設備或裝置中實現。在本公開內容中描述各種組件、模組或單元以強調經組態以履行所公開技術的設備的功能態樣，但不一定需要由不同硬體單元來實現。而是，如上所述，各種單元可以組合在編解碼器硬體單元中，或者由互操作的硬體單元的集合來提供，包括與合適的軟體及/或韌體相結合的如上所述的一個或多個處理器。
已經描述各個示例。這些及其它示例在以下申請專利範圍的範疇內。
100:系統 102:源設備 104:視頻源 106:記憶體 108:輸出介面 110:計算機可讀媒體 112:儲存設備 114:檔案伺服器 116:目的地設備 118:顯示設備 120:記憶體 122:輸入介面 200:視頻編碼器 300:視頻解碼器 202:模式選擇單元 204:殘差生成單元 206:變換處理單元 208:量化單元 210、306:逆量化單元 212、308:逆變換處理單元 214、310:重構單元 216、312:濾波器單元 217、317:分類器 218、314:解碼圖片緩衝器（DPB） 220:熵編碼單元 222:運動估計單元 224、316:運動補償單元 226、318:框內預測單元 230:視頻資料記憶體 250:7x7菱形形狀 260:5x5菱形形狀 302:熵解碼單元 304:預測處理單元 320:寫碼圖片緩衝器（CPB）記憶體 350（圖3）:4x4塊 350（圖14）:預測當前塊 352:計算用於當前塊的殘差塊 354:變換及量化殘差塊 356:掃描殘差塊的變換係數 358:對變換係數進行熵編碼 360（圖3）:窗口 360（圖14）:輸出塊的經熵編碼資料 370:接收用於當前塊的經熵編碼資料 372:對資料進行熵解碼以決定預測資訊並再現變換係數 374:預測當前塊 376:逆掃描再現的變換係數 378:逆量化變換係數並將逆變換應用於變換係數以產生殘差塊 380:組合預測塊及殘差塊 400:水平梯度 410:垂直梯度 420:135度梯度 430:45度梯度 500:合併表 600、610、620:幾何變換 700:虛擬邊界（VB） 710、720:濾波器 712、722:樣本 714、724:待濾波樣本 730:虛擬邊界（VB） 740、750:濾波器 741、751:待濾波樣本 742、744、746、748:樣本 752、754、756、758:樣本 760:虛擬邊界（VB） 770、780:濾波器 772、782:樣本 810、820:窗口 812、822:虛擬邊界（VB） 900:預濾波階段 902:最終濾波階段 1000:第一階段 1002:第二階段 1100:決定一個或多個重構殘差樣本值的絕對值的總和 1102:至少部分地基於絕對值的總和來決定類索引 1104:基於類索引來決定自適應迴路濾波器 1106:將自適應迴路濾波器應用於塊的當前待濾波樣本 1108:基於自適應迴路濾波器的應用來對塊進行寫碼
圖1是示出可以履行本公開內容的技術的示例視頻編碼及解碼系統的方塊圖。
圖2是示出VVC版本1中的示例ALF濾波器形狀的概念圖。
圖3是示出用於ALF分類的4x4子塊的示例經二次採樣的拉普拉斯值的概念圖。
圖4是示出亮度樣本的示例拉普拉斯梯度值H、V、D1、D2的概念圖。
圖5是示出將25個亮度類合併成7個合併類的示例的概念圖。
圖6是示出7x7菱形濾波器形狀的幾何變換的示例的概念圖。
圖7A-7C是示出ALF虛擬邊界處的亮度ALF濾波的示例對稱樣本填充的概念圖。
圖8是示出ALF虛擬邊界處的示例ALF 4x4子塊分類的概念圖。
圖9是示出具有多個分類器的示例ALF框架的概念圖。
圖10是示出具有三個分類器的示例ALF框架的概念圖。
圖11是示出根據本公開內容的一個或多個態樣的示例自適應迴路濾波器分類器技術的流程圖。
圖12是示出可以履行本公開內容的技術的示例視頻編碼器的方塊圖。
圖13是示出可以履行本公開內容的技術的示例視頻解碼器的方塊圖。
圖14是示出根據本公開內容的技術的用於編碼當前塊的示例方法的流程圖。
圖15是示出根據本公開內容的技術的用於解碼當前塊的示例方法的流程圖。
1100:決定一個或多個重構殘差樣本值的絕對 值的總和
1102:至少部分地基於絕對值的總和來決定類索引
1104:基於類索引來決定自適應迴路濾波器
1106:將自適應迴路濾波器應用於塊的當前待濾波樣本
1108:基於自適應迴路濾波器的應用來對塊進行寫碼

Claims (30)

  1. 一種對視頻資料進行解碼的方法，該方法包含： 決定與該視頻資料的塊相關聯的窗口內的一個或多個重構殘差樣本值的絕對值的總和； 至少部分地基於該絕對值的總和來決定類索引； 基於該類索引來決定自適應迴路濾波器； 將該自適應迴路濾波器應用於該塊的當前待濾波樣本；以及 基於該自適應迴路濾波器的該應用對該塊進行解碼。
  2. 如請求項1之方法，其中，決定該絕對值的總和並且決定該類索引包含將絕對值總和分類器應用於該窗口內的該一個或多個重構殘差樣本值。
  3. 如請求項1之方法，其中，該自適應迴路濾波器包含固定自適應迴路濾波器或在位元串流中用信號通知的自適應迴路濾波器。
  4. 如請求項1之方法，其中，該類索引被限制在0到正整數值的範圍內。
  5. 如請求項1之方法，其中，該類索引進一步基於縮放因子。
  6. 如請求項5之方法，其中，該縮放因子是基於量化參數、量化步長、預測模式或樣本位元深度中的至少一項的。
  7. 如請求項5之方法，其中，該類索引是基於該絕對值的總和除以該縮放因子的。
  8. 如請求項1之方法，進一步包含：避免將幾何轉置應用於該自適應迴路濾波器。
  9. 如請求項1之方法，進一步包含：將幾何轉置應用於該自適應迴路濾波器。
  10. 如請求項1之方法，進一步包含：從位元串流解析指示絕對值總和分類器的分類器的標識及關於該重構殘差樣本值將被輸入到該分類器的指示。
  11. 如請求項1之方法，其中，該當前待濾波樣本為第一當前待濾波樣本，該窗口為第一窗口，該類索引為第一類索引，該自適應迴路濾波器為第一自適應迴路濾波器，並且該塊為第一塊，該方法進一步包含： 將分類器應用於與第二窗口相關聯的一個或多個輸入，以決定第二類索引，該第二窗口與該視頻資料的第二塊相關聯； 基於該第二類索引，將第二自適應迴路濾波器應用於第二當前待濾波樣本；以及 基於該第二自適應迴路濾波器的該應用對該第二塊進行解碼。
  12. 如請求項11之方法，其中，與該第二窗口相關聯的該一個或多個輸入包含預測符、解量化變換係數、重構殘差樣本值、重構殘差樣本值的絕對值或解塊濾波之前的樣本。
  13. 如請求項11之方法，其中，該分類器包含基於拉普拉斯的分類器、基於頻帶的分類器、絕對值總和分類器、平方值總和分類器、方差分類器、熵分類器或總變化分類器。
  14. 一種用於對視頻資料進行解碼的設備，該設備包含： 一個或多個記憶體，其經組態以儲存該視頻資料；以及 一個或多個處理器，其被實現在電路中，並且通信地耦合到該一個或多個記憶體，該一個或多個處理器經組態以： 決定與該視頻資料的塊相關聯的窗口內的一個或多個重構殘差樣本值的絕對值的總和； 至少部分地基於該絕對值的總和來決定類索引； 基於該類索引來決定自適應迴路濾波器； 將該自適應迴路濾波器應用於該塊的當前待濾波樣本；以及 基於該自適應迴路濾波器的該應用對該塊進行解碼。
  15. 如請求項14之設備，其中，作為決定該絕對值的總和及決定該類索引的部分，該一個或多個處理器經組態以將絕對值總和分類器應用於該窗口內的該一個或多個重構殘差樣本值。
  16. 如請求項14之設備，其中，該自適應迴路濾波器包含固定自適應迴路濾波器或在位元串流中用信號通知的自適應迴路濾波器。
  17. 如請求項15之設備，其中，該類索引被限制在0至正整數值的範圍內。
  18. 如請求項15之設備，其中，該類索引進一步基於縮放因子。
  19. 如請求項18之設備，其中，該縮放因子是基於量化參數、量化步長、預測模式或樣本位元深度中的至少一項的。
  20. 如請求項18之設備，其中，該類索引是基於該絕對值的總和除以該縮放因子的。
  21. 如請求項14之設備，其中，該一個或多個處理器進一步經組態以：避免將幾何轉置應用於該自適應迴路濾波器。
  22. 如請求項14之設備，其中，該一個或多個處理器進一步經組態以：將幾何轉置應用於該自適應迴路濾波器。
  23. 如請求項14之設備，其中，該一個或多個處理器進一步經組態以：從位元串流解析指示絕對值總和分類器的分類器的標識及關於該重構殘差樣本值將被輸入到該分類器的指示。
  24. 如請求項14之設備，其中，該當前待濾波樣本為第一當前待濾波樣本，該窗口為第一窗口，該類索引為第一類索引，該自適應迴路濾波器為第一自適應迴路濾波器，並且該塊為第一塊，並且其中，該一個或多個處理器進一步經組態以： 將分類器應用於與第二窗口相關聯的一個或多個輸入，以決定第二類索引，該第二窗口與該視頻資料的第二塊相關聯； 基於該第二類索引，將第二自適應迴路濾波器應用於第二當前待濾波樣本；以及 基於該第二自適應迴路濾波器的該應用對該第二塊進行解碼。
  25. 如請求項24之設備，其中，與該第二窗口相關聯的該一個或多個輸入包含預測符、解量化變換係數、重構殘差樣本值、重構殘差樣本值的絕對值或解塊濾波之前的樣本。
  26. 如請求項24之設備，其中，該分類器包含基於拉普拉斯的分類器、基於頻帶的分類器、絕對值總和分類器、平方值總和分類器、方差分類器、熵分類器或總變化分類器。
  27. 如請求項14之設備，進一步包含：經組態以顯示經解碼的視頻資料的顯示器。
  28. 如請求項14之設備，進一步包含相機、計算機、行動設備、廣播接收器設備或機頂盒中的一項或多項。
  29. 一種對視頻資料進行編碼的方法，該方法包含： 決定與該視頻資料的塊相關聯的窗口內的一個或多個重構殘差樣本值的絕對值的總和； 至少部分地基於該絕對值的總和來決定類索引； 基於該類索引來決定自適應迴路濾波器； 將該自適應迴路濾波器應用於該塊的當前待濾波樣本；以及 基於該自適應迴路濾波器的該應用對該塊進行編碼。
  30. 一種用於對視頻資料進行編碼的設備，該設備包含： 一個或多個記憶體，其經組態以儲存該視頻資料；以及 一個或多個處理器，其被實現在電路中，並且通信地耦合到該一個或多個記憶體，該一個或多個處理器經組態以： 決定與該視頻資料的塊相關聯的窗口內的一個或多個重構殘差樣本值的絕對值的總和； 至少部分地基於該絕對值的總和來決定類索引； 基於該類索引來決定自適應迴路濾波器； 將該自適應迴路濾波器應用於該塊的當前待濾波樣本；以及 基於該自適應迴路濾波器的該應用對該塊進行編碼。
TW112147950A 2023-01-03 2023-12-08 自適應迴路濾波器分類器 TW202431835A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202363478349P 2023-01-03 2023-01-03
US63/478,349 2023-01-03
US18/532,874 US20240223816A1 (en) 2023-01-03 2023-12-07 Adaptive loop filter classifiers
US18/532,874 2023-12-07

Publications (1)

Publication Number Publication Date
TW202431835A true TW202431835A (zh) 2024-08-01

Family

ID=91665437

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112147950A TW202431835A (zh) 2023-01-03 2023-12-08 自適應迴路濾波器分類器

Country Status (5)

Country Link
US (1) US20240223816A1 (zh)
EP (1) EP4646832A1 (zh)
KR (1) KR20250128971A (zh)
CN (1) CN120419172A (zh)
TW (1) TW202431835A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12341958B2 (en) * 2021-03-30 2025-06-24 Telefonaktiebolaget Lm Ericsson (Publ) Combined loop filtering

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8155195B2 (en) * 2006-04-07 2012-04-10 Microsoft Corporation Switching distortion metrics during motion estimation
US9554143B2 (en) * 2012-10-26 2017-01-24 Ittiam Systems (P) Ltd. System and method for efficient multi-bitrate and multi-spatial resolution media encoding
WO2020182213A1 (en) * 2019-03-13 2020-09-17 Beijing Bytedance Network Technology Co., Ltd. Sub-block transform in transform skip mode
US11265558B2 (en) * 2019-11-22 2022-03-01 Qualcomm Incorporated Cross-component adaptive loop filter

Also Published As

Publication number Publication date
CN120419172A (zh) 2025-08-01
KR20250128971A (ko) 2025-08-28
EP4646832A1 (en) 2025-11-12
US20240223816A1 (en) 2024-07-04

Similar Documents

Publication Publication Date Title
TWI888598B (zh) 多個自我調整迴路濾波器組
CN113853784B (zh) 用于视频译码的多个自适应环路滤波器集合的方法和装置
TWI888399B (zh) 低頻不可分離變換（ｌｆｎｓｔ）訊號傳遞
TW202115977A (zh) 用於視訊編碼的跨分量自我調整迴路濾波
TW202345593A (zh) 具有去方塊濾波之前的樣點和樣點自我調整偏移之前的樣點的自我調整迴路濾波器
TW202308377A (zh) 視訊譯碼中的用信號通知的具有多個分類器的自我調整迴路濾波器
TWI878429B (zh) 用於視訊編解碼的多重變換集訊號傳遞
US12439038B2 (en) Reduced complexity multi-mode neural network filtering of video data
US11997258B2 (en) Candidate lists of multiple reference lines for video coding
TW202408239A (zh) 用於視訊譯碼的訊框內預測融合
TWI900649B (zh) 約束用於以不同位元深度對視頻資料進行譯碼的自適應迴路濾波的操作位元深度
TW202418805A (zh) 視頻編解碼複雜性降低的幀內預測融合
TW202234886A (zh) 具有固定濾波器的自我調整迴路濾波器
TW202431835A (zh) 自適應迴路濾波器分類器
WO2023056176A1 (en) Candidate lists of multiple reference lines for video coding
US20250119540A1 (en) Applying a scaling factor to select a filter for filtering decoded video data
US20250227253A1 (en) Sample position and block characteristic dependent intra-prediction for video coding
TW202433933A (zh) 用於自然視頻內容的幀內區塊複製
TW202502037A (zh) 自適應視頻濾波器分類器方法
TW202446065A (zh) 自適應視頻濾波器
WO2024147884A1 (en) Adaptive loop filter classifiers
WO2025264372A1 (en) Temporal scalability for adaptive loop filter scaling factors for video coding
WO2025075757A1 (en) Applying a scaling factor to select a filter for filtering decoded video data
WO2025221445A1 (en) Adaptive loop filter (alf) and/or cross-component alf for video coding
WO2026015303A1 (en) Adaptive loop filter joint optimization in video coding