TW202236848A - 使用增強內插濾波器的訊框內預測 - Google Patents

Abstract

本文描述了用於使用用於訊框內預測的增強內插濾波器來處理視訊資料的技術。例如，設備可以決定用於預測視訊資料區塊的訊框內預測模式。該設備可以決定要用於視訊資料區塊的平滑濾波器的類型，其中平滑濾波器的類型是至少部分地基於將視訊資料區塊的寬度和視訊資料區塊的高度中的至少一項與第一閥值進行比較來決定的。該設備可以使用所決定的平滑濾波器的類型和訊框內預測模式來針對視訊資料區塊執行訊框內預測。

Description

使用增強內插濾波器的訊框內預測

本案係關於視訊譯碼（例如，包括視訊資料的編碼及/或解碼）。例如，本案的各態樣係關於用於使用增強內插濾波器來執行訊框內預測的系統和技術。

許多設備和系統允許視訊資料被處理和輸出以供消費。數位視訊資料包括大量資料，以滿足消費者和視訊提供者的需求。例如，視訊資料的消費者期望最高品質的視訊，其具有高保真度、高解析度、高畫面播放速率等。結果，滿足這些需求所需要的大量視訊資料為處理和儲存視訊資料的通訊網路和設備帶來了負擔。

各種視訊譯碼技術可以用於對視訊資料進行壓縮。可以根據一或多個視訊譯碼標準來執行視訊譯碼。例如，視訊譯碼標準包括通用視訊譯碼（VVC）、高效率視訊譯碼（HEVC）、高級視訊譯碼（AVC）、MPEG-2第2部分譯碼（MPEG代表運動影像專家組）等，以及諸如開放媒體聯盟開發的AOMedia Video 1（AV1）之類的專有視訊轉碼器/格式。視訊譯碼通常利用預測方法（例如，訊框間預測、訊框內預測等），預測方法利用在視訊影像或序列中存在的冗餘。視訊譯碼技術的目標是將視訊資料壓縮為使用較低位元速率的形式，同時避免或最小化視訊品質的降級。隨著不斷發展的視訊服務變得可用，需要具有更好的譯碼效率的編碼技術。

在一些實例中，描述了一種用於使用增強內插濾波器來執行訊框內預測的系統和技術，增強內插濾波器可以基於諸如塊大小、訊框內預測模式等之類的資訊來應用可變類型和平滑度。根據至少一個說明性實例，提供了一種用於處理視訊資料的方法。該方法包括：決定用於預測視訊資料區塊的訊框內預測模式；決定要用於該視訊資料區塊的平滑濾波器的類型，其中該平滑濾波器的該類型是至少部分地基於將該視訊資料區塊的寬度和該視訊資料區塊的高度中的至少一項與第一閥值進行比較來決定的；及使用所決定的平滑濾波器的類型和該訊框內預測模式來針對該視訊資料區塊執行訊框內預測。

在另一實例中，提供了一種用於處理視訊資料的裝置，該裝置包括至少一個記憶體（例如，被配置為儲存資料，諸如虛擬內容資料、一或多個影像等）和耦合到該至少一個記憶體的至少一個處理器（例如，在電路中實現）。該一或多個處理器被配置為並且能夠進行以下操作：決定用於預測視訊資料區塊的訊框內預測模式；決定要用於該視訊資料區塊的平滑濾波器的類型，其中該平滑濾波器的該類型是至少部分地基於將該視訊資料區塊的寬度和該視訊資料區塊的高度中的至少一項與第一閥值進行比較來決定的；及使用所決定的平滑濾波器的類型和該訊框內預測模式來針對該視訊資料區塊執行訊框內預測。

在另一實例中，提供了一種具有儲存在其上的指令的非暫時性電腦可讀取媒體，該等指令在由一或多個處理器執行時使得該一或多個處理器進行以下操作：決定用於預測視訊資料區塊的訊框內預測模式；決定要用於該視訊資料區塊的平滑濾波器的類型，其中該平滑濾波器的該類型是至少部分地基於將該視訊資料區塊的寬度和該視訊資料區塊的高度中的至少一項與第一閥值進行比較來決定的；及使用所決定的平滑濾波器的類型和該訊框內預測模式來針對該視訊資料區塊執行訊框內預測。

在另一實例中，提供了一種用於處理視訊資料的裝置。該裝置包括：用於決定用於預測視訊資料區塊的訊框內預測模式的單元；用於決定要用於該視訊資料區塊的平滑濾波器的類型的單元，其中該平滑濾波器的該類型是至少部分地基於將該視訊資料區塊的寬度和該視訊資料區塊的高度中的至少一項與第一閥值進行比較來決定的；及用於使用所決定的平滑濾波器的類型和該訊框內預測模式來針對該視訊資料區塊執行訊框內預測的單元。

在一些態樣中，該程序、裝置和電腦可讀取媒體亦可以包括：至少部分地基於關於該塊的該寬度和該塊的該高度中的至少一項大於該第一閥值的決定，使用第一平滑內插濾波器作為所決定的平滑濾波器的類型；及使用該第一平滑內插濾波器來決定用於該視訊資料區塊的訊框內預測的參考圖元。

在一些態樣中，該第一平滑內插濾波器包括6分接點高斯濾波器。

在一些態樣中，該程序、裝置和電腦可讀取媒體亦可以包括：至少部分地基於關於該塊的該寬度和該塊的該高度中的至少一項不大於該第一閥值的決定，使用第二平滑內插濾波器作為所決定的平滑濾波器的類型；及使用該第二平滑內插濾波器來決定用於該視訊資料區塊的訊框內預測的參考圖元。

在一些態樣，該第二平滑內插濾波器包括4分接點高斯濾波器。

在一些態樣中，該程序、裝置和電腦可讀取媒體亦可以包括：決定該訊框內預測模式的角度方向與垂直訊框內預測模式和水平訊框內預測模式中的一項之間的最小偏移；及基於將所決定的最小偏移與第二閥值進行比較來決定要用於該視訊資料區塊的平滑濾波器的該類型。

在一些態樣中，該程序、裝置和電腦可讀取媒體亦可以包括：至少部分地基於關於所決定的最小偏移大於該第二閥值的決定以及關於該訊框內預測模式是與整數值參考圖元位置相關聯的整數角度模式的決定，將低通濾波器決定為平滑濾波器的該類型。

在一些態樣中，該低通濾波器在沒有內插的情況下執行參考圖元平滑，該低通濾波器包括[1 2 1]濾波器。

在一些態樣中，該程序、裝置和電腦可讀取媒體亦可以包括：至少部分地基於關於所決定的最小偏移大於該第二閥值的決定以及關於該訊框內預測模式是與分數值參考圖元位置相關聯的分數角度模式的決定，將高斯濾波器決定為平滑濾波器的該類型。

在一些態樣，該高斯濾波器在沒有參考圖元平滑的情況下執行平滑內插。

在一些態樣中，該高斯濾波器基於關於該塊的該寬度和該塊的該高度中的至少一項大於該第一閥值的決定而包括6分接點高斯濾波器。

在一些態樣中，該高斯濾波器基於關於該塊的該寬度和該塊的該高度中的至少一項不大於該第一閥值的決定而包括4分接點高斯濾波器。

在一些態樣中，該程序、裝置和電腦可讀取媒體亦可以包括：至少部分地基於關於所決定的最小偏移不大於該第二閥值的決定：使用內插濾波器作為所決定的平滑濾波器的類型，其中該內插濾波器包括4分接點三次濾波器；及在不應用參考圖元平滑的情況下，使用該內插濾波器來針對該視訊資料區塊執行訊框內預測。

在一些態樣中，該程序、裝置和電腦可讀取媒體亦可以包括：至少部分地基於關於該訊框內預測模式是整數角度模式的決定以及關於所決定的最小偏移大於該第二閥值的決定，將低通濾波器決定為平滑濾波器的該類型。

在一些態樣中，該程序、裝置和電腦可讀取媒體亦可以包括：至少部分地基於關於該塊的該寬度和該塊的該高度中的至少一項大於該第一閥值的決定，使用大分接點低通濾波器來執行參考圖元平滑，其中該大分接點低通濾波器應用與小分接點低通濾波器相比更大的參考圖元平滑的程度。

在一些態樣中，該程序、裝置和電腦可讀取媒體亦可以包括：至少部分地基於關於該塊的該寬度和該塊的該高度中的至少一項不大於該第一閥值的決定，使用小分接點低通濾波器來執行參考圖元平滑，其中該小分接點低通濾波器應用與大分接點低通濾波器相比更小的參考圖元平滑的程度。

在一些態樣中，該程序、裝置和電腦可讀取媒體亦可以包括：至少部分地基於將該訊框內預測模式的斜率與根據該塊的該寬度和該塊的該高度決定的一或多個圖元位置進行比較，將該訊框內預測模式決定為整數角度模式。

在一些態樣中，該程序、裝置和電腦可讀取媒體亦可以包括：決定該訊框內預測模式的角度方向與垂直訊框內預測模式或水平訊框內預測模式之間的偏移小於第二閥值；及基於決定該訊框內預測模式的該角度方向與該垂直訊框內預測模式或該水平訊框內預測模式之間的該偏移小於該第二閥值，使用三次內插濾波器來針對該視訊資料區塊執行訊框內預測。

在一些態樣中，該程序、裝置和電腦可讀取媒體亦可以包括：使用弱內插濾波器來執行輔助線擴展，其中：該弱內插濾波器用於在使用該三次內插濾波器執行訊框內預測之前執行該輔助線擴展；並且該三次內插濾波器具有與該弱內插濾波器相比更高的截止頻率，並且應用與該弱內插濾波器相比更大的平滑程度。

在一些態樣中，該弱內插濾波器包括4分接點基於sinc的內插濾波器和6位元4分接點內插濾波器。

在一些態樣中，平滑濾波器的該類型是在視訊位元串流中用訊號通知的。

在一些態樣中，平滑濾波器的該類型是針對預測塊、譯碼塊、譯碼樹單元（CTU）、切片或序列的集合中的單獨各項用訊號通知的。

在一些態樣中，該程序、裝置和電腦可讀取媒體亦可以包括：在不使用在視訊位元串流中顯式地用訊號通知的資訊的情況下，基於該塊的該寬度和該高度中的至少一項來決定平滑濾波器的該類型。

在一些態樣中，該程序、裝置和電腦可讀取媒體亦可以包括：決定用於該視訊資料區塊的殘差資料區塊；及使用該殘差資料區塊和基於針對該視訊資料區塊執行訊框內預測而決定的預測塊來對該視訊資料區塊進行解碼。

在一些態樣中，該程序、裝置和電腦可讀取媒體亦可以包括：產生包括與該視訊資料區塊相關聯的資訊的經編碼的視訊位元串流。

在一些態樣中，該程序、裝置和電腦可讀取媒體亦可以包括：儲存經編碼的視訊位元串流（例如，在該裝置的該至少一個記憶體中）。

在一些態樣中，該程序、裝置和電腦可讀取媒體亦可以包括：發送經編碼的視訊位元串流（例如，使用該裝置的發射器）。

在一些態樣中，上述裝置之每一者裝置可以是以下各項或可以是以下各項的一部分：行動設備（例如，行動電話或所謂的「智慧型電話」、平板電腦或其他類型的行動設備）、網路連接的可穿戴設備、擴展現實設備（例如，虛擬實境（VR）設備、增強現實（AR）設備或混合現實（MR）設備、個人電腦、膝上型電腦、伺服器電腦（例如，視訊伺服器或其他伺服器設備）、電視、車輛（或車輛的計算設備或系統）、相機（例如，數位相機、網際網路協定（IP）相機等）、多相機系統、機器人設備或系統，航空設備、系統或其他設備。在一些態樣中，裝置之每一者裝置可以包括用於擷取一或多個影像或視訊訊框的至少一個相機。例如，裝置之每一者裝置可以包括用於擷取一或多個影像及/或包括視訊訊框的一或多個視訊的相機（例如，RGB照相機）或多個照相機。在一些態樣中，裝置之每一者裝置可以包括用於顯示一或多個影像、視訊、通知或其他可顯示資料的顯示器。在一些態樣中，裝置之每一者裝置可以包括發射器，其被配置為在傳輸媒體上向至少一個設備發送一或多個視訊訊框及/或語法資料。在一些態樣中，裝置之每一者裝置可以包括一或多個感測器。

該發明內容既不意欲標識所要求保護的主題的關鍵或必要特徵，亦不意欲單獨用於決定所要求保護的主題的範疇。經由參考本專利的整個說明書的適當部分、任何或所有附圖以及每個請求項，應當理解該主題。

在參考以下說明書、請求項和附圖之後，前述內容以及其他特徵和實施例將變得更加顯而易見。

下文提供了本案內容的某些態樣和實施例。如對於本發明所屬領域中具有通常知識者將顯而易見的，這些態樣和實施例中的一些可以獨立地應用，並且它們中的一些可以相結合地應用。在以下描述中，出於解釋的目的，闡述了具體細節以便提供對本案的實施例的透徹理解。然而，將顯而易見的是，可以在沒有這些具體細節的情況下實施各個實施例。附圖和描述並不意欲是限制性的。

隨後的描述僅提供了示例性實施例，並且不意欲限制本案內容的範疇、適用性或配置。確切而言，對這些示例性實施例的隨後描述將向本發明所屬領域中具有通常知識者提供用於實現示例性實施例的可行描述。應當理解的是，在不脫離如在所附的申請專利範圍中闡述的本案的精神和範疇的情況下，可以對元素的功能和佈置進行各種改變。

數位視訊資料可以包括大量資料，特別是隨著對高品質視訊資料的需求持續增長。例如，視訊資料的消費者通常期望視訊品質越來越高，具有高保真度、解析度、畫面播放速率等。然而，滿足此類需求所要求的大量視訊資料可能會給通訊網路以及處理和儲存視訊資料的設備帶來巨大負擔。

視訊譯碼設備實現視訊壓縮技術以對視訊資料高效地編碼和解碼。視訊壓縮技術可以包括應用不同的預測模式以減少或去除在視訊序列中固有的冗餘,預測模式包括空間預測（例如，訊框內預測（intra-frame prediction）或訊框內預測（intra-prediction））、時間預測（例如，訊框間預測（inter-frame prediction）或訊框間預測（inter-prediction））、層間預測（跨視訊資料的不同層）、及/或其他預測技術。視訊轉碼器可以將原始視訊序列的每個圖片分割為矩形區域，該矩形區域被稱為視訊塊或譯碼單元（下文將更加詳細地描述）。可以使用特定的預測模式來對這些視訊塊進行編碼。

視訊塊可以以一或多個方式劃分為一組或多組更小的塊。塊可以包括譯碼樹塊、預測塊、變換塊及/或其他適當的塊。除非另外指定，否則通常對「塊」的引用可以代表此類視訊塊（例如，如本發明所屬領域中具有通常知識者將理解的，譯碼樹塊、譯碼塊、預測塊、變換塊或其他合適的塊或子塊）。此外，這些塊之每一者塊在本文中亦可以被互換地稱為「單元」（例如，譯碼樹單元（CTU）、譯碼單元、預測單元（PU）、變換單元（TU）等）。在一些情況下，單元可以指示被編碼在位元串流中的譯碼邏輯單元，而塊可以指示程序所針對的視訊訊框緩衝器中的一部分。

對於訊框間預測模式，視訊轉碼器可以搜尋與位於另一時間位置上的在訊框（或圖片）中被編碼的塊類似的塊，被稱為參考訊框或參考圖片。視訊轉碼器可以將搜尋限制為與要被編碼的塊相距特定的空間位移。可以使用包括水平位移分量和垂直位移分量的二維（2D）運動向量來定位最佳匹配。對於訊框內預測模式，視訊轉碼器可以基於來自同一圖片內的先前編碼的相鄰塊的資料，使用空間預測技術來形成預測塊。

視訊轉碼器可以決定預測誤差。例如，可以將預測決定為在正被編碼的塊與預測塊中的圖元值之間的差。預測誤差亦可以被稱為殘差。視訊轉碼器亦可以將變換應用於預測誤差（例如，離散餘弦變換（DCT）或其他適當的變換）以產生變換係數。在變換之後，視訊轉碼器可以對變換係數進行量化。經量化的變換係數和運動向量可以使用語法元素來表示，並且與控制資訊一起形成視訊序列的譯碼表示。在一些情況下，視訊轉碼器可以對經量化的變換係數及/或語法元素進行熵編碼，從而進一步減少需要用於其表示的位元數量。

在對所接收的位元串流進行熵解碼和去量化之後，視訊解碼器可以使用以上論述的語法元素和控制資訊來構造用於對當前訊框進行解碼的預測資料（例如，預測塊）。例如，視訊解碼器可以將預測塊和經壓縮的預測誤差相加。視訊解碼器可以經由使用量化係數對變換基函數進行加權來決定經壓縮的預測誤差。在經重構的訊框與原始訊框之間的差被稱為重構誤差。

可以根據特定視訊譯碼標準來執行視訊譯碼。視訊譯碼標準的實例包括但不限於ITU-T H.261、ISO/IEC MPEG-1視訊、ITU-T H.262或ISO/IEC MPEG-2視訊、ITU-T H.263、ISO/IEC MPEG-4視訊、高級視訊譯碼（AVC）或ITU-T H.264（包括其可伸縮視訊譯碼（SVC）和多視圖視訊譯碼（MVC）擴展）、高效率視訊譯碼（HEVC）或ITU-T H.265（包括其範圍和螢幕內容譯碼）、3D視訊譯碼（3D-HEVC）、多視圖（MV-HEVC）和可縮放（SHVC）擴展、通用視訊譯碼（VVC）或ITU-T H.266及其擴展、VP9、開放媒體聯盟（AOMedia）視訊1（AV1）、基本視訊譯碼（EVC）等。

如前述，視訊轉碼器可以將原始視訊序列的每個圖片劃分為一或多個較小的塊或矩形區域，隨後可以使用例如訊框內預測（或訊框內預測）對其進行編碼，以移除原始視訊序列固有的空間冗餘。若以訊框內預測模式對塊進行編碼，則基於先前編碼和重構的塊（其在視訊轉碼器和視訊解碼器兩者中可用於形成預測參考）來形成預測塊。例如，可以使用相鄰的、先前編碼的塊的圖元值來決定當前塊（例如，當前編碼的或當前解碼的）內部的圖元值的空間預測。這些圖元值用作參考圖元。參考圖元可以被組織成一或多個參考圖元線及/或參考圖元組。在一些實例中，訊框內預測可以應用於塊的亮度分量和色度分量兩者。

多種不同的訊框內預測模式可以用於提供不同的空間預測技術，以基於來自同一圖片內先前編碼的相鄰塊（例如，來自參考圖元）的資料形成預測參考或預測塊。訊框內預測模式可以包括平面和DC模式及/或定向訊框內預測模式（亦被稱為「規則訊框內預測模式」）。在一些實例中，可以使用單個平面訊框內預測和單個DC訊框內預測模式以及多種定向訊框內預測模式。訊框內預測模式描述用於基於參考圖元值來計算被譯碼的區域中的圖元值的不同變型或方法。在一個說明性實例中，HEVC標準提供33種定向訊框內預測模式。在另一說明性實例中，VVC及/或VVC測試模型5（VTM5）擴展HEVC定向訊框內預測模式以提供總共93中定向訊框內預測模式。

在視訊解碼器處，用於每個經編碼的塊的訊框內預測模式的選擇（例如，視訊轉碼器在產生經編碼的塊時對訊框內預測模式的選擇）可以由解碼器決定（例如，推導）或者可以用訊號通知給視訊解碼器。例如，在一些情況下，相鄰塊之間的訊框內預測模式可以是相關的（例如，若使用訊框內預測模式2預測了兩個相鄰的、先前編碼的塊，則當前塊的最佳訊框內預測模式亦很可能是訊框內預測模式2）。在一些實例中，對於每個當前塊，視訊轉碼器和視訊解碼器可以計算最可能的訊框內預測模式。視訊轉碼器亦可以用訊號向視訊解碼器通知訊框內預測模式（例如，使用標誌、模式參數、模式選擇器等）。

如前述，在當前的VVC標準中，提供了93種定向訊框內預測模式。每種訊框內預測模式與不同的角度方向相關聯，使得訊框內預測模式是唯一且不重疊的。定向訊框內預測模式可以被分為整數角度模式或分數（非整數角度）模式。對於給定的視訊資料區塊，整數角度訊框內預測模式在整數位置處具有參考圖元，例如，整數角度訊框內預測模式具有穿過位於當前譯碼塊周長處的參考圖元的位置的斜率。相比之下，分數訊框內預測模式在整數位置不具有參考圖元，替代地具有穿過兩個相鄰參考圖元之間某處的點的斜率（例如，分數位置i+f（i：整數部分，f：分數部分）的圖元的斜率穿過圖元i和圖元i+1）。

根據VVC標準，可以基於訊框內預測模式來向參考圖元應用一或多個平滑濾波器及/或操作。經由對參考圖元進行平滑或濾波，可以獲得更準確的訊框內預測結果，因為訊框內預測結果是根據經平滑的參考圖元來計算的。在一些實例中，可以針對分數訊框內預測模式和整數（例如，整數斜率）訊框內預測模式兩者執行參考圖元平滑。除了用於參考圖元平滑的平滑濾波器外，VVC標準亦規定了一或多個內插濾波器的使用。在一些實例中，可以經由直接平滑參考圖元來執行平滑。在一些實例中，平滑操作可以與內插操作組合或結合內插操作執行（例如，經由應用平滑內插濾波器）。

例如，內插濾波器可以用於針對分數訊框內預測模式執行內插。分數訊框內預測模式具有非整數值斜率，並且因此與分數參考圖元位置（例如，在相鄰參考圖元之間的位置）相關聯。因此，用於分數訊框內預測模式的訊框內預測可以在相鄰參考圖元的值之間內插，以計算分數參考圖元位置的內插。在一些場景中，大多數定向訊框內預測模式可以是分數（例如，非整數）模式。例如，在VVC標準中，訊框內預測模式-14、-12、-10、-6、2、18、34、50、66、72、76、78和80可以是整數訊框內預測模式（亦被稱為「整數斜率模式」），其中93個定向訊框內預測模式中的剩餘模式是分數訊框內預測模式。

VVC標準規定針對所有塊大小使用固定平滑度。例如，根據VVC標準，譯碼設備（例如，視訊編碼設備及/或視訊解碼設備）可以針對所有塊大小使用4分接點高斯內插濾波器及/或[1 2 1]低通濾波器。在一些情況下，針對所有塊大小使用固定平滑度（例如，針對所有塊大小使用4分接點高斯內插濾波器及/或[1 2 1]低通濾波器）可能導致訊框內預測效能降低。例如，較大的塊大小（例如，具有寬度及/或高度為16或更大的取樣的塊）可能受益於與較小的塊大小（例如，具有寬度及/或高度小於16的取樣的塊）相比更高的平滑度。當根據VVC標準執行訊框內預測時，可能會遇到大的和小的塊大小，因為VVC中的塊分割方案基於不同的輸入、參數和其他分析因素而允許不同的塊大小。在一些情況下，較大的塊大小可以與原始視訊序列影像中已經包括相對平滑的邊緣及/或相對較少數量的特徵的部分相關聯。小的塊大小可以與原始視訊序列影像中包含相對較大數量的特徵、方向等的部分相關聯。

因為建立較大的塊大小通常與塊記憶體在相對平滑的視訊資料有關，因此在一些實例中，較大的塊大小的訊框內預測可以受益於應用較高的平滑度，而較小的塊大小的訊框內預測可以受益於應用較小的平滑度。

如本文更詳細地描述的，本文描述了用於提供改進的訊框內預測的系統、裝置、方法和電腦可讀取媒體（統稱為「系統和技術」）。例如，如本文更詳細地描述的，系統和技術可以使用多個平滑及/或內插濾波器來執行訊框內預測，每個平滑及/或內插濾波器具有不同程度的平滑及/或濾波。根據一些態樣，系統和技術可以包括：基於當前譯碼塊的大小來選擇一或多個平滑和內插濾波器（以及相關聯的平滑類型及/或相關聯的平滑度）。例如，可以將塊的寬度和塊的高度中的一項或多項與預定閥值進行比較，其中較小的塊（例如，寬度及/或高度小於閥值的塊）接收到與較大的塊（例如，寬度及/或高度大於閥值的塊）不同的平滑度。

在一些實例中，補充或替代地，平滑及/或內插濾波器可以是基於訊框內預測模式被用於圖片或圖片的一部分（例如，塊、切片等）來選擇的。特定訊框內預測模式與平滑或內插濾波器之間的關係可以預先決定及/或即時決定（例如，當正在對圖片、方塊、切片等進行編碼或解碼時）。在一個說明性實例中，可將當前譯碼塊的訊框內預測模式與垂直訊框內預測模式和水平訊框內預測模式進行比較，以便決定當前塊訊框內預測模式與垂直和水平訊框內預測模式之一之間的最小距離（例如，角度距離或偏移）。可以將最小距離與預定閥值（在一些實例中，在VVC標準中定義）進行比較，以便決定是否應當向當前譯碼塊應用平滑及/或濾波。在一些實例中，如本文描述的，具有塊級別切換的參考圖元的可變平滑可以提供增強的訊框內預測，如下文將更深入地描述的。

將關於附圖來描述關於系統和技術的另外的細節。

圖1是示出包括編碼設備104和解碼設備112的系統100的實例的方塊圖。編碼設備104可以是源設備的一部分，並且解碼設備112可以是接收設備的一部分。源設備及/或接收設備可以包括電子設備，諸如移動或固定電話手機（例如，智慧手機、蜂巢式電話等）、桌上型電腦、膝上型電腦或筆記型電腦、平板電腦、機上盒、電視機、相機、顯示裝置、數位媒體播放機、視訊遊戲控制台、視訊流送設備、網際網路協定（IP）相機、或任何其他適當的電子設備。在一些實例中，源設備和接收設備可以包括用於無線通訊的一或多個無線收發機。本文描述的譯碼技術適用於在各種多媒體應用中的視訊譯碼，包括流式視訊傳輸（例如，經由網際網路）、電視廣播或傳輸、對用於儲存在資料儲存媒體上的數位視訊的編碼、對被儲存在資料儲存媒體上的數位視訊的解碼、或其他應用。如本文使用的，術語解碼可以是指編碼及/或解碼。在一些實例中，系統100可以支援單向或雙向視訊傳輸，以支援諸如視訊會議、視訊資料流送、視訊重播、視訊廣播、遊戲及/或視訊電話之類的應用。

編碼設備104（或編碼器）可以用於使用視訊譯碼標準、格式、轉碼器或協定來對視訊資料進行編碼，以產生經編碼的視訊位元串流。視訊譯碼標準和格式/編碼解器的實例包括ITU-T H.261、ISO/IEC MPEG-1視訊、ITU-T H.262或ISO/IEC MPEG-2視訊、ITU-T H.263、ISO/IEC MPEG-4視訊、ITU-T H.264（亦被稱為ISO/IEC MPEG-4 AVC）（包括其可伸縮視訊譯碼（SVC）和多視圖視訊譯碼（MVC）擴展）、高效率視訊譯碼（HEVC）或ITU-T H.265和通用視訊譯碼（VVC）或ITU-T H.266。存在涉及多層視訊譯碼的對HEVC的各種擴展，包括範圍和螢幕內容譯碼擴展、3D視訊譯碼（3D-HEVC）和多視圖擴展（MV-HEVC）和可伸縮擴展（SHVC）。ITU-T視訊譯碼專家組（VCEG）和ISO/IEC運動影像專家組（MPEG）的視訊譯碼聯合協調小組（JCT-VC）以及3D視訊譯碼擴展開發聯合協調小組（JCT-3V）已經開發了HEVC和其擴展。VP9、開放媒體聯盟（AOMedia）開發的AOMedia視訊1（AV1）和基本視訊譯碼（EVC）是本文描述的技術可以應用於其的其他視訊譯碼標準。

VVC（一種最新的視訊譯碼標準）由ITU-T和ISO/IEC的聯合視訊專家團隊（JVET）開發，至少在一定程度上實現了HEVC以外的大量壓縮能力，以用於廣泛的應用。VVC規範於2020年7月最終決定並且由ITU-T和ISO/IEC發佈。VVC規範規定了標準位元串流和圖片格式、高級語法（HLS）和譯碼單元級語法、解析程序、解碼程序等。VVC亦規定了附錄中的簡檔/層/級（PTL）限制、位元組串流格式、假設參考解碼器和補充增強資訊（SEI）。

本文描述的系統和技術可以應用於現有視訊轉碼器（例如，VCC、HEVC、AVC或其他適當的現有視訊轉碼器）中的任何一者，及/或可以是用於正在開發的任何視訊譯碼標準及/或將來的視訊譯碼標準的高效譯碼工具。例如，可以使用諸如VVC、HEVC、AVC及/或其擴展之類的視訊轉碼器來執行本文描述的實例。然而，本文描述的技術和系統亦可以適用於其他譯碼標準、轉碼器或格式，諸如MPEG、JPEG（或用於靜止影像的其他譯碼標準）、VP9、AV1、其擴展、或已經可用或尚不可用或開發的其他適當的譯碼標準。例如，在一些實例中，編碼設備104及/或解碼設備112可以根據專有視訊轉碼器/格式（諸如AV1）、AVI的擴展及/或AV1的後續版本（例如，AV2）或其他專有格式或行業標準來操作。因此，儘管可能參考特定的視訊譯碼標準來描述本文描述的技術和系統，但是本發明所屬領域中具有通常知識者將明白的是，不應當將該描述解釋為僅適用於該特定標準。

參照圖1，視訊源102可以將視訊資料提供給編碼設備104。視訊源102可以是源設備的一部分，或者可以是除了源設備之外的設備的一部分。視訊源102可以包括視訊擷取裝置（例如，攝像機、照相電話、視訊電話等），包含被儲存的視訊的視訊存檔單元、提供視訊資料的視訊伺服器或內容提供者、從視訊伺服器或內容提供者接收視訊的視訊饋送介面、用於產生電腦圖形視訊資料的電腦圖形系統、此類源的組合、或任何其他適當的視訊源。

來自視訊源102的視訊資料可以包括一或多個輸入圖片或訊框。圖片或訊框是靜止影像，其在一些情況下是視訊的一部分。在一些實例中，來自視訊源102的資料可以是不作為視訊的一部分的靜止影像。在HEVC、VVC和其他視訊譯碼規範中，視訊序列可以包括一系列圖片。圖片可以包括三個取樣陣列，其被表示為SL、SCb和SCr。SL是亮度取樣的二維陣列，SCb是Cb色度取樣的二維陣列，並且SCr是Cr色度取樣的二維陣列。色度（chrominance）取樣在本文中亦可以被稱為「色度（chroma）」取樣。圖元可以代表針對圖片的陣列中的給定位置的所有三個分量（亮度和色度取樣）。在其他情況下，圖片可以是單色的，並且可以僅包括亮度取樣的陣列，在這種情況下，術語圖元和取樣可以互換地使用。關於本文中出於說明性目的而描述的提及各個取樣的實例技術，可以將相同技術應用於圖元（例如，針對圖片的陣列中的給定位置的所有三個取樣分量）。關於本文中出於說明性目的而描述的提及圖元（例如，針對圖片的陣列中的給定位置的所有三個取樣分量）的實例技術，可以將相同的技術應用於各個取樣。

編碼設備104的編碼器引擎106（或編碼器）對視訊資料進行編碼以產生經編碼的視訊位元串流。在一些實例中，經編碼的視訊位元串流（或「視訊位元串流」或「位元串流」）是一系列的一或多個經譯碼的視訊序列。經譯碼的視訊序列（CVS）包括一系列存取單元（AU），該一系列存取單元從在基本層中具有隨機存取點圖片並且具有某些屬性的AU開始直到在基本層中具有隨機存取點圖片並且具有某些屬性的下一個AU，並且不包括該下一個AU。例如，開始CVS的隨機存取點圖片的某些屬性可以包括等於1的RASL標誌（例如，NoRaslOutputFlag）。否則，隨機存取點圖片（其中RASL標誌等於0）並不開始CVS。存取單元（AU）包括一或多個經譯碼的圖片以及與共享相同輸出時間的經譯碼的圖片相對應的控制資訊。圖片的經譯碼的切片在位元串流級別被封裝為資料單元，該資料單元被稱為網路抽象層（NAL）單元。例如，HEVC視訊位元串流可以包括一或多個CVS，其包括NAL單元。NAL單元之每一者NAL單元具有NAL單元標頭。在一個實例中，標頭對於H.264/AVC（除了多層擴展之外）為一個位元組，而對於HEVC為兩個位元組。NAL單元標頭中的語法元素採用指定的位元，並且因此對於所有種類的系統和傳輸層（諸如傳輸串流、即時傳輸（RTP）協定、檔案格式等）皆是可見的。

在HEVC標準中存在兩類NAL單元，包括視訊譯碼層（VCL）NAL單元和非VCL NAL單元。VCL NAL單元包括經譯碼的圖片資料的一個切片或切片段（下文描述），並且非VCL NAL單元包括與一或多個經譯碼的圖片有關的控制資訊。在一些情況下，NAL單元可以被稱為封包。HEVC AU包括：包含經譯碼的圖片資料的VCL NAL單元、以及與經譯碼的圖片資料相對應的非VCL NAL單元（若有的話）。

NAL單元可以包含形成視訊資料的譯碼表示的位元序列（例如，經編碼的視訊位元串流、位元串流的CVS等），諸如在視訊中的圖片的譯碼表示。編碼器引擎106經由將每個圖片分割為多個切片來產生圖片的譯碼表示。一切片是獨立於其他切片的，使得可以對該切片中的資訊進行解碼，而不依賴於來自在同一圖片內的其他切片的資料。切片包括一或多個切片段，其包括獨立的切片段以及（若存在的話）依賴於先前切片段的一或多個從屬切片段。將切片分割為亮度取樣和色度取樣的譯碼樹塊（CTB）。亮度取樣的CTB和色度取樣的一或多個CTB連同用於取樣的語法一起被稱為譯碼樹單元（CTU）。CTU亦可以被稱為「樹塊」或「最大解碼單元」（LCU）。CTU是用於HEVC編碼的基本處理單元。CTU可以被拆分為尺寸不同的多個譯碼單元（CU）。CU包含被稱為譯碼塊（CB）的亮度和色度取樣陣列。

亮度和色度CB可以被進一步拆分為預測塊（PB）。PB是亮度分量或色度分量的取樣塊，其使用相同的運動參數來進行訊框間預測或塊內複製預測（當可用或被啟用以供使用時）。亮度PB和一或多個色度PB連同關聯的語法一起形成預測單元（PU）。對於訊框間預測，運動參數集（例如，一或多個運動向量、參考索引等）是在用於每個PU的位元串流中用訊號通知的，並且用於亮度PB和一或多個色度PB的訊框間預測。運動參數亦可以被稱為運動資訊。CB亦可以被分割為一或多個變換塊（TB）。TB表示色彩分量的取樣的正方形塊，其中殘差變換（例如，在一些情況下，相同的二維變換）被應用於其以對預測殘留訊號進行譯碼。變換單元（TU）表示亮度和色度取樣的TB以及對應的語法元素。

CU的尺寸對應於譯碼模式的尺寸並且可以是正方形形狀。例如，CU的尺寸可以是8 x 8個取樣、16 x 16個取樣、32 x 32個取樣、64 x 64個取樣、或高達對應的CTU的尺寸的任何其他適當的尺寸。短語「N x N」在本文中用於代表視訊塊在垂直和水平維度態樣的圖元尺寸（例如，8個圖元x 8個圖元）。塊中的圖元可以是按行和列來排列的。在一些實例中，塊在水平方向上可以不具有與垂直方向上相同數量的圖元。與CU相關聯的語法資料可以描述例如將CU分割為一或多個PU。分割模式可以在CU是經訊框內預測模式編碼的還是經訊框間預測模式編碼的之間而不同。PU可以被分割為非正方形形狀。與CU相關聯的語法資料亦可以例如描述根據CTU將CU分割為一或多個TU。TU可以是正方形或非正方形形狀。

根據HEVC標準，可以使用變換單元（TU）來執行變換。對於不同的CU，TU可以不同。可以基於在給定CU內的PU的尺寸來設定TU的尺寸。TU可以具有與PU相同的尺寸或者小於PU。在一些實例中，可以使用被稱為殘差四叉樹（RQT）的四叉樹結構來將與CU相對應的殘差取樣細分為更小的單元。RQT的蔓葉線節點可以對應於TU。與TU相關聯的圖元差值可以被變換以產生變換係數。可以由編碼器引擎106對變換係數進行量化。

一旦視訊資料的圖片被分割為CU，編碼器引擎106就使用預測模式來預測每個PU。從原始視訊資料中減去預測單元或預測塊以獲得殘差（下文描述）。對於每個CU，可以使用語法資料在位元串流內用訊號通知預測模式。預測模式可以包括訊框內預測（或圖片內預測）或訊框間預測（或圖片間預測）。訊框內預測利用在圖片內在空間上相鄰的取樣之間的相關性。例如，使用訊框內預測，每個PU是從在相同圖片中的相鄰影像資料進行預測的，使用例如DC預測以找到用於PU的平均值，使用平面預測以使平面表面適配PU，使用方向預測以從相鄰資料進行推斷，或者使用任何其他適當的預測類型。訊框間預測使用在圖片之間的時間相關性，以便推導出用於影像取樣塊的運動補償預測。例如，使用訊框間預測，每個PU是使用運動補償預測來從在一或多個參考圖片（按照輸出順序在當前圖片之前或之後）中的影像資料進行預測的。例如，可以在CU級別處作出是使用圖片間預測還是使用圖片內預測來對圖片區域進行解碼的決定。

編碼器引擎106和解碼器引擎116（下文更加詳細地描述的）可以被配置為根據VVC進行操作。根據VVC，視訊譯碼器（諸如編碼器引擎106及/或解碼器引擎116）將圖片分割為複數個譯碼樹單元（CTU）（其中亮度取樣的CTB和色度取樣的一或多個CTB，以及用於取樣的語法一起被稱為CTU）。視訊譯碼器可以根據樹結構（諸如四叉樹-二叉樹（QTBT）結構或多類型樹（MTT）結構）來分割CTU。QTBT結構去除了多種分割類型的概念，諸如在HEVC的CU、PU和TU之間的區分。QTBT結構包括兩個級別，其包括：根據四叉樹分割而被分割的第一級別、以及根據二叉樹分割而被分割的第二級別。QTBT結構的根節點對應於CTU。二叉樹的葉節點對應於譯碼單元（CU）。

在MTT分割結構中，可以使用四叉樹分割、二叉樹分割以及一或多個類型的三叉樹分割來對塊進行分割。三叉樹分割是其中塊被分為三個子塊的分割。在一些實例中，三叉樹分割將塊劃分為三個子塊，而不經由中心來劃分原始塊。MTT中的分割類型（例如，四叉樹、二叉樹和三叉樹）可以是對稱的或不對稱的。

當根據AV1轉碼器進行操作時，編碼設備104和解碼設備112可以被配置為在塊中對視訊資料進行編碼。在AV1中，可以處理的最大譯碼塊被稱為超級塊。在AV1中，超級塊可以是128x128亮度取樣或64x64亮度取樣。然而，在後續視訊譯碼格式（例如，AV2）中，超級塊可以由不同（例如，更大）的亮度取樣大小來定義。在一些實例中，超級塊是塊四叉樹的最高級別。編碼設備104可以進一步將超級塊劃分為更小的譯碼塊。編碼設備104可以使用正方形或非正方形分割來將超級塊和其他譯碼塊分割成更小的塊。非方形塊可以包括N/2xN、NxN/2、N/4xN和NxN/4塊。編碼設備104和解碼設備112可以針對每個譯碼塊執行單獨的預測和變換程序。

AV1亦定義了視訊資料的瓦片。瓦片是超級塊的矩形陣列，其可以獨立於其他瓦片進行譯碼。亦即，編碼設備104和解碼設備112可以分別對瓦片內的譯碼塊進行編碼和解碼，而不使用來自其他瓦片的視訊資料。然而，編碼設備104和解碼設備112可以跨越瓦片邊界執行濾波。瓦片的大小可以是均勻的或者不均勻的。基於瓦片的譯碼可以實現用於編碼器和解碼器實現方式的並行處理及/或多執行緒。

在一些實例中，編碼設備104和解碼設備112可以使用單個QTBT或MTT結構來表示亮度和色度分量中的每一者，而在其他實例中，視訊譯碼器可以使用兩個或兩個以上QTBT或MTT結構，諸如用於亮度分量的一個QTBT或MTT結構以及用於兩個色度分量的另一個QTBT或MTT結構（或者用於相應色度分量的兩個QTBT及/或MTT結構）。

編碼設備104和解碼設備112可以被配置為使用按照HEVC的四叉樹分割、QTBT分割、MTT分割、或其他分割結構。

在一些實例中，圖片的一或多個切片被指派切片類型。切片類型包括I切片、P切片和B切片。I切片（訊框內，可獨立地解碼）是圖片的僅經由訊框內預測來譯碼的切片，並且因此是可獨立解碼的，這是因為I切片僅需要訊框內的資料來預測切片的任何預測單元或預測塊。P切片（單向預測訊框）是圖片的可以利用訊框內預測和單向訊框間預測來譯碼的切片。P切片內的每個預測單元或預測塊是利用訊框內預測或訊框間預測來譯碼的。當應用訊框間預測時，預測單元或預測塊是僅經由一個參考圖片來預測的，並且因此參考取樣僅來自一個訊框的一個參考區域。B切片（雙向預測訊框）是圖片的可以利用訊框內預測和訊框間預測（例如，雙預測或單預測）來解碼的切片。可以從兩個參考圖片來對B切片的預測單元或預測塊進行雙向預測，其中每個圖片貢獻一個參考區域，並且對兩個參考區域的取樣集合進行加權（例如，利用相等的權重或利用不同的權重）以產生雙向預測塊的預測訊號。如上所解釋的，一個圖片的切片被獨立地譯碼。在一些情況下，圖片可以僅作為一個切片被譯碼。

如上所提到的，圖片內預測利用在該圖片內的空間相鄰取樣之間的相關性。存在複數種訊框內預測模式（亦被稱為「訊框內模式」）。在一些實例中，亮度塊的訊框內預測包括35種模式，其包括平面模式、DC模式和33種角度模式（例如，對角訊框內預測模式和與對角訊框內預測模式鄰接的角度模式）。編碼設備104及/或解碼設備112可以為每個區塊選擇使預測塊和要編碼的塊之間的殘差最小化（例如，基於絕對誤差之和（SAE）、絕對差之和（SAD）、絕對變換差之和（SATD）或其他相似性度量）的預測模式。例如，可以經由獲取要編碼的塊之每一者圖元（或取樣）與用於比較的預測塊中的對應圖元（或取樣）之間的絕對差來計算SAE。對圖元（或取樣）的差求和以建立塊相似性度量，諸如差異影像的L1範數、兩個影像塊之間的曼哈頓距離或其他計算。使用SAE作為實例，使用每種訊框內預測模式的每個預測的SAE指示預測誤差的大小。與實際當前塊具有最佳匹配的訊框內預測模式由提供最小SAE的訊框內預測模式提供。

如以下表1所示，對35種訊框內預測模式進行索引。在其他實例中，可以定義更多的訊框內模式，其包括可能尚未由33個角度模式表示的預測角度。在其他實例中，與角度模式相關聯的預測角度可以不同於在HEVC中使用的那些預測角度。

訊框內預測模式	相關聯的名稱
0	INTRA_PLANAR
1	INTRA_DC
2..34	INTRA_ANGULAR2..INTRA_ANGULAR34

表1 – 訊框內預測模式和相關聯的名稱的規範

為了針對NxN塊執行平面預測，對於位於（x，y）處的每個取樣p _xy，可以經由向四個特定相鄰重構取樣（用作訊框內預測的參考取樣）應用雙線性濾波器來計算預測取樣值。四個參考樣品包括右上重構樣品TR、左下重構樣品BL以及位於當前取樣的相同列（r _x,-1）和行（r _-1,y）的兩個重構取樣。可以按如下來公式化平面模式： p _xy= ( (N-x1) *·L + (N-y1) *·T + x1 *·R + y1 *·B ) / (2*N)，

其中x1=x+1，y1=y+1，R=TR並且B=BL。

對於DC模式，用相鄰重構取樣的平均值填充預測塊。通常，平面模式和DC模式兩者皆適用於平滑地變化和恆定影像區域的建模。

對於HEVC中包括33個不同預測方向的角度訊框內預測模式，可以按如下描述訊框內預測程序。對於每個給定的角度訊框內預測模式，可以相應地辨識訊框內預測方向；例如，訊框內模式18對應於純水平預測方向，並且訊框內模式26對應於純垂直預測方向。在圖2A的實例圖200a中圖示角度預測模式。在一些轉碼器中，可以使用不同數量的訊框內預測模式。例如，除了平面模式和DC模式外，亦可以定義93種角度模式，其中模式2指示-135°的預測方向，模式34指示-45°的預測方向，並且模式66指示45°的預測方向。在一些轉碼器（例如，VVC）中，亦可以定義超過-135°（小於-135°）和超過45°（大於45°）的角度；這些可以被稱為廣角訊框內模式。儘管本文的描述是關於HEVC中的訊框內模式設計（亦即，具有35種模式），但是所揭示的技術亦可以應用於更多訊框內模式（例如，由VVC或其他轉碼器定義的訊框內模式）。

預測塊的每個取樣的座標（x，y）沿特定訊框內預測方向（例如，角度訊框內預測模式之一）投影。例如，給定特定訊框內預測方向，預測塊的取樣的座標（x，y）首先沿訊框內預測方向投影到相鄰重構取樣的行/列。在（x，y）投影到兩個相鄰重構取樣L和R之間的分數位置α的情況下；則可以使用兩分接點雙線性內插濾波器來計算（x，y）的預測值，公式如下： p _xy= (1- a)·L + a·R

為了避免浮點運算，在HEVC中，可以使用整數算術來近似上述計算，如下所示： p _xy= ( (32- a’)·L + a’·R + 16 )＞＞5，

其中a’是等於32*a的整數。

在一些實例中，在訊框內預測之前，使用2分接點雙線性或3分接點（1,2,1）/4濾波器來對相鄰參考取樣進行濾波，這可以被稱為訊框內參考平滑或模式相關訊框內平滑（MDI）。當執行訊框內預測時，給定訊框內預測模式索引（predModeIntra）和塊大小（nTbS），決定是否執行參考平滑程序以及使用哪個平滑濾波器。訊框內預測模式索引是指示訊框內預測模式的索引。

圖片間預測使用在圖片之間的時間相關性，以便推導針對影像取樣塊的運動補償預測。使用平移運動模型，在先前解碼的圖片（參考圖片）中塊的位置由運動向量(

表示，其中

指定參考塊相對於當前塊的位置的水平位移，而

指定參考塊相對於當前塊的位置的垂直位移。在一些情況下，運動向量(

)可以是整數取樣精確度（亦被稱為整數精確度），在這種情況下，運動向量指向參考訊框的整數圖元網格（或整數圖元取樣網格）。在一些情況下，運動向量(

)可以具有分數取樣精確度（亦被稱為分數圖元精確度或非整數精確度），以更加準確地擷取基礎物件的運動，而不受限於參考訊框的整數圖元網格。運動向量的精確度可以經由運動向量的量化水平來表達。例如，量化水平可以是整數精確度（例如，1圖元）或分數圖元精確度（例如，¼圖元、½圖元或其他子圖元值）。當對應的運動向量具有分數取樣精確度時，將內插應用於參考圖片以推導預測訊號。例如，可以對在整數位置處可用的取樣進行濾波（例如，使用一或多個內插濾波器）以估計在分數位置處的值。先前解碼的參考圖片由針對參考圖片列表的參考索引（refIdx）來指示。運動向量和參考索引可以被稱為運動參數。可以執行兩種圖片間預測，其包括單預測和雙預測。

在使用雙預測進行訊框間預測（亦被稱為雙向訊框間預測）的情況下，使用兩個運動參數集（

和

）來產生兩個運動補償預測（來自同一參考圖片或可能來自不同的參考圖片）。例如，在雙預測的情況下，每個預測塊使用兩個運動補償預測訊號，並且產生B個預測單元。將兩個運動補償預測進行組合以獲得最終的運動補償預測。例如，可以經由進行平均來組合兩個運動補償預測。在另一實例中，可以使用加權預測，在這種情況下，可以將不同的權重應用於每個運動補償預測。可以在雙預測中使用的參考圖片被儲存在兩個單獨的列表中，分別被表示為列表0和列表1。可以在編碼設備104處使用運動估計程序來推導運動參數。

在使用單預測進行訊框間預測（亦被稱為單向訊框間預測）的情況下，使用一個運動參數集（

）來從參考圖片產生運動補償預測。例如，在單預測的情況下，每個預測塊最多使用一個運動補償預測訊號，並且產生P個預測單元。

PU可以包括與預測程序相關的資料（例如，運動參數或其他適當的資料）。例如，當PU是使用訊框內預測來編碼時，PU可以包括描述用於PU的訊框內預測模式的資料。作為另一實例，當PU是使用訊框間預測來編碼的時，PU可以包括定義用於PU的運動向量的資料。定義用於PU的運動向量的資料可以描述例如運動向量的水平分量（

）、運動向量的垂直分量（

）、用於運動向量的解析度（例如，整數精度、四分之一圖元精度、或八分之一圖元精度）、運動向量所指向的參考圖片、參考索引、用於運動向量的參考圖片列表（例如，列表0、列表1或列表C）、或其任何組合。

AV1包括用於對視訊資料的譯碼塊進行編碼和解碼的兩種通用技術。這兩種通用技術是訊框內預測（例如，訊框內預測或空間預測）和訊框間預測（例如，訊框間預測或時間預測）。在AV1的上下文中，當使用訊框內預測模式來預測視訊資料的當前訊框的塊時，編碼設備104和解碼設備112不使用來自視訊資料的其他訊框的視訊資料。對於大多數訊框內預測模式，視訊編碼設備104基於當前塊中的取樣值與從同一訊框中的參考取樣產生的預測值之間的差來對當前訊框的塊進行編碼。視訊編碼設備104基於訊框內預測模式來決定從參考取樣產生的預測值。

在使用訊框內預測及/或訊框間預測執行預測之後，編碼設備104隨後可以執行變換和量化。例如，在預測之後，編碼器引擎106可以計算與PU相對應的殘差值。殘差值可以包括在正被譯碼的當前區塊（PU）與用於預測當前塊的預測塊（例如，當前塊的預測版本）之間的圖元差值。例如，在產生預測塊（例如，實行訊框間預測或訊框內預測）之後，編碼器引擎106可以經由從當前塊中減去由預測單元產生的預測塊來產生殘差塊。殘差塊包括圖元差值集合，其對在當前塊的圖元值與預測塊的圖元值之間的差進行量化。在一些實例中，可以用二維塊格式（例如，圖元值的二維矩陣或陣列）來表示殘差塊。在此類實例中，殘差塊是圖元值的二維表示。

使用塊變換來對在執行預測之後可能剩餘的任何殘差資料進行變換，塊變換可以是基於離散餘弦變換、離散正弦變換、整數變換、小波變換、其他適當的變換函數、或其任何組合的。在一些情況下，可以將一或多個塊變換（例如，尺寸32 x 32、16 x 16、8 x 8、4 x 4或其他適當的尺寸）應用於每個CU中的殘差資料。在一些實例中，可以將TU用於由編碼器引擎106實現的變換和量化程序。具有一或多個PU的給定CU亦可以包括一或多個TU。如下文進一步詳細描述的，殘差值可以使用塊變換而被變換為變換係數，並且可以使用TU進行量化和掃瞄，以產生用於熵譯碼的序列化變換係數。

在一些實例中，在使用CU的PU進行訊框內預測或訊框間預測譯碼之後，編碼器引擎106可以計算用於CU的TU的殘差資料。PU可以包括空間域（或圖元域）中的圖元資料。TU可以包括在應用塊變換之後在變換域中的係數。如前述，殘差資料可以對應於在未被編碼的圖片的圖元與對應於PU的預測值之間的圖元差值。編碼器引擎106可以形成包括用於CU的殘差資料的TU，並且可以對TU進行變換以產生用於CU的變換係數。

編碼器引擎106可以執行變換係數的量化。量化經由對變換係數進行量化以減少用於表示係數的資料量來提供進一步的壓縮。例如，量化可以減小與係數中的一些或所有係數相關聯的位元深度。在一個實例中，具有n位元值的係數可以在量化期間向下捨入為m位元值，其中n大於m。

一旦執行了量化，則經譯碼的視訊位元串流包括經量化的變換係數、預測資訊（例如，預測模式、運動向量、塊向量等）、分割資訊以及任何其他適當的資料（諸如其他語法資料）。經譯碼的視訊位元串流的不同元素可以由編碼器引擎106進行熵編碼。在一些實例中，編碼器引擎106可以利用預定義的掃瞄順序來掃瞄經量化的變換係數，以產生可以被熵編碼的序列化向量。在一些實例中，編碼器引擎106可以執行自我調整掃瞄。在掃瞄經量化的變換係數以形成向量（例如，一維向量）之後，編碼器引擎106可以對該向量進行熵編碼。例如，編碼器引擎106可以使用上下文自我調整變長譯碼、上下文自我調整二進位算術譯碼、基於語法的上下文自我調整二進位算術譯碼、概率區間分割熵譯碼或另一種適當的熵編碼技術。

編碼設備104的輸出110可以在通訊鏈路120上將構成經編碼的視訊位元串流資料的NAL單元發送給接收設備的解碼設備112。解碼設備112的輸入114可以接收NAL單元。通訊鏈路120可以包括由無線網路、有線網路或有線網路和無線網路的組合提供的通道。無線網路可以包括任何無線介面或無線介面的組合，並且可以包括任何適當的無線網路（例如，網際網路或其他廣域網、基於封包的網路、WiFi ^TM、射頻（RF）、UWB、WiFi直連、蜂巢、長期進化（LTE）、WiMax ^TM等）。有線網路可以包括任何有線介面（例如，光纖、乙太網路、電力線乙太網路、同軸電纜乙太網路、數位訊號線（DSL）等）。可以使用各種裝置來實現有線及/或無線網路，諸如基地台、路由器、存取點、橋接器、閘道、交換機等。可以根據諸如無線通訊協定之類的通訊標準來調制經編碼的視訊位元串流資料，並且將其發送給接收設備。

在一些實例中，編碼設備104可以將經編碼的視訊位元串流資料儲存在儲存單元108中。輸出110可以從編碼器引擎106或從儲存單元108取得經編碼的視訊位元串流資料。儲存單元108可以包括各種分散式或本端存取的資料儲存媒體中的任何一種。例如，儲存單元108可以包括硬碟、儲存盤、快閃記憶體、揮發性或非揮發性記憶體、或用於儲存經編碼的視訊資料的任何其他適當的數位儲存媒體。儲存單元108亦可以包括用於儲存供在訊框間預測中使用的參考圖片的解碼圖片緩衝器（DPB）。在另外的實例中，儲存單元108可以對應於檔案伺服器或可以儲存由源設備產生的經編碼的視訊的另一中間存放裝置。在此類情況下，包括解碼設備112的接收設備可以經由資料串流或下載來從存放裝置存取被儲存的視訊資料。檔案伺服器可以是能夠儲存經編碼的視訊資料並且將該經編碼的視訊資料發送給接收設備的任何類型的伺服器。實例檔案伺服器包括網頁伺服器（例如，用於網站）、FTP伺服器、網路附加儲存（NAS）設備或本端磁碟機。接收設備可以經由任何標準資料連接（包括網際網路連接）來存取經編碼的視訊資料，並且可以包括適於存取被儲存在檔案伺服器上的經編碼的視訊資料的無線通道（例如，Wi-Fi連接）、有線連接（例如，DSL、纜線數據機等）或這兩者的組合。經編碼的視訊資料從儲存單元108的傳輸可以是資料流送、下載傳輸或其組合。

解碼設備112的輸入114接收經編碼的視訊位元串流資料，並且可以將視訊位元串流資料提供給解碼器引擎116，或者提供給儲存單元118以供解碼器引擎116稍後使用。例如，儲存單元118可以包括用於儲存供在訊框間預測中使用的參考圖片的DPB。包括解碼設備112的接收設備可以經由儲存單元108來接收要被解碼的經編碼的視訊資料。可以根據諸如無線通訊協定之類的通訊標準來對經編碼的視訊資料進行調制，並且將其發送給接收設備。用於發送經編碼的視訊資料的通訊媒體可以包括任何無線或有線通訊媒體，諸如射頻（RF）頻譜或一或多條實體傳輸線。通訊媒體可以形成基於封包的網路的一部分，諸如區域網路、廣域網或諸如網際網路之類的全球網路。通訊媒體可以包括路由器、交換機、基地台、或可以用於促進從源設備到接收設備的通訊的任何其他裝備。

解碼器引擎116可以經由熵解碼（例如，使用熵解碼器）並且提取構成經編碼的視訊資料的一或多個經譯碼的視訊序列的元素，從而對經編碼的視訊位元串流資料進行解碼。解碼器引擎116可以重新縮放經編碼的視訊位元串流資料並且對其執行逆變換。殘差資料被傳遞到解碼器引擎116的預測階段。解碼器引擎116預測區塊（例如，PU）。在一些實例中，將預測與逆變換的輸出（殘差資料）相加。

解碼設備112可以將經解碼的視訊輸出到視訊目的地設備122，視訊目的地設備122可以包括用於將經解碼的視訊資料顯示給內容的消費者的顯示器或其他輸出設備。在一些態樣中，視訊目的地設備122可以是包括解碼設備112的接收設備的一部分。在一些態樣中，視訊目的地設備122可以是不同於接收設備的單獨設備的一部分。

在一些實例中，視訊編碼設備104及/或視訊解碼設備112可以分別與音訊編碼設備和音訊解碼設備整合。視訊編碼設備104及/或視訊解碼設備112亦可以包括用於實現上述譯碼技術所必需的其他硬體或軟體，諸如一或多個微處理器、數位訊號處理器（DSP）、特殊應用積體電路（ASIC）、現場可程式設計閘陣列（FPGA）、個別邏輯、軟體、硬體、韌體或其任何組合。視訊編碼設備104和視訊解碼設備112可以被整合為在相應設備中的組合編碼器/解碼器（轉碼器）的一部分。下文參考圖8描述了編碼設備104的具體細節的實例。下文參考圖9描述了解碼設備112的具體細節的實例。

圖1中示出的實例系統僅是可以在本文中使用的一個說明性實例。用於使用本文描述的技術來處理視訊資料的技術可以由任何數位視訊編碼及/或解碼設備來執行。儘管一般來說，本案內容的技術是由視訊編碼設備或視訊解碼設備來執行的，但是該技術亦可以由通常被稱為「CODEC」的組合視訊轉碼器-解碼器來執行。此外，本案內容的技術亦可以由視訊前置處理器來執行。源設備和接收設備僅是此類譯碼設備的實例，其中源設備產生經譯碼的視訊資料以用於傳輸給接收設備。在一些實例中，源設備和接收設備可以以基本上對稱的方式進行操作，使得該等設備之每一者設備包括視訊編碼和解碼用部件。因此，實例系統可以支援在視訊設備之間的單向或雙向視訊傳輸，例如，以用於視訊資料流送、視訊重播、視訊廣播或視訊電話。

HEVC標準的擴展包括被稱為MV-HEVC的多視圖視訊譯碼擴展、以及被稱為SHVC的可伸縮視訊譯碼擴展。MV-HEVC和SHVC擴展共用分層譯碼的概念，其中不同的層被包括在經編碼的視訊位元串流中。經譯碼的視訊序列之每一者層是經由唯一的層辨識符（ID）來定址的。可以在NAL單元的標頭中存在層ID，以標識NAL單元所關聯的層。在MV-HEVC中，不同的層可以表示視訊位元串流中的相同場景的不同視圖。在SHVC中，提供了以不同的空間解析度（或圖片解析度）或不同的重構保真度來表示視訊位元串流的不同的可伸縮層。可伸縮層可以包括基本層（其中層ID = 0）和一或多個增強層（其中層ID = 1, 2, … n）。基本層可以符合HEVC的第一版本的簡檔，並且表示位元串流中的最低可用層。與基本層相比，增強層具有增加的空間解析度、時間解析度或畫面播放速率及/或重構保真度（或品質）。增強層是分層次來組織的，並且可以依賴於（或者可以不依賴於）較低層。在一些實例中，可以使用單標準轉碼器對不同的層進行譯碼（例如，使用HEVC、SHVC或其他譯碼標準對所有層進行編碼）。在一些實例中，可以使用多標準轉碼器對不同的層進行譯碼。例如，可以使用AVC對基本層進行譯碼，而可以使用SHVC及/或HEVC標準的MV-HEVC擴展來對一或多個增強層進行譯碼。

通常，層包括VCL NAL單元集合和對應的非VCL NAL單元集合。向NAL單元指派特定的層ID值。在層可以依賴於較低層的意義上，層可以是分層次的。層集合代表在位元串流內表示的自包含的層集合，這意味著在層集合內的層在解碼程序中可以依賴於在該層集合中的其他層，但是不依賴於任何其他層來解碼。因此，在層集合中的各層可以形成可以表示視訊內容的獨立位元串流。可以經由子位元串流提取程序的操作來從另一位元串流獲得在層集合中的一組層。當解碼器希望根據某些參數進行操作時，層集合可以對應於將被解碼的該組層。

如前述，HEVC位元串流包括一組NAL單元，其包括VCL NAL單元和非VCL NAL單元。VCL NAL單元包括形成經譯碼的視訊位元串流的經譯碼的圖片資料。例如，在VCL NAL單元中存在形成經譯碼的視訊位元串流的位元序列。除了其他資訊之外，非VCL NAL單元亦可以包含具有與經譯碼的視訊位元串流有關的高級別資訊的參數集。例如，參數集可以包括視訊參數集（VPS）、序列參數集（SPS）和圖片參數集（PPS）。參數集的目標的實包括位元速率效率、錯誤恢復力以及提供系統層介面。每個切片參考單個有效的PPS、SPS和VPS，以存取解碼設備112可以用於對切片進行解碼的資訊。可以為每個參數集譯碼一辨識符（ID），包括VPS ID、SPS ID和PPS ID。SPS包括SPS ID和VPS ID。PPS包括PPS ID和SPS ID。每個切片標頭包括PPS ID。使用這些ID，可以標識針對給定切片的有效參數集。

PPS包括適用於在給定圖片中的所有切片的資訊。在一些實例中，在圖片中的所有切片皆參考相同的PPS。在不同圖片中的切片亦可以參考相同的PPS。SPS包括適用於在相同的經譯碼的視訊序列（CVS）或位元串流中的所有圖片的資訊。如前述，經譯碼的視訊序列是一系列存取單元（AU），其以在基本層中並且具有某些屬性（如前述）的隨機存取點圖片（例如，即時解碼參考（IDR）圖片或斷鏈存取（BLA）圖片或其他適當的隨機存取點圖片）開始，直到在基本層中具有隨機存取點圖片並且具有某些屬性的下一個AU（或者位元串流的結尾）並且不包括該下一個AU。SPS中的資訊可以不在經譯碼的視訊序列內的圖片之間發生變化。經譯碼的視訊序列中的圖片可以使用相同的SPS。VPS包括適用於在經譯碼的視訊序列或位元串流內的所有層的資訊。VPS包括語法結構，該語法結構具有適用於整個經譯碼的視訊序列的語法元素。在一些實施例中，VPS、SPS或PPS可以與經編碼的位元串流一起在帶內發送。在一些實施例中，VPS、SPS或PPS可以在與包含經譯碼的視訊資料的NAL單元不同的傳輸中在帶外發送。

概括而言，本案內容可能涉及「用訊號通知」某些資訊（諸如語法元素）。術語「用訊號通知」通常可以代表傳送用於語法元素的值及/或用於對經編碼的視訊資料進行解碼的其他資料。亦即，視訊編碼設備104可以在位元串流中用訊號通知用於語法元素的值。通常，用訊號通知代表在位元串流中產生值。如前述，視訊源102可以基本上即時地或不是即時地（諸如可能在將語法元素儲存到存放裝置112以供視訊目的地設備122稍後取回時發生）將位元串流傳輸到視訊目的地設備122。

視訊位元串流亦可以包括補充增強資訊（SEI）訊息。例如，SEI NAL單元可以是視訊位元串流的一部分。在一些情況下，SEI訊息可能包含解碼程序不需要的資訊。例如，SEI訊息中的資訊對於解碼器對位元串流的視訊圖片進行解碼而言可能不是必要的，但是解碼器可以使用該資訊來改善對圖片（例如，經解碼的輸出）的顯示或處理。SEI訊息中的資訊可以是被嵌入的中繼資料。在一個說明性實例中，解碼器側實體可以使用在SEI訊息中的資訊來改善內容的可視性。在一些情況下，某些應用標準可能強制在位元串流中存在此類SEI訊息，使得可以為符合該應用標準的所有設備帶來品質的改善（例如，除了許多其他實例之外，針對與訊框相容的平面立體3DTV視訊格式來攜帶訊框封裝的SEI訊息，其中針對視訊的每個訊框來攜帶SEI訊息，處理復原點SEI訊息，在DVB中使用泛掃瞄來掃瞄矩形SEI訊息）。

如前述，編碼設備104可以經由使用訊框內預測及/或訊框內預測來消除空間冗餘，來對原始視訊序列的圖片的一或多個塊或矩形區域進行編碼。解碼設備112可以經由使用編碼設備104所使用的相同的訊框內預測模式來對經編碼的塊進行解碼。訊框內預測模式描述了用於基於參考圖元值來計算被譯碼的區域中的圖元值的不同變型或方法。在VVC標準中，可以基於訊框內預測模式來選擇一或多個平滑濾波器和內插濾波器，並且隨後將其應用於參考圖元及/或當前塊的訊框內預測。在該方法中，針對所有塊大小應用用於訊框內預測的平滑濾波器和內插濾波器之間的相同選擇，例如，針對所有可能的塊大小應用固定平滑度。在VVC標準中提供了不同的定向訊框內預測模式。

圖2B圖示VVC中的定向訊框內預測模式（亦被稱為「角度訊框內預測模式」）的實例圖200b。在一些實例中，VVC中的平面模式和DC模式與HEVC中保持相同。如圖所示，具有2到66之間的偶數索引的訊框內預測模式可以等同於33種HEVC訊框內預測模式，其中圖2B的剩餘訊框內預測模式表示VVC中新添加的訊框內預測模式。作為一個說明性實例，為了更好地擷取自然視訊中呈現的任意邊緣方向，VTM5（VVC測試模型5）中的定向訊框內預測模式的數量從33個HEVC方向增加到總共93個方向。在以下文件中更加詳細地描述了訊框內預測模式：B.Bross，J.Chen，S.Liu，「Versatile Video Coding (Draft 10)」，第19次JVET會議，電話會議，2020年7月，JVET-S2001，據此經由引用的方式將其整體併入並且用於所有目的。在一些實例中，VVC標準中引入的更密集的定向訊框內預測模式可以應用於所有塊大小以及亮度和色度訊框內預測兩者。在一些情況下，這些定向訊框內預測模式可以與多輔助線（MRL）結合使用，及/或與訊框內子分區模式（ISP）結合使用。在以下文件中描述了另外的細節：J.Chen，Y.Ye，S.Kim，「Algorithm description for Versatile Video Coding and Test Model 10 (VTM10)」，第19次JVET會議，電話會議，2020年7月，JVET-S2002，據此經由引用的方式將其整體併入並且用於所有目的。

在一些實例中，經由應用基於當前譯碼塊的訊框內預測模式的平滑濾波器及/或平滑類型，可以利用模式相關訊框內平滑（MDI）來對訊框內預測訊號進行平滑。圖3是示出可以用於訊框內預測的MDIS程序300的實例的流程圖。在一個說明性實例中，圖3的實例MDIS程序可以與VVC標準的MDIS程序相同。實例MDIS程序300可以用於選擇要在針對當前譯碼塊的訊框內預測中使用的特定內插濾波器及/或特定平滑濾波器。如下文將更深入地解釋的，在一些實例中，內插及/或平滑濾波器的選擇可以是至少部分地基於當前譯碼塊的訊框內預測模式的。

在操作302處，實例MDIS程序300可以經由如下操作開始：決定當前譯碼塊的訊框內預測模式是水平訊框內預測模式還是垂直訊框內預測模式。參照圖2B所示的定向訊框內預測模式，水平訊框內預測模式被指示為模式18，並且垂直訊框內預測模式被指示為模式50。回應於在操作302處決定訊框內預測模式是水平模式或垂直模式（例如，302的「是」輸出），實例MDIS程序可以繼續進行到操作304。如圖所示，操作304導致MDIS程序結束，而不執行參考圖元平滑或應用內插濾波器。在一些實例中，可以不針對水平和垂直訊框內預測模式執行平滑或內插，因為在決定當前塊的預測圖元值時可以直接複製這兩種模式的參考圖元值。

若訊框內預測模式不是水平或垂直模式（例如，操作302的「否」輸出），則實例MDIS程序可以繼續決定當前塊是否需要平滑。如圖所示，可以至少部分地基於當前塊的訊框內預測模式來在操作306處執行關於是否應當針對當前塊執行平滑的決定。例如，訊框內預測模式可以用於計算最小距離 minDistVerHor，例如，其中 minDistVerHor是{|訊框內預測模式編號–垂直訊框內預測模式編號|，|訊框內預測模式編號–水平訊框內預測模式編號|}中的最小值。最小距離 minDistVerHor亦可以被稱為最小角度偏移及/或最小角度距離。在一個說明性實例中，垂直訊框內預測模式編號可以是50，並且水平訊框內預測模式編號可以是18。因此，若當前塊的訊框內預測模式編號是30，則最小角度偏移可以被計算為min{30-50|，|30-18|}＝min{20，12}＝12。

在操作306中，可以隨後將最小角度偏移 minDistVerHor與閥值 intraHorVerDistThres[nTbS]進行比較，在一些實例中，該閥值可以是VVC標準提供的預定閥值，例如，經由提供當前變換塊大小 nTbS作為檢視函數或查閱資料表 intraHorVerDistThres的索引來決定。如圖3所示，若最小角度偏移 minDistVerHor不大於閥值 intraHorVerDistThres[nTbS]，則操作306可以決定當前塊不需要平滑，例如，306的「否」輸出。

若不需要平滑，則實例MDIS程序可以從操作306繼續到操作307，這裡示為應用內插濾波器而不進行任何參考圖元平滑。在一些實例中，經由操作307應用的內插濾波器可以是三次內插濾波器，諸如圖3所示的4分接點（6位元）三次內插濾波器。因為操作306決定不需要直接參考圖元平滑，所以操作307僅可以應用4分接點三次內插濾波器，例如，由於在操作306中指示訊框內預測模式在距離水平模式或垂直模式的閥值距離內的最小角度偏移，因此不執行參考圖元平滑。

若操作306決定最小角度偏移 minDistVerHor大於閥值 intraHorVerDistThres[nTbS]，則操作306可以決定當前塊需要平滑，例如，「是」輸出。回應於關於需要平滑的決定，可以在後續操作308中進一步分析用於當前塊的訊框內預測模式。

在一些實例中，操作308可以分析用於當前塊的訊框內預測模式，以決定其是整數斜率訊框內預測模式還是分數斜率訊框內預測模式（分別被稱為「整數角度模式」和「分數角度模式」）。如前述，整數角度模式與當前塊的特定整數值參考圖元位置相關聯，而分數角度模式與當前塊的特定整數值參考圖元位置相關聯不相關聯。替代地，分數角度模式與相鄰整數值參考圖元位置之間的某個中間（例如，分數）位置相關聯。

基於操作308決定用於當前塊的訊框內預測模式是整數角度模式（例如，308的「是」輸出），則操作308可以繼續進行到操作309。如圖所示，操作309可以執行參考圖元平滑，但不執行內插，例如，因為在某些情況下，決定整數角度模式不需要內插。例如，由於整數角度訊框內預測模式可以直接利用參考圖元值，因此僅執行參考圖元平滑。在一些實例中，可以經由應用低通濾波器（諸如[1 2 1]濾波器）來執行操作309的參考圖元平滑，該低通濾波器計算由參考圖元值的兩倍加上緊鄰的左側和右側（或上方和下方）參考圖元位置的值組成的和的平均值。

基於操作308決定用於當前塊的訊框內預測模式是分數角度模式（例如，非整數角度模式；308的「否」輸出），則在一些情況下，後續操作310可以計算與訊框內預測模式相關聯的分數參考圖元位置的內插。例如，操作310可以基於從一或多個相鄰的整數值參考圖元位置獲得的一或多個參考圖元值來計算內插分數參考圖元位置值。回想先前在操作306中決定應當針對當前塊的訊框內預測執行平滑（例如，因為操作306決定最小角度偏移 minDistVerHor＞閥值 intraHorVerDistThres[nTbS]），操作308的「否」輸出可以對應於平滑和內插兩者皆應用於當前塊的場景。

在一些實例中，如圖3所示，可以在單個組合步驟中執行平滑和內插操作，例如，經由應用平滑內插濾波器。在一個說明性實例中，可以提供平滑內插濾波器作為高斯內插濾波器，其對所產生的訊框內預測訊號進行平滑並且同時對分數參考圖元位置值進行內插。平滑內插濾波器（諸如前述高斯內插濾波器）可以在不執行直接參考圖元平滑的情況下應用平滑。在一些實例中，平滑內插濾波器可以包括4分接點（6位元）高斯內插濾波器，如操作310中所示。

注意，在圖3的實例MDIS程序300的上下文中，MDIS程序（和VVC標準）不使用基於塊大小或其他特性的可變平滑度。在一些實例中，本文描述的系統和技術可以至少部分地基於包括但不限於當前塊的訊框內預測模式、當前塊的大小、當前塊的寬度、當前塊的高度等的因素來提供可變的平滑度及/或內插。

在一些情況下，視訊譯碼技術可以包括使用具有主輔助線擴展（MRL）及/或訊框內子分區模式（ISP）中的一項或多項的定向訊框內預測模式，以便執行訊框內預測。在一個說明性實例中，訊框內預測可以包括使用一或多個側參考圖元來擴展用於訊框內預測的主參考圖元線。

圖4圖示使用一或多個側參考圖元的輔助線擴展的實例圖400。針對當前譯碼塊405圖示的是參考圖元410的較上的線，其包括一系列計算出的輔助線擴展圖元420。亦圖示一組左參考圖元430。對於垂直模式的訊框內預測（例如，訊框內預測模式＞=34，不要與特定垂直訊框內預測模式50混淆），來自當前譯碼塊405的左參考圖元430的一或多個圖元可以用於擴展參考圖元410的較上的線，例如，經由產生或以其他方式計算輔助線擴展圖元420的值。輔助線擴展圖元420的計算可以用於擴展參考圖元410的較上的線的長度以擴展超出當前塊405的最左邊緣，如圖4所示。

在當前的VVC標準中，可以經由辨識左參考圖元430中的最近鄰點來擴展參考圖元410的較上的線，其中所辨識的最近鄰點的值被設置為等於輔助線擴展圖元420中的至少一個輔助線擴展圖元420的值。在一個說明性實例中，圖4圖示了位於參考圖元410的較上的線的輔助線擴展圖元420中的點P（例如，在423處指示）。基於左參考圖元430來擴展上參考圖元線410。在當前VVC標準中，輔助線擴展程序經由以下操作來進行：決定左參考圖元430中的哪一個是擴展輔助線圖元P/423的最近鄰點並且隨後將擴展的輔助線圖元P的值設置為等於左參考圖元430中辨識的最近鄰點的值。在圖4的圖示中，左參考圖元430的列內的最近鄰點被指示為X1，並且X1位置處的圖元值因此用於建立擴展輔助線圖元P（例如，423）。可以使用該方法將參考圖元410的較上的線擴展到期望長度，並且隨後使用由參考圖元410的原始較上的線和輔助線擴展圖元420形成的擴展輔助線來執行訊框內預測。在一些實例中，亦可以將類似程序應用於水平模式的訊框內預測（例如，訊框內預測模式＜34，不要與特定水平訊框內預測模式18混淆），其中在上輔助線中辨識的最近鄰點圖元的值被投影以擴展參考圖元的左線。

在JVET-D0119中已經提出了對VVC訊框內預測程序的各種改進，其在以下文件中描述：X.Zhao，V.Seregin，M.Karczewicz，「Six tap intra interpolation filter」，第四次JVET會議，中國成都，2016年10月，JVET-D0119，據此經由引用的方式將其整體併入並且用於所有目的。例如，JVET-D0119提出了經由引入以下兩種方法來改進訊框內預測程序：（1）使用6分接點（8位元）三次內插來代替如前述的4分接點（6位元）三次內插來執行圖3的實例MDIS程序；及（2）使用相同的4分接點（6位元）三次內插（再次，如上關於圖3的實例MDIS程序描述的）來執行關於圖4描述的實例輔助線擴展，而不是投影最近鄰點圖元值。

如前述，在一些實例中，較大的塊大小可以受益於在訊框內預測期間應用較高的平滑程度。然而，VVC針對所有塊大小使用固定平滑程度（例如，4分接點高斯內插或[1 2 1]濾波），鑒於上述觀察，這可能導致低效或不太高效的訊框內預測。關於上文論述的JVET-D0119，使用4分接點三次內插來擴展參考圖元的一或多條線（例如，上方及/或左側參考圖元線）可能是有問題的，因為當使用擴展輔助線的擴展部分執行訊框內預測時，它可能導致過度平滑，從而向整體訊框內預測程序引入不準確及/或低效。

例如，在此類情況下，可能發生過度平滑，因為擴展輔助線的擴展圖元經受至少兩個不同的內插操作—每一個引入一定程度的平滑和邊緣退化。第一內插操作是4分接點三次內插，以分別基於來自左側/上方參考圖元的最近相鄰值來決定擴展的上方/左側參考圖元線值。在針對當前塊的訊框內預測期間，擴展參考圖元線的內插參考圖元值隨後可能參與第二內插操作，例如，關於圖3的實例MDIS程序描述的內插操作。例如，擴展參考圖元線的內插參考圖元值可以用於4分接點三次內插、4分接點高斯平滑內插及/或低通[1 2 1]參考圖元平滑中的一項或多項，其中每一項皆可能導致整體訊框內預測程序中的過度平滑。

如前述，本文描述了用於使用一或多個增強內插濾波器來執行訊框內預測的系統和技術。系統和技術可以由編碼設備104、解碼設備112、編碼設備104和解碼設備112兩者及/或其他設備執行。本文描述的各態樣可以獨立地及/或以組合方式應用。在一些實例中，本文描述的系統和技術可以用於執行一或多個訊框內預測模式（例如，用於在訊框內預測模式的應用期間或與訊框內預測模式的應用一起使用的濾波）。

在一些實例中，本文描述的系統和技術可以提供具有塊級切換的可變參考圖元平滑度。例如，各自具有不同平滑度的多個平滑濾波器及/或高斯內插濾波器（亦被稱為「高斯平滑內插濾波器」）可以用於在訊框內預測期間平滑參考圖元。在一些情況下，可以在不同的譯碼級別顯式地用訊號通知（例如，針對每個預測塊、每個譯碼塊、每個CTU、每個切片及/或在序列（例如，在SPS）級別用訊號通知）所決定的平滑濾波器及/或所決定的內插濾波器的選擇。在一些實例中，可以使用經解碼的資訊隱式地決定對所決定的平滑及/或內插濾波器的選擇，經解碼的資訊可以包括但不限於塊大小、預測模式、QP及/或CU級模式標誌（MRL、ISP等），在這種情況下，不需要濾波器選擇的顯式訊號傳遞。例如，在一些實例中，編碼設備104及/或解碼設備112可以基於關於當前譯碼塊具有特定大小、具有大於閥值的寬度及/或高度、具有小於閥值的寬度及/或高度等的決定，來隱式地決定或選擇用於訊框內預測的平滑濾波器及/或內插濾波器。

在一個說明性實例中，分數角度（例如，非整數角度）訊框內預測模式的處理可以從VVC標準中描述的方法進行擴展，以包括在應用較高平滑度的第一高斯平滑內插濾波器和應用較低平滑度的至少第二高斯平滑內插濾波器之間進行選擇。如先前關於圖3所論述的，VVC標準使用的方法針對所有分數角度訊框內預測模式使用相同的4分接點高斯平滑內插濾波器，而不考慮當前譯碼塊的大小。

圖5是示出用於執行可切換平滑及/或內插以至少基於當前塊的訊框內預測模式和當前塊的大小應用可變的訊框內預測平滑度的程序500的實例圖。在上面剛剛論述的實例的上下文中，當前揭示的用於使用增強內插濾波器的訊框內預測的系統和技術可以包括：對於分數角度訊框內預測模式，在包括6分接點高斯平滑內插濾波器的第一濾波器和包括4分接點高斯平滑內插濾波器的第二濾波器之間進行選擇。6分接點高斯平滑內插濾波器可以應用與4分接點高斯平滑內插濾波器相比更高的平滑程度。在一些實例中，圖5的4分接點高斯平滑內插濾波器可以與關於圖3的實例VVC MDIS程序300描述的4分接點高斯平滑內插濾波器相同或類似。在一些實例中，濾波、內插及/或平滑度選擇程序可以是隱式的，這取決於當前譯碼塊的塊大小，如圖5可見。

在一些實例中，圖5所示的用於具有塊級切換的參考圖元的可變平滑度濾波和內插程序可以與圖3的實例VVC MDIS程序相同或類似，除了操作510（例如，將當前譯碼塊的寬度和當前譯碼塊的高度中的一項或多項與至少第一閥值T進行比較）和後續操作512（例如，回應於超過第一閥值T，選擇並且應用具有相對高的平滑程度的6分接點高斯平滑內插濾波器）和514（例如，回應於未超過第一閥值T，選擇並且應用具有相對低的平滑程度的4分接點高斯平滑內插濾波器）之外。

在操作502處，該程序可以決定用於當前解碼塊的訊框內預測模式是水平訊框內預測模式（例如，模式18）亦是垂直訊框內預測模式（例如，模式50）。若訊框內預測模式是水平模式或垂直模式，則該程序在方塊504處決定不執行參考圖元平滑（在圖5中被稱為「ref pel平滑」）並且不執行內插濾波，如先前關於圖3的實例MDIS程序描述的。隨後，該程序可以繼續處理當前譯碼塊並且執行訊框內預測，而不應用參考圖元平滑或內插濾波。

在操作506處，該程序可以決定最小角度偏移 minDistVerHor是否大於閥值 intraHorVerDistThres[nTbS]。在一些情況下， minDistVerHor及/或 intraHorVerDistThres[nTbS]中的一項或多項可以與上面關於圖3的實例MDIS程序論述的對應變數值相同或類似。在一個說明性實例中，可以將角度偏移變數 minDistVerHor設置為等於Min( Abs( predModeIntra− 50 ), Abs( predModeIntra− 18 ) )，其中 predModeIntra指示訊框內預測模式編號，50是垂直訊框內預測模式編號，並且18是水平訊框內預測模式編號。在一些情況下， predModeIntra可以被設置為等於 IntraPredModeY[xCb][yCb]或 IntraPredModeC[xCb][yCb]。在一些實例中，對於當前譯碼的變換塊大小 nTbS的不同值，可以按照下表2中指定的，提供閥值變數 intraHorVerDistThres[nTbS]：

	nTbS = 2	nTbS = 3	nTbS = 4	nTbS = 5	nTbS = 6
intraHorVerDistThres[nTbS]	24	14	2	0	0

表2–各種變換塊大小nTbS的閥值變數intraHorVerDistThres[nTbS]的指定

在一些實例中，若操作506決定角度偏移 minDistVerHor不大於閥值變數 intraHorVerDistThres[nTbS]的值，（例如， minDistVerHor≦ intraHorVerDistThres[nTbs]），則該程序可以在操作507處決定不執行參考圖元平滑，並且可以進一步決定將4分接點三次內插濾波器應用於當前譯碼塊的訊框內預測。例如，該程序可以應用4分接點三次濾波器來預測或內插一或多個參考圖元，而不執行任何參考圖元平滑。

在操作506決定角度偏移 minDistVerHor大於閥值 intraHorVerDistThres[nTbS]（例如， minDistVerHor＞ intraHorVerDistThres[nTbS]）的情況下，該程序隨後可以在操作508處決定在當前譯碼塊的訊框內預測模式中是否存在整數角度模式，如先前關於圖3的實例MDIS程序描述的。

在一個實例中，當操作508決定在當前譯碼塊的訊框內預測模式中存在整數角度模式時，則該程序可以在操作509處決定使用[1 2 1]低通濾波器執行參考圖元平滑並且不執行內插濾波。隨後，在執行參考圖元平滑以使用[1 2 1]濾波器平滑參考圖元之後，該程序可以在操作509處終止。不執行內插，並且直接複製經平滑參考圖元以用於對當前譯碼塊進行訊框內預測。

在一個實例中，當操作508決定在當前譯碼塊的訊框內預測模式中存在分數（例如，非整數）角度模式時，該程序可以繼續進行到操作510，其可以決定塊的寬度是否大於或等於閥值T及/或塊的高度是否大於或等於閥值T。在一些實例中，操作510可以包括決定塊的寬度和高度中的哪一項大於或等於閥值T。在一些實例中，閥值T的值可以是預定值，例如16、32、64或者一或多個其他預定義值。

在操作510處決定塊的寬度和高度大於或等於閥值T（例如，高度≧ T並且寬度≧ T）的情況下，在該程序隨後可以在操作512處決定不執行參考圖元平滑，並且經由將6分接點高斯平滑內插濾波器應用於當前譯碼塊的訊框內預測來終止。例如，該程序可以應用6分接點高斯平滑內插濾波器來預測當前塊的一或多個圖元，而無需任何參考圖元平滑。

在塊的寬度或塊的高度不大於或等於閥值T（例如，高度＜T及/或寬度＜T）的情況下，該程序可以在操作514處決定不執行參考圖元平滑，並且經由應用4分接點高斯平滑內插濾波器來終止。例如，該程序可以應用4分接點（6位元）高斯平滑內插濾波器來預測當前譯碼塊的一或多個圖元，而無需任何參考圖元平滑。如前述，操作514的4分接點高斯平滑內插濾波器可以應用與操作512的6分接點高斯平滑內插濾波器相比更小的平滑程度，例如，因為操作514是回應於操作510決定當前譯碼塊具有相對小的塊大小來觸發的。類似地，操作512的6分接點高斯平滑內插濾波器可以是部分地回應於操作510決定當前譯碼塊具有相對大的塊大小來觸發的，回顧6分接點高斯平滑內插濾波器應用較大的平滑度，並且與較小的塊大小相比，較大的塊大小可能受益於較大的平滑。

在一些情況下，可以使用[1 4 6 4 1]低通濾波器和雙線性濾波器的一或多個不同相位的迴旋來推導在操作514中應用的實例6分接點高斯平滑內插濾波器。

在一個說明性實例中，例如對於操作508決定當前譯碼塊的訊框內預測模式為整數角度模式的場景，圖5中圖示的操作509可以被擴展以包括在較大分接點平滑濾波器（例如，[1 4 6 4 1]低通濾波器，未圖示）和較小的[1 2 1]低通濾波器之間的選擇，該較小的[1 2 1]低通濾波器當前被圖示為與操作509相關聯地應用。在一些實例中，在較大分接點[1 4 6 4 1]濾波器和較小分接點[1 2 1]濾波器之間進行選擇的選擇準則可以以與在操作510中實現的選擇準則相同或類似的方式執行。例如，可以將當前譯碼塊的寬度和當前譯碼塊的高度中的一項或多項與至少一個閥值進行比較，其中較大塊（例如，被決定為大於或等於閥值）具有應用於訊框內預測的較大分接點[1 4 6 4 1]濾波器，並且較小塊（例如，被決定為小於閥值）具有應用於訊框內預測的較小分接點[1 2 1]濾波器。在一些情況下，在操作509的整數角度參考圖元平滑被擴展以基於當前譯碼塊大小在不同分接點濾波器及/或平滑度之間選擇的此類實例中，可以使用關於操作510被描述為基於諸如塊大小之類的因數的相同或類似的顯式及/或顯式選擇程序中的一項或多項。

在一些實例中，本文描述的系統和技術可以執行用於輔助線擴展的弱濾波內插，例如，避免或最小化如上文論述的在輔助線擴展是基於4分接點三次內插並且隨後在訊框內預測期間經受另一內插時潛在地發生的過度平滑問題。例如，代替使用4分接點三次濾波來對輔助線擴展圖元的值進行內插（例如，基於垂直圖元參考的最近相鄰圖元值進行內插），可以使用較弱的基於濾波器的內插來減少或減輕在擴展輔助線的上下文中可能出現的過度平滑問題。經由利用較弱的內插來決定輔助線擴展圖元的值，剩餘訊框內預測程序及其在本文中描述的相關聯的內插和平滑操作可以保持不變，而不會引起上述過度平滑問題。

在一個說明性實例中，出於計算輔助線擴展圖元的內插的目的，可以使用4分接點基於sinc的內插（例如，具有適當的加窗）來提供弱內插。在一些實例中，4分接點基於sinc的內插可能比三次內插（諸如4分接點三次內插（例如，其具有更高的截止頻率））弱。在一個說明性實例中，輔助線擴展圖元的弱內插可以作為6位元4分接點弱濾波器提供，下文提供了其實例（注意，位置（32-i）/32處的係數是i/32的鏡像版本）： {  0, 64,  0,  0}, //  0/32位置 { -1, 64,  1,  0}, //  1/32位置 { -3, 65,  3, -1}, //  2/32位置 { -3, 63,  5, -1}, //  3/32位置 { -4, 63,  6, -1}, //  4/32位置 { -5, 62,  9, -2}, //  5/32位置 { -5, 60, 11, -2}, //  6/32位置 { -5, 58, 13, -2}, //  7/32位置 { -6, 57, 16, -3}, //  8/32位置 { -6, 55, 18, -3}, //  9/32位置 { -7, 54, 21, -4}, //  10/32位置 { -7, 52, 23, -4}, //  11/32位置 { -6, 48, 26, -4}, //  12/32位置 { -7, 47, 29, -5}, //  13/32位置 { -6, 43, 32, -5}, //  14/32位置 { -6, 41, 34, -5}, //  15/32位置 { -5, 37, 37, -5}, //  16/32位置

系統和技術允許使用增強內插濾波器來執行預測（例如，訊框內預測）。在一些實例中，本文描述的系統和技術可以提供優於利用多個內插濾波器的其他技術的優點。例如，在一些情況下，例如，具有不同內插濾波器分接點的多個內插濾波器可以應用在一個塊、切片、瓦片及/或圖片內。在一個實例中，內插濾波器類型和內插濾波器分接點（長度）可以取決於塊的高度及/或寬度、塊形狀（寬度與高度之比）、塊區域大小、訊框內預測模式及/或相鄰解碼資訊，包括但不限於經重構的取樣值和訊框內預測模式等。在這種情況下，當訊框內預測是類似垂直的角度訊框內預測模式時，並且若寬度小於或等於8或其他大小，則使用6分接點六次內插濾波器；否則，使用4分接點高斯內插濾波器。當訊框內預測是類似水平的訊框內預測模式時，並且若寬度小於或等於8或其他大小，則使用6分接點六次內插濾波器，否則，使用4分接點高斯內插濾波器。在使用本文描述的系統和技術的一個實例中，若譯碼塊的寬度和高度大於或等於閥值T，則使用6分接點高斯濾波器（並且不應用圖元平滑）；否則，使用4分接點高斯濾波器（並且不應用圖元平滑）。

圖6是示出用於處理影像及/或視訊資料的程序600的實例的流程圖。在方塊602處，程序600可以包括：決定用於預測視訊資料區塊的訊框內預測模式。

在方塊604處，程序600可以包括：決定用於視訊資料區塊的平滑濾波器的類型。例如，程序600可以至少部分地基於將視訊資料區塊的寬度和視訊資料區塊的高度中的至少一項與第一閥值進行比較來決定平滑濾波器的類型。在一些態樣中，平滑濾波器的類型是在視訊位元串流中用訊號通知的。在一些情況下，平滑濾波器的類型是針對預測塊、譯碼塊、譯碼樹單元（CTU）、切片或序列的集合中的單獨各項用訊號通知的。在方塊606處，程序600可以包括：使用所決定的平滑濾波器的類型和訊框內預測模式來針對視訊資料區塊執行訊框內預測。

在一些實例中，程序600可以包括：至少部分地基於關於塊的寬度、塊的高度或塊的寬度和高度大於/大於第一閥值的決定，使用第一平滑內插濾波器作為所決定的平滑濾波器的類型。在一個說明性實例中，第一平滑內插濾波器包括6分接點高斯濾波器。在此類實例中，程序600亦可以包括：使用第一平滑內插濾波器來決定用於視訊資料區塊的訊框內預測的參考圖元。

在一些實例中，程序600可以包括：至少部分地基於關於塊的寬度、塊的高度或塊的寬度和高度不大於（例如，小於）第一閥值的決定，使用第二平滑內插濾波器作為所決定的平滑濾波器的類型。在一個說明性實例中，第二平滑內插濾波器包括4分接點高斯濾波器。在此類實例中，程序600亦可以包括：使用第二平滑內插濾波器來決定用於視訊資料區塊的訊框內預測的參考圖元。

在一些情況下，程序600可以包括：決定訊框內預測模式的角度方向與垂直訊框內預測模式和水平訊框內預測模式中的一項之間的最小偏移。程序600亦可以包括：基於將所決定的最小偏移與第二閥值進行比較來決定要用於視訊資料區塊的平滑濾波器的類型。在一個實例中，程序600可以包括：至少部分地基於關於所決定的最小偏移大於第二閥值的決定以及關於訊框內預測模式是與整數值參考圖元位置相關聯的整數角度模式的決定，將低通濾波器決定為平滑濾波器的類型。在一個說明性實例中，低通濾波器包括[1 2 1]濾波器，並且在沒有內插的情況下執行參考圖元平滑。

在另一實例中，程序600可以包括：至少部分地基於關於所決定的最小偏移大於第二閥值的決定以及關於訊框內預測模式是與分數值參考圖元位置相關聯的分數角度模式的決定，將高斯濾波器決定為平滑濾波器的類型。在一些情況下，高斯濾波器在沒有參考圖元平滑的情況下執行平滑內插。在一個說明性實例中，基於關於塊的寬度和塊的高度中的至少一項大於第一閥值的決定，高斯濾波器包括6分接點高斯濾波器。在另一說明性實例中，基於關於塊的寬度和塊的高度中的至少一項不大於第一閥值的決定，高斯濾波器包括4分接點高斯濾波器。

在一些態樣中，程序600可以包括：至少部分地基於關於所決定的最小偏移不大於（例如，小於）第二閥值的決定，使用內插濾波器作為所決定的平滑濾波器的類型。在一個說明性實例中，內插濾波器包括4分接點三次濾波器。程序600亦可以包括：在不應用參考圖元平滑的情況下，使用內插濾波器來針對視訊資料區塊執行訊框內預測。

在一些實例中，程序600可以包括：至少部分地基於關於訊框內預測模式是整數角度模式的決定以及關於所決定的最小偏移大於第二閥值的決定，將低通濾波器決定為平滑濾波器的類型。在一些情況下，程序600可以包括：至少部分地基於關於塊的寬度、塊的高度或塊的寬度和高度大於第一閥值的決定，使用大分接點低通濾波器來執行參考圖元平滑。大分接點低通濾波器應用與小分接點低通濾波器相比更大的參考圖元平滑程度。在一些情況下，程序600可以包括：至少部分地基於關於塊的寬度、塊的高度或塊的寬度和高度不大於（例如，小於）第一閥值的決定，使用小分接點低通濾波器來執行參考圖元平滑。小分接點低通濾波器應用與大分接點低通濾波器相比更小的參考圖元平滑程度。

在一些情況下，程序600可以包括：至少部分地基於將訊框內預測模式的斜率與根據塊的寬度和塊的高度決定的一或多個圖元位置進行比較，將訊框內預測模式決定為整數角度模式。

在一些態樣中，程序600可以包括：決定訊框內預測模式的角度方向與垂直訊框內預測模式或水平訊框內預測模式之間的偏移小於第二閥值。程序600亦可以包括：基於決定訊框內預測模式的角度方向與垂直訊框內預測模式或水平訊框內預測模式之間的偏移小於第二閥值，使用三次內插濾波器來針對視訊資料區塊執行訊框內預測。

在一些實例中，程序600可以包括：使用弱內插濾波器來執行輔助線擴展。在一些情況下，弱內插濾波器用於在使用三次內插濾波器執行訊框內預測之前執行輔助線擴展。在一些情況下， 三次內插濾波器具有與弱內插濾波器相比更高的截止頻率，並且應用與弱內插濾波器相比更大的平滑度。在一些態樣中，弱內插濾波器包括4分接點基於sinc的內插濾波器和6位元4分接點內插濾波器。

在一些態樣中，程序600可以包括：在不使用在視訊位元串流中顯式地用訊號通知的資訊的情況下，基於塊的寬度、塊的高度、或塊的寬度和高度中的至少一項來決定平滑濾波器的類型。

在一些情況下，程序600可以由解碼設備（例如，圖1和圖8的解碼設備112）執行。例如，程序600亦可以包括：決定用於視訊資料區塊的殘差資料區塊。程序600可以包括：使用殘差資料區塊和基於針對視訊資料區塊執行訊框內預測而決定的預測塊來對視訊資料區塊進行解碼。

在一些情況下，程序600可以由編碼設備（例如，圖1和圖7的編碼設備104）執行。例如，程序600可以包括：產生包括與視訊資料區塊相關聯的資訊的經編碼的視訊位元串流。在一些實例中，程序600可以包括：儲存經編碼的視訊位元串流（例如，在裝置的至少一個記憶體中）。在一些實例中，程序600可以包括：發送經編碼的視訊位元串流（例如，使用裝置的發射器）。

在一些實現中，本文描述的程序（或方法）可以由計算設備或裝置（諸如，在圖1中所示的系統100）來執行。例如，這些程序可以由在圖1和圖8中所示的編碼設備104、另一視訊源側設備或視訊傳輸設備、在圖1和圖9中所示的解碼設備112、及/或另一客戶端側設備（諸如，播放機設備、顯示器或任何其他客戶端側設備）來執行。在一些情況下，計算設備或裝置可以包括處理器、微處理器、微電腦或設備的被配置為執行本文描述的程序的步驟的其他部件。在一些實例中，計算設備或裝置可以包括被配置為擷取包括視訊訊框的視訊資料（例如，視訊序列）的相機。在一些實例中，擷取視訊資料的相機或其他擷取裝置與計算設備分離，在這種情況下，計算設備接收或獲得擷取的視訊資料。計算設備亦可以包括被配置為傳送視訊資料的網路介面。網路介面可以被配置為傳送基於網際網路協定（IP）的資料或其他類型的資料。在一些實例中，計算設備或裝置可以包括用於顯示輸出視訊內容（諸如視訊位元串流的圖片的取樣）的顯示器。

可以關於邏輯流程圖來描述這些程序，邏輯流程圖的動作表示可以用硬體、電腦指令或其組合來實現的一系列操作。在電腦指令的背景下，該等動作表示被儲存在一或多個電腦可讀取儲存媒體上的電腦可執行指令，該等電腦可執行指令在由一或多個處理器執行時執行所記載的操作。通常，電腦可執行指令包括執行特定功能或實現特定資料類型的常式、程式、物件、部件、資料結構等。描述操作的順序並不意欲被解釋為限制，並且可以以任何順序及/或並行地組合任何數量的所描述的操作以實現這些程序。

另外，這些程序可以在被配置有可執行指令的一或多個電腦系統的控制下執行，並且可以被實現為在一或多個處理器上共同執行的代碼（例如，可執行指令、一或多個電腦程式、或一或多個應用），經由硬體來實現，或其組合。如上所提到，代碼可以例如以包括可由一或多個處理器執行的複數個指令的電腦程式的形式儲存在電腦可讀或機器可讀儲存媒體上。電腦可讀取儲存媒體或機器可讀儲存媒體可以是非暫時性的。

本文論述的譯碼技術可以在實例視訊編碼和解碼系統（例如，系統100）中實現。在一些實例中，系統包括源設備，源設備提供稍後要由目的地設備解碼的經編碼的視訊資料。具體地，源設備經由電腦可讀取媒體將視訊資料提供給目的地設備。源設備和目的地設備可以包括多種設備中的任何一種，包括桌上型電腦、筆記型電腦（即膝上型電腦）、平板電腦、機上盒、電話手機（例如，所謂的「智慧」手機）、所謂的「智慧」板、電視機、相機、顯示裝置、數位媒體播放機、視訊遊戲控制台、視訊資料流送設備等。在一些情況下，源設備和目的地設備可以被配備用於無線通訊。

目的地設備可以經由電腦可讀取媒體接收要被解碼的經編碼的視訊資料。電腦可讀取媒體可以是能夠將經編碼的視訊資料從源設備移動到目的地設備的任何類型的媒體或設備。在一個實例中，電腦可讀取媒體可以是用於使得源設備能夠將經編碼的視訊資料直接即時地發送給目的地設備的通訊媒體。可以根據諸如無線通訊協定之類的通訊標準來對經編碼的視訊資料進行調制，並且將其發送給目的地設備。通訊媒體可以包括任何無線或有線通訊媒體，諸如射頻（RF）頻譜或一或多條實體傳輸線。通訊媒體可以形成基於封包的網路的一部分，諸如，區域網路、廣域網或諸如網際網路之類的全球網路。通訊媒體可以包括路由器、交換機、基地台、或可以用於促進從源設備到目的地設備的通訊的任何其他裝置。

在一些實例中，可以將經編碼的資料從輸出介面輸出到存放裝置。類似地，可以經由輸入介面從存放裝置存取經編碼的資料。存放裝置可以包括各種分散式或本端存取的資料儲存媒體中的任何一種，例如，硬碟、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體、或用於儲存經編碼的視訊資料的任何其他適當的數位儲存媒體。在另外的實例中，存放裝置可以對應於檔案伺服器或另一中間存放裝置，其可以儲存由源設備產生的經編碼的視訊。目的地設備可以經由資料流送或下載來從存放裝置存取被儲存的視訊資料。檔案伺服器可以是能夠儲存經編碼的視訊資料並且將該經編碼的視訊資料發送給目的地設備的任何類型的伺服器。實例檔案伺服器包括網頁伺服器（例如，用於網站）、FTP伺服器、網路附加儲存（NAS）設備或本端磁碟機。目的地設備可以經由任何標準資料連接（包括網際網路連接）來存取經編碼的視訊資料。這可以包括適於存取被儲存在檔案伺服器上的經編碼的視訊資料的無線通道（例如，Wi-Fi連接）、有線連接（例如，DSL、纜線數據機等）或這兩者的組合。經編碼的視訊資料從存放裝置的傳輸可以是資料流送、下載傳輸或其組合。

本案內容的技術不一定限於無線應用或設置。該技術可以被應用於視訊譯碼，以支援多種多媒體應用中的任何一種，諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路流式視訊傳輸（例如，基於HTTP的動態自我調整流傳輸（DASH））、被編碼到資料儲存媒體上的數位視訊、對被儲存在資料儲存媒體上的數位視訊的解碼、或其他應用。在一些實例中，系統可以被配置為支援單向或雙向視訊傳輸，以支援諸如視訊資料流送、視訊重播、視訊廣播及/或視訊電話之類的應用。

在一個實例中，源設備包括視訊源、視訊轉碼器和輸出介面。目的地設備可以包括輸入介面、視訊解碼器和顯示裝置。源設備的視訊轉碼器可以被配置為應用本文揭示的技術。在其他實例中，源設備和目的地設備可以包括其他部件或佈置。例如，源設備可以從諸如外部相機之類的外部視訊源接收視訊資料。同樣，目的地設備可以與外部顯示裝置對接，而不是包括積體顯示裝置。

上文的實例系統僅是一個實例。用於並行地處理視訊資料的技術可以由任何數位視訊編碼及/或解碼設備來執行。儘管一般而言，本案內容的技術是由視訊編碼設備來執行的，但是該等技術亦可以由通常被稱為「CODEC」的視訊轉碼器/解碼器來執行。此外，本案內容的技術亦可以由視訊前置處理器來執行。源設備和目的地設備僅是此類譯碼設備的實例：其中源設備產生經譯碼的視訊資料以用於傳輸給目的地設備。在一些實例中，源設備和目的地設備可以以基本上對稱的方式操作，使得這些設備中的每一者包括視訊編碼和解碼用部件。因此，實例系統可以支援在視訊設備之間的單向或雙向視訊傳輸，例如，用於視訊資料流送、視訊重播、視訊廣播或視訊電話。

視訊源可以包括視訊擷取裝置，例如，攝像機、包含先前擷取的視訊的視訊存檔單元、及/或用於從視訊內容提供者接收視訊的視訊饋送介面。作為另外的替代方式，視訊源可以產生基於電腦圖形的資料作為源視訊，或者產生即時視訊、存檔視訊和電腦產生的視訊的組合。在一些情況下，若視訊源是攝像機，則源設備和目的地設備可以形成所謂的照相電話或視訊電話。然而，如前述，在本案內容中描述的技術通常可以適用於視訊譯碼，並且可以被應用於無線及/或有線應用。在每種情況下，所擷取的、預擷取的或電腦產生的視訊皆可以由視訊轉碼器進行編碼。隨後，可以經由輸出介面將經編碼的視訊資訊輸出到電腦可讀取媒體上。

如所提到的，電腦可讀取媒體可以包括諸如無線廣播或有線網路傳輸之類的臨時媒體、或者諸如硬碟、快閃記憶體驅動器、壓縮光碟、數位多功能光碟、藍光光碟之類的儲存媒體（即非暫時性儲存媒體）、或其他電腦可讀取媒體。在一些實例中，網路服務器（未圖示）可以例如經由網路傳輸從源設備接收經編碼的視訊資料，並且將經編碼的視訊資料提供給目的地設備。類似地，諸如光碟衝壓設施之類的媒體生產設施的計算設備可以從源設備接收經編碼的視訊資料，並且製造包含經編碼的視訊資料的光碟。因此，在各個實例中，電腦可讀取媒體可以被理解為包括各種形式的一或多個電腦可讀取媒體。

目的地設備的輸入介面從電腦可讀取媒體接收資訊。電腦可讀取媒體的資訊可以包括由視訊轉碼器定義的語法資訊（其亦被視訊解碼器使用），語法資訊包括描述塊和其他譯碼單元（例如，圖片組（GOP））的特性及/或處理的語法元素。顯示裝置將經解碼的視訊資料顯示給使用者，並且可以包括各種顯示裝置中的任何一種，諸如陰極射線管（CRT）、液晶顯示器（LCD）、電漿顯示器、有機發光二極體（OLED）顯示器、或另一種類型的顯示裝置。已經描述了本案的各個實施例。

在圖8和圖9中分別圖示編碼設備104和解碼設備112的具體細節。圖8是示出可以實現在本案內容中描述的技術中的一或多個技術的實例編碼設備104的方塊圖。編碼設備104可以例如產生本文描述的語法結構（例如，VPS、SPS、PPS或其他語法元素的語法結構）。編碼設備104可以執行對視訊切片內的視訊塊的訊框內預測和訊框間預測譯碼。如前述，訊框內解碼至少部分地依賴於空間預測以減少或去除在給定視訊訊框或圖片內的空間冗餘。訊框間解碼至少部分地依賴於時間預測以減少或去除在視訊序列的相鄰或周圍訊框內的時間冗餘。訊框內模式（I模式）可以代表若干種基於空間的壓縮模式中的任何一種。諸如單向預測（P模式）或雙預測（B模式）之類的訊框間模式可以代表若干種基於時間的壓縮模式中的任何一種。

編碼設備104包括分割單元35、預測處理單元41、濾波器單元63、圖片記憶體64、求和器50、變換處理單元52、量化單元54和熵編碼單元56。預測處理單元41包括運動估計單元42、運動補償單元44和訊框內預測處理單元46。對於視訊塊重構，編碼設備104亦包括逆量化單元58、逆變換處理單元60和求和器62。濾波器單元63意欲表示一或多個迴路濾波器，諸如去塊濾波器、自我調整迴路濾波器（ALF）和取樣自我調整偏移（SAO）濾波器。儘管在圖8中將濾波器單元63示為迴路內濾波器，但是在其他配置中，濾波器單元63可以被實現為迴路後濾波器。後處理設備57可以對由編碼設備104產生的經編碼的視訊資料執行額外的處理。在一些情況下，本案內容的技術可以由編碼設備104來實現。然而，在其他情況下，本案內容的技術中的一或多個技術可以由後處理設備57來實現。

如圖8所示，編碼設備104接收視訊資料，並且分割單元35將資料分割為視訊塊。這種分割亦可以包括例如根據LCU和CU的四叉樹結構來分割為切片、切片段、瓦片或其他較大的單元，以及視訊塊分割。編碼設備104整體上圖示對在要被編碼的視訊切片內的視訊塊進行編碼的部件。切片可以被劃分為多個視訊塊（並且可能被劃分為被稱為瓦片的視訊塊集合）。預測處理單元41可以基於誤差結果（例如，譯碼率和失真水平等）來為當前視訊塊選擇複數種可能的譯碼模式之一，諸如複數種訊框內預測譯碼模式之一或複數種訊框間預測譯碼模式之一。預測處理單元41可以將所得到的經訊框內或訊框間譯碼的塊提供給求和器50以產生殘差塊資料，並且提供給求和器62以重構經編碼的塊以用作參考圖片。

在預測處理單元41內的訊框內預測處理單元46可以相對於在與要被譯碼的當前視訊塊相同的訊框或切片中的一或多個相鄰塊，來執行當前塊的訊框內預測譯碼，以提供空間壓縮。在預測處理單元41內的運動估計單元42和運動補償單元44相對於在一或多個參考圖片中的一或多個預測塊來執行對當前視訊塊的訊框間預測譯碼，以提供時間壓縮。

運動估計單元42可以被配置為根據用於視訊序列的預定圖案來決定用於視訊切片的訊框間預測模式。預定圖案可以將序列中的視訊切片指定為P切片、B切片或GPB切片。運動估計單元42和運動補償單元44可以是高度整合的，但是出於概念性目的而被分別示出。由運動估計單元42執行的運動估計是產生運動向量的程序，該運動向量估計針對視訊塊的運動。運動向量例如可以指示在當前視訊訊框或圖片內的視訊塊的預測單元（PU）相對於在參考圖片內的預測塊的位移。

預測塊是被發現在圖元差態樣與要被譯碼的視訊塊的PU緊密匹配的塊，其可以經由絕對差之和（SAD）、平方差之和（SSD）或其他差度量來決定。在一些實例中，編碼設備104可以計算用於被儲存在圖片記憶體64中的參考圖片的整數以下的圖元位置的值。例如，編碼設備104可以對四分之一圖元位置、八分之一圖元位置或參考圖片的其他分數圖元位置的值進行內插。因此，運動估計單元42可以相對於全圖元位置和分數圖元位置執行運動搜尋，並且以分數圖元精度輸出運動向量。

運動估計單元42經由將在經訊框間譯碼的切片中的視訊塊的PU的位置與參考圖片的預測塊的位置進行比較，來計算針對PU的運動向量。可以從第一參考圖片列表（列表0）或第二參考圖片列表（列表1）中選擇參考圖片，這兩個參考圖片列表中的每一者標識被儲存在圖片記憶體64中的一或多個參考圖片。運動估計單元42將所計算出的運動向量發送給熵編碼單元56和運動補償單元44。

由運動補償單元44執行的運動補償可以涉及基於經由運動估計而決定的運動向量來取得或產生預測塊，可能對圖元以下的精度執行內插。在接收到針對當前視訊塊的PU的運動向量時，運動補償單元44可以在參考圖片列表中定位運動向量所指向的預測塊。編碼設備104經由從正被譯碼的當前視訊塊的圖元值中減去預測塊的圖元值來形成圖元差值，從而形成殘差視訊塊。圖元差值形成針對該塊的殘差資料，並且可以包括亮度差分量和色度差分量兩者。求和器50表示執行此種減法運算的一或多個部件。運動補償單元44亦可以產生與視訊塊和視訊切片相關聯的語法元素，以供解碼設備112在對視訊切片的視訊塊進行解碼時使用。

如前述，訊框內預測處理單元46可以對當前塊進行訊框內預測，作為對由運動估計單元42和運動補償單元44執行的訊框間預測的替代方式。具體地，訊框內預測處理單元46可以決定要用於對當前塊進行編碼的訊框內預測模式。在一些實例中，訊框內預測處理單元46可以例如在單獨的編碼通路期間使用各種訊框內預測模式來對當前塊進行編碼，並且訊框內預測處理單元46可以從被測試的模式中選擇合適的訊框內預測模式來使用。例如，訊框內預測處理單元46可以使用針對各種被測試的訊框內預測模式的率失真分析來計算率失真值，並且可以在被測試的模式中選擇具有最佳率失真特性的訊框內預測模式。率失真分析通常決定在經編碼的塊與被編碼以產生經編碼的塊的原始的未經編碼塊之間的失真（或誤差）量、以及用於產生經編碼的塊的位元速率（即位元數量）。訊框內預測處理單元46可以根據針對各種經編碼的塊的失真和速率來計算比率，以決定哪種訊框內預測模式表現出針對該塊的最佳率失真值。

在任何情況下，在為塊選擇訊框內預測模式之後，訊框內預測處理單元46可以將指示針對塊選擇的訊框內預測模式的資訊提供給熵編碼單元56。熵編碼單元56可以對指示所選擇的訊框內預測模式的資訊進行編碼。編碼設備104可以在所發送的位元串流配置資料中包括用於各種塊的編碼上下文的定義以及對要用於這些上下文之每一者上下文的最可能的訊框內預測模式、訊框內預測模式索引表和經修改的訊框內預測模式索引表的指示。位元串流配置資料可以包括複數個訊框內預測模式索引表和複數個經修改的訊框內預測模式索引表（亦被稱為編碼字元映射表）。

在預測處理單元41經由訊框間預測或訊框內預測產生用於當前視訊塊的預測塊之後，編碼設備104經由從當前視訊塊中減去預測塊來形成殘差視訊塊。殘差塊中的殘差視訊資料可以被包括在一或多個TU中，並且被應用於變換處理單元52。變換處理單元52使用變換（諸如離散餘弦變換（DCT）或概念上類似的變換）來將殘差視訊資料變換為殘差變換係數。變換處理單元52可以將殘差視訊資料從圖元域轉換到變換域（諸如頻域）。

變換處理單元52可以將所得到的變換係數發送給量化單元54。量化單元54對變換係數進行量化以進一步降低位元速率。量化程序可以減小與這些係數中的一些或所有係數相關聯的位元深度。可以經由調整量化參數來修改量化程度。在一些實例中，量化單元54隨後可以執行對包括經量化的變換係數的矩陣的掃瞄。替代地或另外，熵編碼單元56可以執行該掃瞄。

在量化之後，熵編碼單元56對經量化的變換係數進行熵編碼。例如，熵編碼單元56可以執行上下文自我調整變長譯碼（CAVLC）、上下文自我調整二進位算術譯碼（CABAC）、基於語法的上下文自我調整二進位算術譯碼（SBAC）、概率區間分割熵（PIPE）譯碼或另一種熵編碼技術。在由熵編碼單元56進行熵編碼之後，可以將經編碼的位元串流發送給解碼設備112，或者將其存檔以供稍後傳輸或者由解碼設備112取得。熵編碼單元56亦可以對用於正被譯碼的當前視訊切片的運動向量和其他語法元素進行熵編碼。

逆量化單元58和逆變換處理單元60分別應用逆量化和逆變換，以重構圖元域中的殘差塊，以供稍後用作參考圖片的參考塊。運動補償單元44可以經由將殘差塊加上在參考圖片列表內的參考圖片之一的預測塊來計算參考塊。運動補償單元44亦可以將一或多個內插濾波器應用於經重構的殘差塊，以計算用於運動估計的整數以下的圖元值。求和器62將經重構的殘差塊加到由運動補償單元44產生的經運動補償的預測塊上，以產生用於儲存在圖片記憶體64中的參考塊。參考塊可以由運動估計單元42和運動補償單元44用作參考塊，以對在隨後的視訊訊框或圖片中的塊進行訊框間預測。

以這種方式，圖8的編碼設備104表示視訊轉碼器的實例，該視訊轉碼器被配置為執行本文描述的技術。例如，編碼設備104可以執行本文描述的技術中的任何技術（包括本文描述的程序）。在一些情況下，本案內容的技術中的一些技術亦可以由後處理設備57來實現。

圖9是示出實例解碼設備112的方塊圖。解碼設備112包括熵解碼單元80、預測處理單元81、逆量化單元86、逆變換處理單元88、求和器90、濾波器單元91和圖片記憶體92。預測處理單元81包括運動補償單元82和訊框內預測處理單元84。在一些實例中，解碼設備112可以執行通常與關於來自圖8的編碼設備104所描述的編碼階段相反的解碼階段。

在解碼程序期間，解碼設備112接收由編碼設備104發送的經編碼的視訊位元串流，其表示經編碼的視訊切片的視訊塊和關聯的語法元素。在一些實施例中，解碼設備112可以從編碼設備104接收經編碼的視訊位元串流。在一些實施例中，解碼設備112可以從網路實體79（諸如伺服器、媒體感知網路元素（MANE）、視訊編輯器/拼接器、或被配置為實現上述技術中的一或多個技術的其他這種設備）接收經編碼的視訊位元串流。網路實體79可以包括或者可以不包括編碼設備104。在網路實體79將經編碼的視訊位元串流發送給解碼設備112之前，網路實體79可以實現在本案內容中描述的技術中的一些技術。在一些視訊解碼系統中，網路實體79和解碼設備112可以是單獨設備的部分，而在其他情況下，關於網路實體79所描述的功能可以由包括解碼設備112的相同設備來執行。

解碼設備112的熵解碼單元80對位元串流進行熵解碼以產生量化係數、運動向量和其他語法元素。熵解碼單元80將運動向量和其他語法元素轉發給預測處理單元81。解碼設備112可以接收在視訊切片級別及/或視訊塊級別的語法元素。熵解碼單元80可以處理和解析在諸如VPS、SPS和PPS之類的更多參數集中的固定長度語法元素和可變長度語法元素兩者。

當視訊切片被譯碼為經訊框內譯碼（I）的切片時，預測處理單元81的訊框內預測處理單元84可以基於用訊號通知的訊框內預測模式以及來自當前訊框或圖片的先前解碼的塊中的資料，來產生用於當前視訊切片的視訊塊的預測資料。當視訊訊框被譯碼為經訊框間譯碼（亦即，B、P或GPB）的切片時，預測處理單元81的運動補償單元82基於從熵解碼單元80接收的運動向量以及其他語法元素來產生用於當前視訊切片的視訊塊的預測塊。可以從在參考圖片列表內的參考圖片之一產生預測塊。解碼設備112可以基於被儲存在圖片記憶體92中的參考圖片，使用預設構造技術來構造參考訊框列表，即列表0和列表1。

運動補償單元82經由解析運動向量和其他語法元素來決定用於當前視訊切片的視訊塊的預測資訊，並且使用該預測資訊來產生用於正在被解碼的當前視訊塊的預測塊。例如，運動補償單元82可以使用參數集中的一或多個語法元素來決定用於對視訊切片的視訊塊進行解碼的預測模式（例如，訊框內或訊框間預測）、訊框間預測切片類型（例如，B切片、P切片或GPB切片）、用於針對該切片的一或多個參考圖片列表的構造資訊、用於該切片的每個經訊框間編碼的視訊塊的運動向量、用於該切片的每個經訊框間解碼的視訊塊的訊框間預測狀態、以及用於對當前視訊切片中的視訊塊進行解碼的其他資訊。

運動補償單元82亦可以基於內插濾波器來執行內插。運動補償單元82可以使用在視訊塊的編碼期間由編碼設備104使用的內插濾波器來計算針對參考塊的整數以下的圖元的插入的值。在這種情況下，運動補償單元82可以根據所接收的語法元素來決定由編碼設備104使用的內插濾波器，並且可以使用內插濾波器來產生預測塊。

逆量化單元86對在位元串流中提供並且由熵解碼單元80解碼的經量化的變換係數進行逆量化或解量化。逆量化程序可以包括使用由編碼設備104針對視訊切片之每一者視訊塊計算出的量化參數來決定量化程度，以及同樣地決定應當被應用的逆量化度。逆變換處理單元88將逆變換（例如，逆DCT或其他適當的逆變換）、逆整數變換或概念上類似的逆變換程序應用於變換係數，以便在圖元域中產生殘差塊。

在運動補償單元82基於運動向量和其他語法元素產生用於當前視訊塊的預測塊之後，解碼設備112經由將來自逆變換處理單元88的殘差塊與由運動補償單元82產生的相應預測塊相加以形成經解碼的視訊塊。求和器90表示執行這種求和運算的一或多個部件。若需要的話，亦可以使用迴路濾波器（在譯碼迴路中或在譯碼迴路之後）來使圖元過渡平滑，或者以其他方式提高視訊品質。濾波器單元91意欲表示一或多個迴路濾波器，諸如去塊濾波器、自我調整迴路濾波器（ALF）和取樣自我調整偏移（SAO）濾波器。儘管在圖11中將濾波器單元91示為迴路中濾波器，但是在其他配置中，濾波器單元91可以被實現為迴路後濾波器。隨後將給定訊框或圖片中的經解碼的視訊塊儲存在圖片記憶體92中，圖片記憶體92儲存用於隨後運動補償的參考圖片。圖片記憶體92亦儲存經解碼的視訊，以供稍後在顯示裝置（諸如在圖1中所示的視訊目的地設備122）上呈現。

以這種方式，圖9的解碼設備112表示視訊解碼器的實例，該視訊解碼器被配置為執行本文描述的技術。例如，解碼設備112可以執行本文描述的技術中的任何技術（包括本文描述的程序）。

如本文所使用的，術語「電腦可讀取媒體」包括但不限於可攜式或非可攜式存放裝置、光學存放裝置、以及能夠儲存、包含或攜帶指令及/或資料的各種其他媒體。電腦可讀取媒體可以包括資料可以被儲存在其中並且不包括以下各項的非暫時性媒體：無線地或者在有線連接上傳播的載波及/或暫時性電子訊號。非暫時性媒體的實例可以包括但不限於：磁碟或磁帶、諸如壓縮光碟（CD）或數位多功能光碟（DVD）之類的光學儲存媒體、快閃記憶體、記憶體或記憶體設備。電腦可讀取媒體可以具有被儲存在其上的代碼及/或機器可執行指令，代碼及/或機器可執行指令可以表示程序、函數、副程式、程式、常式、子常式、模組、套裝軟體、類、或者指令、資料結構或程式語句的任何組合。程式碼片段可以經由傳遞及/或接收資訊、資料、引數、參數或記憶體內容，來耦合到另一程式碼片段或硬體電路。可以經由包括記憶體共享、訊息傳遞、符記傳遞、網路傳輸等的任何適當的手段來傳遞、轉發或發送資訊、引數、參數、資料等。

在一些實施例中，電腦可讀存放裝置、媒體和記憶體可以包括包含位元串流等的電纜或無線訊號。然而，當提及時，非暫時性電腦可讀取儲存媒體明確地排除諸如能量、載波訊號、電磁波和訊號本身之類的媒體。

在以上描述中提供了具體細節以提供對本文提供的實施例和實例的透徹理解。然而，本發明所屬領域中具有通常知識者將理解的是，可以在沒有這些具體細節的情況下實施這些實施例。為了解釋清楚，在一些情況下，本文的技術可以被呈現為包括包含如下的功能方塊的單獨的功能方塊，這些功能方塊包括設備、設備部件、以軟體體現的方法中的步驟或常式、或者硬體和軟體的組合。除了在各圖中所示及/或本文描述的部件之外，亦可以使用額外的部件。例如，電路、系統、網路、程序和其他部件可以以方塊圖形式被示為部件，以便不會在不必要的細節上模糊這些實施例。在其他情況下，公知的電路、程序、演算法、結構和技術可能被示為不具有不必要的細節，以便避免模糊這些實施例。

上文可能將各個實施例描述為程序或方法，該程序或方法被圖示為流程圖、流程示意圖、資料流圖、結構圖或方塊圖。儘管流程圖可以將操作描述為順序的程序，但是這些操作中的許多操作可以並行或同時執行。另外，可以重新排列操作的次序。程序在其操作完成後被終止，但是可能具有未被包括在圖中的額外步驟。程序（process）可以對應於方法、函數、程序（procedure）、子常式、副程式等。當程序對應於函數時，其終止可以對應於該函數返回到調用函數或主函數。

根據上述實例的程序和方法可以使用電腦可執行指令來實現，電腦可執行指令被儲存在電腦可讀取媒體中或者以其他方式可從電腦可讀取媒體得到。此類指令可以包括例如指令或資料，指令或資料使得通用電腦、專用電腦或處理設備執行或者以其他方式將其配置為執行特定功能或特定的一組功能。可以經由網路存取所使用的電腦資源的部分。電腦可執行指令可以是例如二進位檔案、諸如組合語言之類的中間格式指令、韌體、原始程式碼等。可以用於儲存指令、所使用的資訊及/或在根據所描述的實例的方法期間建立的資訊的電腦可讀取媒體的實例包括磁碟或光碟、快閃記憶體、設置有非揮發性記憶體的USB設備、網路存放裝置等。

實現根據這些揭示內容的程序和方法的設備可以包括硬體、軟體、韌體、中介軟體、微代碼、硬體描述語言或其任何組合，並且可以採用多種形狀因數中的任何一種。當用軟體、韌體、中介軟體或微代碼來實現時，用於執行必要任務的程式碼或程式碼片段（例如，電腦程式產品）可以被儲存在電腦可讀或機器可讀取媒體中。處理器可以執行必要任務。形狀因數的典型實例包括膝上型電腦、智慧型電話、行動電話、平板設備或其他小型形狀因數的個人電腦、個人數位助理、機架式設備、獨立設備等。本文描述的功能亦可以體現在周邊設備或外掛程式卡中。經由另外的舉例，這種功能亦可以在單個設備中執行的不同晶片或不同程序之間的電路板上實現。

指令、用於傳送此類指令的媒體、用於執行它們的計算資源以及用於支援此類計算資源的其他結構是用於提供在本案內容中描述的功能的實例模組。

在前面的描述中，參考本案的特定實施例描述了本案的各態樣，但是本發明所屬領域中具有通常知識者將認識到，本案不限於此。儘管本文已經詳細描述了本案的說明性實施例，但是應理解的是，可以以其他方式不同地體現和採用本發明構思，並且所附的請求項意欲被解釋為包括此類變型，除了由現有技術限制的變型。可以單獨地或共同地使用上述應用的各個特徵和態樣。此外，在不脫離本說明書的更寬泛的精神和範疇的情況下，實施例可以在除了本文描述的環境和應用之外的任何數量的環境和應用中使用。因此，說明書和附圖被認為是說明性的而不是限制性的。為了說明的目的，以特定次序描述了方法。應當明白的是，在替代實施例中，可以以與所描述的次序不同的次序來執行方法。

本發明所屬領域中具有通常知識者將明白的是，在不脫離本說明書的範疇的情況下，本文中使用的小於（「＜」）和大於（「＞」）符號或術語可以分別用小於或等於（「

」）以及大於或等於（「

」）符號來替換。

在將部件描述為「被配置為」執行某些操作的情況下，這種配置可以例如經由以下方式來實現：將電路或其他硬體設計為執行該操作，將可程式設計電路（例如，微處理器或其他適當的電路）程式設計為執行該操作，或其任何組合。

短語「耦合到」代表直接或間接地實體連接到另一部件的任何部件、及/或直接或間接地與另一部件通訊的任何部件（例如，經由有線或無線連接及/或其他適當的通訊介面而連接到另一部件）。

記載集合中的「至少一個」及/或集合中的「一或多個」的請求項語言或其他語言指示該集合中的一個成員或者該集合中的多個成員（以任何組合）滿足該請求項。例如，記載「A和B中的至少一個」的請求項語言意指A、B、或者A和B。在另一實例中，記載「A、B和C中的至少一個」的請求項語言意指A、B、C、或者A和B、或者A和C、或者B和C、或者A和B和C。語言集合中的「至少一個」及/或集合中的「一或多個」並不將該集合限制為在該集合中列出的專案。例如，記載「A和B中的至少一個」的實例語言可以意指A、B或者A和B，並且可以另外包括未在A和B的集合中列出的專案。

結合本文揭示的實施例描述的各種說明性的邏輯區塊、模組、電路和演算法步驟可以被實現為電子硬體、電腦軟體、韌體或其組合。為了清楚地說明硬體和軟體的這種可互換性，上面已經對各種說明性的部件、方塊、模組、電路和步驟圍繞其功能進行了整體描述。至於這種功能被實現為硬體還是軟體取決於特定的應用和被施加在整個系統上的設計約束。具有普通知識者可以針對每種特定應用以不同的方式來實現所描述的功能，但是這種實現決策不應當被解釋為導致脫離本案的範疇。

本文描述的技術亦可以用電子硬體、電腦軟體、韌體或其任何組合來實現。此類技術可以在各種設備中的任何一種中實現，諸如通用電腦、無線通訊設備手機或具有多種用途（包括在無線通訊設備手機和其他設備中的應用）的積體電路設備。被描述為模組或部件的任何特徵皆可以在積體邏輯裝置中一起實現，或者分別作為個別但是可交互動操作的邏輯裝置來實現。若用軟體來實現，則該等技術可以至少部分地由電腦可讀取資料儲存媒體來實現，電腦可讀取資料儲存媒體包括程式碼，程式碼包括在被執行時執行上述方法中的一或多個方法的指令。電腦可讀取資料儲存媒體可以形成電腦程式產品的一部分，電腦程式產品可以包括包裝材料。電腦可讀取媒體可以包括記憶體或資料儲存媒體，諸如隨機存取記憶體（RAM）（諸如同步動態隨機存取記憶體（SDRAM））、唯讀記憶體（ROM）、非揮發性隨機存取記憶體（NVRAM）、電子可抹除可程式設計唯讀記憶體（EEPROM）、快閃記憶體、磁或光資料儲存媒體等。補充或替代地，該等技術可以至少部分地由以指令或資料結構的形式攜帶或傳送程式碼並且可以由電腦存取、讀取及/或執行的電腦可讀通訊媒體（諸如傳播的訊號或波）來實現。

程式碼可以由處理器執行，處理器可以包括一或多個處理器，諸如一或多個數位訊號處理器（DSP）、通用微處理器、特殊應用積體電路（ASIC）、現場可程式設計邏輯陣列（FPGA）或其他等效的整合或個別邏輯電路。此類處理器可以被配置為執行在本案內容中描述的任何技術。通用處理器可以是微處理器，但是在替代方式中，處理器可以是任何習知的處理器、控制器、微控制器或狀態機。處理器亦可以被實現為計算設備的組合，例如，DSP和微處理器的組合、複數個微處理器、一或多個微處理器與DSP核的結合、或任何其他此類配置。因此，如本文所使用的術語「處理器」可以代表任何前述結構、前述結構的任何組合、或適於實現本文描述的技術的任何其他結構或裝置。另外，在一些態樣中，本文描述的功能可以在被配置用於編碼和解碼的專用軟體模組或硬體模組內提供，或者被合併在組合視訊轉碼器-解碼器（CODEC）中。

本案內容的說明性實例包括：

態樣1：一種處理視訊資料的方法，該方法包括：獲得視訊資料的塊；使用訊框內預測模式來處理該塊；及基於該塊的寬度和高度中的至少一項來決定要用於該塊的內插濾波器類型。

態樣2：根據態樣1之方法，亦包括：基於關於該塊的該寬度和該塊的該高度中的至少一項大於閥值的決定來決定要用於該塊的第一內插濾波器類型；及使用該第一內插濾波器類型來決定用於該塊的參考圖元。

態樣3：根據態樣1之方法，其中該第一內插濾波器類型包括6分接點高斯濾波器。

態樣4：根據態樣1之方法，亦包括：基於關於該塊的該寬度和該塊的該高度中的至少一項不大於閥值的決定來決定要用於該塊的第二內插濾波器類型；及使用該第二內插濾波器類型來決定用於該塊的參考圖元。

態樣5：根據態樣4之方法，其中該第二內插濾波器類型包括4分接點高斯濾波器。

態樣6：根據態樣1至5中任一項所述的方法，其中該內插濾波器類型是在視訊位元串流中顯式地用訊號通知的。

態樣7：根據態樣6之方法，其中該內插濾波器類型是根據預測塊、譯碼塊、譯碼樹單元（CTU）、切片或序列來顯式地用訊號通知的。

態樣8：根據態樣1至5中任一項所述的方法，亦包括：在不使用在視訊位元串流中顯式地用訊號通知的資訊的情況下，基於該塊的該寬度和該高度中的至少一項來決定該平滑濾波器類型。

態樣9：一種裝置，包括：記憶體，其被配置為儲存視訊資料；及處理器，其被配置為：獲得視訊資料的塊；使用訊框內預測模式來處理該塊；及基於該塊的寬度和高度中的至少一項來決定要用於該塊的內插濾波器類型。

態樣10：根據態樣9之裝置，其中該處理器被配置為：基於關於該塊的該寬度和該塊的該高度中的至少一項大於閥值的決定來決定要用於該塊的第一內插濾波器類型；及使用該第一內插濾波器類型來決定用於該塊的參考圖元。

態樣11：根據態樣9之裝置，其中該第一內插濾波器類型包括6分接點高斯濾波器。

態樣12：根據態樣9之裝置，其中該處理器被配置為：基於關於該塊的該寬度和該塊的該高度中的至少一項不大於閥值的決定來決定要用於該塊的第二內插濾波器類型；及使用該第二內插濾波器類型來決定用於該塊的參考圖元。

態樣13：根據態樣12之裝置，其中該第二內插濾波器類型包括4分接點高斯濾波器。

態樣14：根據態樣9至13中任一項所述的裝置，其中該內插濾波器類型是在視訊位元串流中顯式地用訊號通知的。

態樣15：根據態樣14之裝置，其中該內插濾波器類型是根據預測塊、解碼塊、解碼樹單元（CTU）、切片或序列來顯式地用訊號通知的。

態樣16：根據態樣9至13中任一項所述的裝置，其中該處理器被配置為：在不使用在視訊位元串流中顯式地用訊號通知的資訊的情況下，基於該塊的該寬度和該高度中的至少一項來決定該平滑濾波器類型。

態樣17：根據態樣9至16中任一項所述的裝置，其中該裝置包括編碼器。

態樣18：根據態樣9至17中任一項所述的裝置，其中該裝置包括解碼器。

態樣19：根據態樣9至18中任一項所述的裝置，其中該裝置是行動設備。

態樣20：根據態樣9至19中任一項所述的裝置，其中該裝置是擴展現實設備。

態樣21：根據態樣9至20中任一項所述的裝置，亦包括：被配置為顯示該視訊資料的顯示器。

態樣22：根據態樣9至21中任一項所述的裝置，亦包括：被配置為擷取一或多個圖片的相機。

態樣23：一種具有儲存在其上的指令的電腦可讀取媒體，該等指令在由處理器執行時執行根據態樣1至22中任一項所述的方法。

態樣24：一種裝置，包括用於執行根據態樣1至22中任一項所述的操作的單元。

態樣25：一種處理視訊資料的方法，該方法包括：獲得視訊資料的塊；使用訊框內預測模式來處理該塊；及基於該塊的寬度和高度中的至少一項來決定要用於該塊的平滑濾波器類型。

態樣26：根據態樣25之方法，亦包括：決定該訊框內預測模式的角度是否為整數角度；其中決定該平滑濾波器類型亦是基於關於該訊框內預測模式的該角度是整數角度的決定的。

態樣27：根據態樣25或26中任一項所述的方法，亦包括：基於關於該塊的該寬度和該塊的該高度中的至少一項大於閥值的決定來決定要用於該塊的第一平滑濾波器類型；及使用該第一平滑濾波器類型來處理用於該塊的至少一個預測圖元。

態樣28：根據態樣27之方法，其中該第一平滑濾波器類型包括[1 4 6 4 1]濾波器。

態樣29：根據態樣25或26中任一項所述的方法，亦包括：基於關於該塊的該寬度和該塊的該高度中的至少一項不大於閥值的決定來決定要用於該塊的第二平滑濾波器類型；及使用該第二平滑濾波器類型來處理用於該塊的至少一個預測圖元。

態樣30：根據態樣29之方法，其中該第二平滑濾波器類型包括[1 2 1]濾波器。

態樣31：根據態樣25至30中任一項所述的方法，其中該平滑濾波器類型是在視訊位元串流中顯式地用訊號通知的。

態樣32：根據態樣31之方法，其中該內插濾波器類型是根據預測塊、譯碼塊、譯碼樹單元（CTU）、切片或序列來顯式地用訊號通知的。

態樣33：根據態樣25至31中任一項所述的方法，亦包括：在不使用在視訊位元串流中顯式地用訊號通知的資訊的情況下，基於該塊的該寬度和該高度中的至少一項來決定該平滑濾波器類型。

態樣34：一種裝置，包括：記憶體，其被配置為儲存視訊資料；及處理器，其被配置為：獲得視訊資料的塊；使用訊框內預測模式來處理該塊；及基於該塊的寬度和高度中的至少一項來決定要用於該塊的平滑濾波器類型。

態樣35：根據態樣34之裝置，其中該處理器被配置為：決定該訊框內預測模式的角度是否為整數角度；其中決定該平滑濾波器類型亦是基於關於該訊框內預測模式的該角度是整數角度的決定的。

態樣36：根據態樣34或35中任一項所述的裝置，其中該處理器被配置為：基於關於該塊的該寬度和該塊的該高度中的至少一項大於閥值的決定來決定要用於該塊的第一平滑濾波器類型；及使用該第一平滑濾波器類型來處理用於該塊的至少一個預測圖元。

態樣37：根據態樣36之裝置，其中該第一平滑濾波器類型包括[1 4 6 4 1]濾波器。

態樣38：根據態樣34或35中任一項所述的裝置，其中該處理器被配置為：基於關於該塊的該寬度和該塊的該高度中的至少一項不大於閥值的決定來決定要用於該塊的第二平滑濾波器類型；及使用該第二平滑濾波器類型來處理用於該塊的至少一個預測圖元。

態樣39：根據態樣38之裝置，其中該第二平滑濾波器類型包括[1 2 1]濾波器。

態樣40：根據態樣34至39中任一項所述的裝置，其中該平滑濾波器類型是在視訊位元串流中顯式地用訊號通知的。

態樣41：根據態樣40之裝置，其中該內插濾波器類型是根據預測塊、譯碼塊、譯碼樹單元（CTU）、切片或序列來顯式地用訊號通知的。

態樣42：根據態樣34至39中任一項所述的裝置，其中該處理器被配置為：在不使用在視訊位元串流中顯式地用訊號通知的資訊的情況下，基於該塊的該寬度和該高度中的至少一項來決定該平滑濾波器類型。

態樣43：根據態樣34至42中任一項所述的裝置，其中該裝置包括編碼器。

態樣44：根據態樣34至43中任一項所述的裝置，其中該裝置包括解碼器。

態樣45：根據態樣34至44中任一項所述的裝置，其中該裝置是行動設備。

態樣46：根據態樣34至45中任一項所述的裝置，其中該裝置是擴展現實設備。

態樣47：根據態樣34至46中任一項所述的裝置，亦包括：被配置為顯示該視訊資料的顯示器。

態樣48：根據態樣34至47中任一項所述的裝置，亦包括：被配置為擷取一或多個圖片的相機。

態樣49：一種具有儲存在其上的指令的電腦可讀取媒體，該等指令在由處理器執行時執行根據態樣25至48中任一項所述的方法。

態樣50：一種裝置，包括用於執行根據態樣25至48中任一項所述的操作的單元。

態樣51：一種具有儲存在其上的指令的電腦可讀取媒體，該等指令在由處理器執行時執行根據態樣1至22和態樣25至48中任一項所述的方法。

態樣52：一種裝置，包括用於執行根據態樣1至22和態樣25至48中任一項所述的操作的單元。

態樣53：一種用於處理視訊資料的裝置，包括：至少一個記憶體；及至少一個處理器，其耦合到該至少一個記憶體並且被配置為：決定用於預測視訊資料區塊的訊框內預測模式；決定要用於該視訊資料區塊的平滑濾波器的類型，其中該平滑濾波器的該類型是至少部分地基於將該視訊資料區塊的寬度和該視訊資料區塊的高度中的至少一項與第一閥值進行比較來決定的；及使用所決定的平滑濾波器的類型和該訊框內預測模式來針對該視訊資料區塊執行訊框內預測。

態樣54：根據態樣53之裝置，其中該至少一個處理器被配置為：至少部分地基於關於該塊的該寬度和該塊的該高度中的至少一項大於該第一閥值的決定，使用第一平滑內插濾波器作為所決定的平滑濾波器的類型；及使用該第一平滑內插濾波器來決定用於該視訊資料區塊的訊框內預測的參考圖元。

態樣55：根據態樣53至54中任一項所述的裝置，其中該第一平滑內插濾波器包括6分接點高斯濾波器。

態樣56：根據態樣55之裝置，其中該至少一個處理器被配置為：至少部分地基於關於該塊的該寬度和該塊的該高度中的至少一項不大於該第一閥值的決定，使用第二平滑內插濾波器作為所決定的平滑濾波器的類型；及使用該第二平滑內插濾波器來決定用於該視訊資料區塊的訊框內預測的參考圖元。

態樣57：根據態樣56之裝置，其中該第二平滑內插濾波器包括4分接點高斯濾波器。

態樣58：根據態樣53至57中任一項所述的裝置，其中該至少一個處理器被配置為：決定該訊框內預測模式的角度方向與垂直訊框內預測模式和水平訊框內預測模式中的一項之間的最小偏移；及基於將所決定的最小偏移與第二閥值進行比較來決定要用於該視訊資料區塊的平滑濾波器的該類型。

態樣59：根據態樣58之裝置，其中該至少一個處理器被配置為：至少部分地基於關於所決定的最小偏移大於該第二閥值的決定以及關於該訊框內預測模式是與整數值參考圖元位置相關聯的整數角度模式的決定，將低通濾波器決定為平滑濾波器的該類型。

態樣60：根據態樣59之裝置，其中該低通濾波器在沒有內插的情況下執行參考圖元平滑，該低通濾波器包括[1 2 1]濾波器。

態樣61：根據態樣58之裝置，其中該至少一個處理器被配置為：至少部分地基於關於所決定的最小偏移大於該第二閥值的決定以及關於該訊框內預測模式是與分數值參考圖元位置相關聯的分數角度模式的決定，將高斯濾波器決定為平滑濾波器的該類型。

態樣62：根據態樣61之裝置，其中該高斯濾波器在沒有參考圖元平滑的情況下執行平滑內插。

態樣63：根據態樣61之裝置，其中該高斯濾波器基於關於該塊的該寬度和該塊的該高度中的至少一項大於該第一閥值的決定而包括6分接點高斯濾波器。

態樣64：根據態樣61之裝置，其中該高斯濾波器基於關於該塊的該寬度和該塊的該高度中的至少一項不大於該第一閥值的決定而包括4分接點高斯濾波器。

態樣65：根據態樣58之裝置，其中該至少一個處理器被配置為：至少部分地基於關於所決定的最小偏移不大於該第二閥值的決定：使用內插濾波器作為所決定的平滑濾波器的類型，其中該內插濾波器包括4分接點三次濾波器；及在不應用參考圖元平滑的情況下，使用該內插濾波器來針對該視訊資料區塊執行訊框內預測。

態樣66：根據態樣58之裝置，其中該至少一個處理器被配置為：至少部分地基於關於該訊框內預測模式是整數角度模式的決定以及關於所決定的最小偏移大於該第二閥值的決定，將低通濾波器決定為平滑濾波器的該類型。

態樣67：根據態樣67之裝置，其中該至少一個處理器被配置為：至少部分地基於關於該塊的該寬度和該塊的該高度中的至少一項大於該第一閥值的決定，使用大分接點低通濾波器來執行參考圖元平滑，其中該大分接點低通濾波器應用與小分接點低通濾波器相比更大的參考圖元平滑度。

態樣68：根據態樣67之裝置，其中該至少一個處理器被配置為：至少部分地基於關於該塊的該寬度和該塊的該高度中的至少一項不大於該第一閥值的決定，使用小分接點低通濾波器來執行參考圖元平滑，其中該小分接點低通濾波器應用與大分接點低通濾波器相比更小的參考圖元平滑度。

態樣69：根據態樣53至68中任一項所述的裝置，其中該至少一個處理器被配置為：至少部分地基於將該訊框內預測模式的斜率與根據該塊的該寬度和該塊的該高度決定的一或多個圖元位置進行比較，將該訊框內預測模式決定為整數角度模式。

態樣70：根據態樣53至69中任一項所述的裝置，其中該至少一個處理器被配置為：決定該訊框內預測模式的角度方向與垂直訊框內預測模式或水平訊框內預測模式之間的偏移小於第二閥值；及基於決定該訊框內預測模式的該角度方向與該垂直訊框內預測模式或該水平訊框內預測模式之間的該偏移小於該第二閥值，使用三次內插濾波器來針對該視訊資料區塊執行訊框內預測。

態樣71：根據態樣70之裝置，其中該至少一個處理器被配置為：使用弱內插濾波器來執行輔助線擴展，其中：該弱內插濾波器用於在使用該三次內插濾波器執行訊框內預測之前執行該輔助線擴展；並且該三次內插濾波器具有與該弱內插濾波器相比更高的截止頻率，並且應用與該弱內插濾波器相比更大的平滑度。

態樣72：根據態樣71之裝置，其中該弱內插濾波器包括4分接點基於sinc的內插濾波器和6位元4分接點內插濾波器。

態樣73：根據態樣53至72中任一項所述的裝置，其中平滑濾波器的該類型是在視訊位元串流中用訊號通知的。

態樣74：根據態樣53至73中任一項所述的裝置，其中平滑濾波器的該類型是針對預測塊、譯碼塊、譯碼樹單元（CTU）、切片或序列的集合中的單獨各項用訊號通知的。

態樣75：根據態樣53至74中任一項所述的裝置，其中該至少一個處理器被配置為：在不使用在視訊位元串流中顯式地用訊號通知的資訊的情況下，基於該塊的該寬度和該高度中的至少一項來決定平滑濾波器的該類型。

態樣76：根據態樣53至75中任一項所述的裝置，其中該至少一個處理器被配置為：決定用於該視訊資料區塊的殘差資料區塊；及使用該殘差資料區塊和基於針對該視訊資料區塊執行訊框內預測而決定的預測塊來對該視訊資料區塊進行解碼。

態樣77：根據態樣53至75中任一項所述的裝置，其中該至少一個處理器被配置為：產生包括與該視訊資料區塊相關聯的資訊的經編碼的視訊位元串流。

態樣78：根據態樣77之裝置，亦包括：使得將該經編碼的視訊位元串流儲存在該至少一個記憶體中。

態樣79：根據態樣77或78中任一項所述的裝置，亦包括：被配置為發送該經編碼的視訊位元串流的發射器。

態樣80：一種處理視訊資料的方法，該方法包括：決定用於預測視訊資料區塊的訊框內預測模式；決定要用於該視訊資料區塊的平滑濾波器的類型，其中該平滑濾波器的該類型是至少部分地基於將該視訊資料區塊的寬度和該視訊資料區塊的高度中的至少一項與第一閥值進行比較來決定的；及使用所決定的平滑濾波器的類型和該訊框內預測模式來針對該視訊資料區塊執行訊框內預測。

態樣81：根據態樣80之方法，亦包括：至少部分地基於關於該塊的該寬度和該塊的該高度中的至少一項大於該第一閥值的決定，使用第一平滑內插濾波器作為所決定的平滑濾波器的類型；及使用該第一平滑內插濾波器來決定用於該視訊資料區塊的訊框內預測的參考圖元。

態樣82：根據態樣81之方法，其中該第一平滑內插濾波器包括6分接點高斯濾波器。

態樣83：根據態樣80至82中任一項所述的方法，亦包括：至少部分地基於關於該塊的該寬度和該塊的該高度中的至少一項不大於該第一閥值的決定，使用第二平滑內插濾波器作為所決定的平滑濾波器的類型；及使用該第二平滑內插濾波器來決定用於該視訊資料區塊的訊框內預測的參考圖元。

態樣84：根據態樣83之方法，其中該第二平滑內插濾波器包括4分接點高斯濾波器。

態樣85：根據態樣80至84中任一項所述的方法，亦包括：決定該訊框內預測模式的角度方向與垂直訊框內預測模式和水平訊框內預測模式中的一項之間的最小偏移；及基於將所決定的最小偏移與第二閥值進行比較來決定要用於該視訊資料區塊的平滑濾波器的該類型。

態樣86：根據態樣85之方法，亦包括：至少部分地基於關於所決定的最小偏移大於該第二閥值的決定以及關於該訊框內預測模式是與整數值參考圖元位置相關聯的整數角度模式的決定，將低通濾波器決定為平滑濾波器的該類型。

態樣87：根據態樣86之方法，其中該低通濾波器在沒有內插的情況下執行參考圖元平滑，該低通濾波器包括[1 2 1]濾波器。

態樣88：根據態樣85之方法，亦包括：至少部分地基於關於所決定的最小偏移大於該第二閥值的決定以及關於該訊框內預測模式是與分數值參考圖元位置相關聯的分數角度模式的決定，將高斯濾波器決定為平滑濾波器的該類型。

態樣89：根據態樣88之方法，其中該高斯濾波器在沒有參考圖元平滑的情況下執行平滑內插。

態樣90：根據態樣88之方法，其中該高斯濾波器基於關於該塊的該寬度和該塊的該高度中的至少一項大於該第一閥值的決定而包括6分接點高斯濾波器。

態樣91：根據態樣88之方法，其中該高斯濾波器基於關於該塊的該寬度和該塊的該高度中的至少一項不大於該第一閥值的決定而包括4分接點高斯濾波器。

態樣92：根據態樣85之方法，亦包括：至少部分地基於關於所決定的最小偏移不大於該第二閥值的決定：使用內插濾波器作為所決定的平滑濾波器的類型，其中該內插濾波器包括4分接點三次濾波器；及在不應用參考圖元平滑的情況下，使用該內插濾波器來針對該視訊資料區塊執行訊框內預測。

態樣93：根據態樣85之方法，亦包括：至少部分地基於關於該訊框內預測模式是整數角度模式的決定以及關於所決定的該訊框內預測模式與該水平或垂直模式之間的最小偏移大於該第二閥值的決定，將低通濾波器決定為平滑濾波器的該類型。

態樣94：根據態樣93之方法，亦包括：至少部分地基於關於該塊的該寬度和該塊的該高度中的至少一項大於該第一閥值的決定，使用大分接點低通濾波器來應用參考圖元平滑，其中該大分接點低通濾波器應用與小分接點低通濾波器相比更大的參考圖元平滑度。

態樣95：根據態樣93之方法，亦包括：至少部分地基於關於該塊的該寬度和該塊的該高度中的至少一項不大於該第一閥值的決定，使用小分接點低通濾波器來應用參考圖元平滑，其中該小分接點低通濾波器應用與大分接點低通濾波器相比更小的參考圖元平滑度。

態樣96：根據態樣80至95中任一項所述的方法，亦包括：至少部分地基於將該訊框內預測模式的斜率與根據該塊的該寬度和該塊的該高度決定的一或多個圖元位置進行比較，將該訊框內預測模式決定為整數角度模式。

態樣97：根據態樣80至96中任一項所述的方法，亦包括：決定該訊框內預測模式的角度方向與垂直訊框內預測模式或水平訊框內預測模式之間的偏移小於第二閥值；及基於決定所決定的偏移小於該第二閥值，使用三次內插濾波器來針對該視訊資料區塊執行訊框內預測。

態樣98：根據態樣97之方法，亦包括：使用弱內插濾波器來執行輔助線擴展，其中：該弱內插濾波器用於在使用該三次內插濾波器執行訊框內預測之前執行該輔助線擴展；並且該三次內插濾波器具有與該弱內插濾波器相比更高的截止頻率，並且應用與該弱內插濾波器相比更大的平滑度。

態樣99：根據態樣98之方法，其中該弱內插濾波器包括4分接點基於sinc的內插濾波器和6位元4分接點內插濾波器。

態樣100：根據態樣80至99中任一項所述的方法，其中平滑濾波器的該類型是在視訊位元串流中用訊號通知的。

態樣101：根據態樣80至100中任一項所述的方法，其中平滑濾波器的該類型是針對預測塊、譯碼塊、譯碼樹單元（CTU）、切片或序列的集合中的單獨各項用訊號通知的。

態樣102：根據態樣80至101中任一項所述的方法，亦包括：在不使用在視訊位元串流中顯式地用訊號通知的資訊的情況下，基於該塊的該寬度和該高度中的至少一項來決定平滑濾波器的該類型。

態樣103：根據態樣80至102中任一項所述的方法，亦包括：決定用於該視訊資料區塊的殘差資料區塊；及使用該殘差資料區塊和基於針對該視訊資料區塊執行訊框內預測而決定的預測塊來對該視訊資料區塊進行解碼。

態樣104：根據態樣80至102中任一項所述的方法，亦包括：產生包括與該視訊資料區塊相關聯的資訊的經編碼的視訊位元串流。

態樣105：根據態樣104之方法，亦包括：儲存該經編碼的視訊位元串流。

態樣106：根據態樣104或105中任一項所述的方法，亦包括：發送該經編碼的視訊位元串流。

態樣107：一種具有儲存在其上的指令的電腦可讀取媒體，該等指令在由處理器執行時執行根據態樣53至106中任一項所述的方法。

態樣108：一種裝置，包括用於執行根據態樣53至106中任一項所述的操作的單元。

35:分割單元 41:預測處理單元 42:運動估計單元 44:運動補償單元 46:訊框內預測處理單元 50:求和器 52:變換處理單元 54:量化單元 56:熵編碼單元 57:後處理設備 58:逆量化單元 60:逆變換處理單元 62:求和器 63:濾波器單元 64:圖片記憶體 79:網路實體 80:熵解碼單元 81:預測處理單元 82:運動補償單元 84:訊框內預測處理單元 86:逆量化單元 88:逆變換處理單元 90:求和器 91:濾波器單元 92:圖片記憶體 100:系統 102:視訊源 104:編碼設備 106:編碼器引擎 108:儲存單元 110:輸出 112:解碼設備 114:輸入 116:解碼器引擎 118:儲存單元 120:通訊鏈路 122:視訊目的地設備 200a:實例圖 200b:實例圖 300:MDIS程序 302:操作 304:操作 306:操作 307:操作 308:操作 309:操作 310:操作 400:實例圖 405:譯碼塊 410:參考圖元 420:輔助線擴展圖元 423:點 430:左參考圖元 500:程序 502:操作 504:方塊 506:操作 507:操作 508:操作 509:操作 510:操作 512:操作 514:操作 600:程序 602:方塊 604:方塊 606:方塊 α:分數位置

下文參考以下附圖來詳細描述本案的說明性實施例：

圖1是示出根據一些實例的編碼設備和解碼設備的實例的方塊圖；

圖2A是示出根據一些實例的角度預測模式的實例的圖；

圖2B是示出根據一些實例的通用視訊譯碼（VVC）中的定向訊框內預測模式的實例的圖；

圖3是示出根據一些實例的模式相關訊框內平滑（MDIS）程序的實例的圖；

圖4是示出根據一些實例的輔助線擴展的實例的圖；

圖5是示出根據一些實例的基於塊大小和訊框內預測模式中的一項或多項的可切換高斯濾波的實例的圖；

圖6是示出根據一些實例的用於利用增強內插濾波器來執行訊框內預測的程序的實例的流程圖；

圖7是示出根據一些實例的實例視訊編碼設備的方塊圖；及

圖8是示出根據一些實例的實例視訊解碼設備的方塊圖。

國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無

400:實例圖

405:譯碼塊

410:參考圖元

420:輔助線擴展圖元

423:點

430:左參考圖元

Claims (50)

1. 一種用於處理視訊資料的裝置，包括： 至少一個記憶體；及 至少一個處理器，其耦合到該至少一個記憶體並且被配置為： 決定用於預測一視訊資料區塊的一訊框內預測模式； 決定要用於該視訊資料區塊的平滑濾波器的一類型，其中該平滑濾波器的該類型是至少部分地基於將該視訊資料區塊的一寬度和該視訊資料區塊的一高度中的至少一項與一第一閥值進行比較來決定的；及 使用所決定的平滑濾波器的類型和該訊框內預測模式來針對該視訊資料區塊執行訊框內預測。
2. 根據請求項1之裝置，其中該至少一個處理器被配置為： 至少部分地基於關於該塊的該寬度和該塊的該高度中的至少一項大於該第一閥值的一決定，使用一第一平滑內插濾波器作為所決定的平滑濾波器的類型；及 使用該第一平滑內插濾波器來決定用於對該視訊資料區塊的訊框內預測的一參考圖元。
3. 根據請求項2之裝置，其中該第一平滑內插濾波器包括一6分接點高斯濾波器。
4. 根據請求項1之裝置，其中該至少一個處理器被配置為： 至少部分地基於關於該塊的該寬度和該塊的該高度中的至少一項不大於該第一閥值的一決定，使用一第二平滑內插濾波器作為所決定的平滑濾波器的類型；及 使用該第二平滑內插濾波器來決定用於對該視訊資料區塊的訊框內預測的一參考圖元。
5. 根據請求項4之裝置，其中該第二平滑內插濾波器包括一4分接點高斯濾波器。
6. 根據請求項1之裝置，其中該至少一個處理器被配置為： 決定在該訊框內預測模式的一角度方向與一垂直訊框內預測模式和一水平訊框內預測模式中的一項之間的一最小偏移；及 基於將所決定的最小偏移與一第二閥值進行比較來決定要用於該視訊資料區塊的平滑濾波器的該類型。
7. 根據請求項6之裝置，其中該至少一個處理器被配置為： 至少部分地基於關於所決定的最小偏移大於該第二閥值的一決定以及關於該訊框內預測模式是與一整數值參考圖元位置相關聯的一整數角度模式的一決定，將一低通濾波器決定為平滑濾波器的該類型。
8. 根據請求項7之裝置，其中該低通濾波器在沒有內插的情況下執行參考圖元平滑，該低通濾波器包括一[1 2 1]濾波器。
9. 根據請求項6之裝置，其中該至少一個處理器被配置為： 至少部分地基於關於所決定的最小偏移大於該第二閥值的一決定以及關於該訊框內預測模式是與一分數值參考圖元位置相關聯的一分數角度模式的一決定，將一高斯濾波器決定為平滑濾波器的該類型。
10. 根據請求項9之裝置，其中該高斯濾波器在沒有參考圖元平滑的情況下執行平滑內插。
11. 根據請求項9之裝置，其中基於關於該塊的該寬度和該塊的該高度中的至少一項大於該第一閥值的一決定，該高斯濾波器包括一6分接點高斯濾波器。
12. 根據請求項9之裝置，其中基於關於該塊的該寬度和該塊的該高度中的至少一項不大於該第一閥值的一決定，該高斯濾波器包括一4分接點高斯濾波器。
13. 根據請求項6之裝置，其中該至少一個處理器被配置為至少部分地基於關於所決定的最小偏移不大於該第二閥值的一決定來進行以下操作： 使用一內插濾波器作為所決定的平滑濾波器的類型，其中該內插濾波器包括一4分接點三次濾波器；及 在不應用參考圖元平滑的情況下，使用該內插濾波器來針對該視訊資料區塊執行訊框內預測。
14. 根據請求項6之裝置，其中該至少一個處理器被配置為： 至少部分地基於關於該訊框內預測模式是一整數角度模式的一決定以及關於所決定的最小偏移大於該第二閥值的決定，將一低通濾波器決定為平滑濾波器的該類型。
15. 根據請求項14之裝置，其中該至少一個處理器被配置為： 至少部分地基於關於該塊的該寬度和該塊的該高度中的至少一項大於該第一閥值的一決定，使用一大分接點低通濾波器來執行參考圖元平滑，其中該大分接點低通濾波器應用與一小分接點低通濾波器相比更大的一參考圖元平滑的程度。
16. 根據請求項14之裝置，其中該至少一個處理器被配置為： 至少部分地基於關於該塊的該寬度和該塊的該高度中的至少一項不大於該第一閥值的一決定，使用一小分接點低通濾波器來執行參考圖元平滑，其中該小分接點低通濾波器應用與一大分接點低通濾波器相比更小的一參考圖元平滑的程度。
17. 根據請求項1之裝置，其中該至少一個處理器被配置為： 至少部分地基於將該訊框內預測模式的一斜率與根據該塊的該寬度和該塊的該高度決定的一或多個圖元位置進行比較，將該訊框內預測模式決定為一整數角度模式。
18. 根據請求項1之裝置，其中該至少一個處理器被配置為： 決定在該訊框內預測模式的一角度方向與一垂直訊框內預測模式或一水平訊框內預測模式之間的一偏移小於一第二閥值；及 基於決定在該訊框內預測模式的該角度方向與該垂直訊框內預測模式或該水平訊框內預測模式之間的該偏移小於該第二閥值，使用一三次內插濾波器來針對該視訊資料區塊執行訊框內預測。
19. 根據請求項18之裝置，其中該至少一個處理器被配置為使用一弱內插濾波器來執行輔助線擴展，其中： 該弱內插濾波器用於在使用該三次內插濾波器執行訊框內預測之前執行該輔助線擴展；並且 該三次內插濾波器具有與該弱內插濾波器相比更高的一截止頻率，並且應用與該弱內插濾波器相比更大的一平滑度。
20. 根據請求項19之裝置，其中該弱內插濾波器包括一4分接點基於sinc的內插濾波器和一6位元4分接點內插濾波器。
21. 根據請求項1之裝置，其中平滑濾波器的該類型是在一視訊位元串流中用訊號通知的。
22. 根據請求項1之裝置，其中平滑濾波器的該類型是針對預測塊、譯碼塊、譯碼樹單元（CTU）、切片或序列的一集合中的單獨各項用訊號通知的。
23. 根據請求項1之裝置，其中該至少一個處理器被配置為： 在不使用在一視訊位元串流中顯式地用訊號通知的資訊的情況下，基於該塊的該寬度和該高度中的至少一項來決定平滑濾波器的該類型。
24. 根據請求項1之裝置，其中該至少一個處理器被配置為： 決定針對該視訊資料區塊的一殘差資料區塊；及 使用該殘差資料區塊和基於針對該視訊資料區塊執行該訊框內預測而決定的一預測塊來對該視訊資料區塊進行解碼。
25. 根據請求項1之裝置，其中該至少一個處理器被配置為： 產生包括與該視訊資料區塊相關聯的資訊的一經編碼的視訊位元串流。
26. 根據請求項25之裝置，亦包括： 使得將該經編碼的視訊位元串流儲存在該至少一個記憶體中。
27. 根據請求項25之裝置，亦包括： 被配置為發送該經編碼的視訊位元串流的發射器。
28. 一種處理視訊資料的方法，該方法包括以下步驟： 決定用於預測一視訊資料區塊的一訊框內預測模式； 決定要用於該視訊資料區塊的平滑濾波器的一類型，其中該平滑濾波器的該類型是至少部分地基於將該視訊資料區塊的一寬度和該視訊資料區塊的一高度中的至少一項與一第一閥值進行比較來決定的；及 使用所決定的平滑濾波器的類型和該訊框內預測模式來針對該視訊資料區塊執行訊框內預測。
29. 根據請求項28之方法，亦包括以下步驟： 至少部分地基於關於該塊的該寬度和該塊的該高度中的至少一項大於該第一閥值的一決定，使用一第一平滑內插濾波器作為所決定的平滑濾波器的類型；及 使用該第一平滑內插濾波器來決定用於該視訊資料區塊的訊框內預測的一參考圖元。
30. 根據請求項29之方法，其中該第一平滑內插濾波器包括一6分接點高斯濾波器。
31. 根據請求項28之方法，亦包括以下步驟： 至少部分地基於關於該塊的該寬度和該塊的該高度中的至少一項不大於該第一閥值的一決定，使用一第二平滑內插濾波器作為所決定的平滑濾波器的類型；及 使用該第二平滑內插濾波器來決定用於對該視訊資料區塊的訊框內預測的一參考圖元。
32. 根據請求項31之方法，其中該第二平滑內插濾波器包括一4分接點高斯濾波器。
33. 根據請求項28之方法，亦包括以下步驟： 決定在該訊框內預測模式的一角度方向與一垂直訊框內預測模式和一水平訊框內預測模式中的一項之間的一最小偏移；及 基於將所決定的最小偏移與一第二閥值進行比較來決定要用於該視訊資料區塊的平滑濾波器的該類型。
34. 根據請求項33之方法，亦包括以下步驟： 至少部分地基於關於所決定的最小偏移大於該第二閥值的一決定以及關於該訊框內預測模式是與一整數值參考圖元位置相關聯的一整數角度模式的一決定，將一低通濾波器決定為平滑濾波器的該類型。
35. 根據請求項34之方法，其中該低通濾波器在沒有內插的情況下執行參考圖元平滑，該低通濾波器包括一[1 2 1]濾波器。
36. 根據請求項33之方法，亦包括以下步驟： 至少部分地基於關於所決定的最小偏移大於該第二閥值的一決定以及關於該訊框內預測模式是與一分數值參考圖元位置相關聯的一分數角度模式的一決定，將一高斯濾波器決定為平滑濾波器的該類型。
37. 根據請求項36之方法，其中該高斯濾波器在沒有參考圖元平滑的情況下執行平滑內插。
38. 根據請求項36之方法，其中基於關於該塊的該寬度和該塊的該高度中的至少一項大於該第一閥值的一決定，該高斯濾波器包括一6分接點高斯濾波器。
39. 根據請求項36之方法，其中基於關於該塊的該寬度和該塊的該高度中的至少一項不大於該第一閥值的一決定，該高斯濾波器包括一4分接點高斯濾波器。
40. 根據請求項33之方法，亦包括至少部分地基於關於所決定的最小偏移不大於該第二閥值的一決定來進行以下操作： 使用一內插濾波器作為所決定的平滑濾波器的類型，其中該內插濾波器包括一4分接點三次濾波器；及 在不應用參考圖元平滑的情況下，使用該內插濾波器來針對該視訊資料區塊執行訊框內預測。
41. 根據請求項33之方法，亦包括以下步驟：至少部分地基於關於該訊框內預測模式是一整數角度模式的一決定以及關於所決定的在該訊框內預測模式與該水平模式或垂直模式之間的最小偏移大於該第二閥值的一決定，將一低通濾波器決定為平滑濾波器的該類型。
42. 根據請求項41之方法，亦包括以下步驟： 至少部分地基於關於該塊的該寬度和該塊的該高度中的至少一項大於該第一閥值的一決定，使用一大分接點低通濾波器來應用參考圖元平滑，其中該大分接點低通濾波器應用與一小分接點低通濾波器相比更大的一參考圖元平滑的程度。
43. 根據請求項41之方法，亦包括以下步驟： 至少部分地基於關於該塊的該寬度和該塊的該高度中的至少一項不大於該第一閥值的一決定，使用一小分接點低通濾波器來應用參考圖元平滑，其中該小分接點低通濾波器應用與一大分接點低通濾波器相比更小的一參考圖元平滑的程度。
44. 根據請求項28之方法，亦包括至少部分地基於將該訊框內預測模式的一斜率與根據該塊的該寬度和該塊的該高度決定的一或多個圖元位置進行比較，將該訊框內預測模式決定為一整數角度模式。
45. 根據請求項28之方法，亦包括以下步驟： 決定在該訊框內預測模式的一角度方向與一垂直訊框內預測模式或一水平訊框內預測模式之間的一偏移小於一第二閥值；及 基於決定所決定的偏移小於該第二閥值，使用一三次內插濾波器來針對該視訊資料區塊執行訊框內預測。
46. 根據請求項45之方法，亦包括使用一弱內插濾波器來執行輔助線擴展，其中： 該弱內插濾波器用於在使用該三次內插濾波器執行訊框內預測之前執行該輔助線擴展；並且 該三次內插濾波器具有與該弱內插濾波器相比更高的一截止頻率，並且應用與該弱內插濾波器相比更大一的平滑度。
47. 根據請求項28之方法，其中平滑濾波器的該類型是在一視訊位元串流中用訊號通知的。
48. 根據請求項28之方法，亦包括以下步驟：在不使用在一視訊位元串流中顯式地用訊號通知的資訊的情況下，基於該塊的該寬度和該高度中的至少一項來決定平滑濾波器的該類型。
49. 根據請求項28之方法，亦包括以下步驟： 決定針對該視訊資料區塊的一殘差資料區塊；及 使用該殘差資料區塊和基於針對該視訊資料區塊執行該訊框內預測而決定的一預測塊來對該視訊資料區塊進行解碼。
50. 根據請求項28之方法，亦包括以下步驟： 產生包括與該視訊資料區塊相關聯的資訊的一經編碼的視訊位元串流。

Images