[go: up one dir, main page]

CN119137939A - 基于块位置的帧内模式的自适应编码方法及设备 - Google Patents

基于块位置的帧内模式的自适应编码方法及设备 Download PDF

Info

Publication number
CN119137939A
CN119137939A CN202380037832.8A CN202380037832A CN119137939A CN 119137939 A CN119137939 A CN 119137939A CN 202380037832 A CN202380037832 A CN 202380037832A CN 119137939 A CN119137939 A CN 119137939A
Authority
CN
China
Prior art keywords
current block
mode
type
prediction mode
mpm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202380037832.8A
Other languages
English (en)
Inventor
全炳宇
金范允
李侑津
千茂虎
许镇
朴胜煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sungkyunkwan University School Industry Cooperation
Hyundai Motor Co
Kia Corp
Original Assignee
Sungkyunkwan University School Industry Cooperation
Hyundai Motor Co
Kia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020230044007A external-priority patent/KR20230155348A/ko
Application filed by Sungkyunkwan University School Industry Cooperation, Hyundai Motor Co, Kia Corp filed Critical Sungkyunkwan University School Industry Cooperation
Publication of CN119137939A publication Critical patent/CN119137939A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了基于块位置的帧内模式的自适应编码方法及设备。在本实施例中,图像解码设备基于当前块的位置确定当前块的类型,并且生成包括MPM候选的最可能模式(MPM)列表。图像解码设备根据当前块的类型从MPM候选中确定冗余预测模式。图像解码设备从冗余预测模式中确定代表性模式,并且通过移除排除所确定的代表性模式的冗余预测模式来重新配置MPM列表。图像解码设备从比特流解码当前块的MPM索引,并且通过使用MPM索引从重新配置的MPM列表确定当前块的帧内预测模式。

Description

基于块位置的帧内模式的自适应编码方法及设备
技术领域
本发明涉及一种用于基于块位置的帧内模式的自适应编码的视频编码方法和设备。
背景技术
该部分中的陈述仅提供与本公开相关的背景信息,并且不一定构成现有技术。
因为视频数据与音频或静止图像数据相比具有大量数据,所以在没有用于压缩的处理的情况下,视频数据需要大量硬件资源(包括存储器)来存储或传输视频数据。
因而,编码器通常用于压缩和存储或传输视频数据。解码器接收压缩视频数据,对接收到的压缩视频数据进行解压缩,播放解压缩后的视频数据。视频压缩技术包括H.264/高级视频编码(AVC)、高效率视频编码(HEVC)和多用途视频编码(VVC),其与HEVC相比具有大约30%或更多的改善的编码效率。
然而,由于图像大小、分辨率和帧速率逐渐增加,所以要编码的数据量也增加。因而,需要提供比现有压缩技术更高的编码效率和改善的图像增强效果的新压缩技术。
帧内预测利用同一图片内的像素信息来预测待编码的当前块的像素值。在执行帧内预测时,可基于图片的特征来选择和使用多个帧内预测模式中的一者来预测当前块。编码器选择并使用帧内预测模式中的一者来编码当前块。编码器然后可以将关于该模式的信息传递给解码器。
HEVC技术利用总共35个帧内预测模式来进行帧内预测,包含具有方向性的33个角模式和不具有方向性的两个非角模式。然而,随着视频的空间分辨率从720×480增加到2048×1024或8192×4096,预测块的大小相应地增加,这需要添加更多的帧内预测模式。如图3a所示,通用视频编码(VVC)技术利用67个帧内预测模式进行帧内预测,其针对帧内预测被进一步细分,允许比在现有技术中更多种类的预测方向。
同时,在执行帧内预测时,与当前块相对应的帧内预测模式被单独地编码。此时,编码器将帧内预测模式编码为最可能模式(MPM)或MPM剩余,其被称为用于帧内预测模式的MPM编码方法。根据该方法,当以帧内预测模式对块进行编码时,编码器使用相邻块的预测模式类似于基于当前块的相邻块的预测模式选择6个MPM候选的属性。六个MPM候选被统称为MPM列表。首先,如果当前块的帧内预测模式包括在MPM列表中,则编码器对包括在MPM列表中的候选之中的与当前块的帧内预测模式相对应的MPM索引进行编码。另一方面,如果当前块的帧内预测模式没有被包括在MPM列表中,则编码器可以通过使用与排除的六个MPM候选组合的MPM剩余来编码用于当前块的帧内预测模式。
然而,如果当前块位于图像边界(例如,CTU、瓦片、切片、子图片、图片等的边界)处,那么位于当前块周围的参考像素中的全部或一些可能不存在。在此情况下,VVC技术使用填补来生成用于空位置的参考像素值,且接着执行帧内预测,如上所述。在此过程中,可能发生编码(或解码)不同预测模式中的每一者的低效率,即使常常通过使用不同预测模式来生成相同预测器。因此,为了增加视频编码效率和增强视频质量,需要提供编码/解码帧内预测模式的高效方法。
发明内容
【技术问题】
本发明试图提供一种用于在帧内预测中基于当前块的位置自适应地编码或解码帧内预测模式的视频编码方法和设备。
此外,本公开试图通过使用预定义的新方法、移除冗余帧内模式、或使用预定义的新方法和移除冗余帧内模式的组合以改变MPM列表,来提供用于基于块位置生成最可能模式列表(MPM列表)的视频编码方法和设备。
【技术方案】
本发明的至少一方面提供一种由视频解码设备执行的用于解码当前块的帧内预测模式的方法。所述方法包含基于所述当前块的位置确定所述当前块的类型。所述方法还包含生成包含最可能模式候选(MPM候选)的最可能模式列表(MPM列表)。该方法还包括在MPM候选之中并且基于当前块的类型确定生成共同预测器的冗余预测模式。所述方法还包含确定冗余预测模式中的代表性模式。该方法还包括:通过移除除了代表性模式以外的冗余预测模式来重组MPM列表。
本发明的另一方面提供一种由视频编码设备执行的用于对当前块的帧内预测模式进行编码的方法。所述方法包含基于所述当前块的位置确定所述当前块的类型。所述方法还包含生成包含最可能模式候选(MPM候选)的最可能模式列表(MPM列表)。该方法还包括在MPM候选之中并且基于当前块的类型确定生成共同预测器的冗余预测模式。所述方法还包含在所述冗余预测模式当中确定代表性模式。该方法还包括通过移除除了代表性模式以外的冗余预测模式来重组MPM列表。
本发明的又一方面提供一种存储由视频编码方法生成的比特流的计算机可读记录介质。所述视频编码方法包括基于当前块的位置确定当前块的类型。视频编码方法还包括生成包括最可能模式候选(MPM候选)的最可能模式列表(MPM列表)。视频编码方法还包括在MPM候选之中并且基于当前块的类型确定生成共同预测器的冗余预测模式。所述视频编码方法还包含确定所述冗余预测模式当中的代表性模式。视频编码方法还包括通过移除除了代表性模式以外的冗余预测模式来重组MPM列表。
【有益效果】
如上所述,本公开提供根据当前块的位置自适应地对帧内预测模式进行编码或解码的视频编码方法和设备。由此,视频编码方法和设备提高了视频编码效率并增强了视频质量。
附图说明
图1是可实施本发明的技术的视频编码装置的框图。
图2说明用于使用四叉树加二叉树三叉树(QTBTTT)结构来分割块的方法。
图3a和3b示出包括广角帧内预测模式的多个帧内预测模式。
图4示出当前块的相邻块。
图5是可实施本发明的技术的视频解码装置的框图。
图6是示出了参考样本的搜索顺序的示图。
图7a和图7b是示出了参考样本的生成的示图。
图8是示出了在最可能模式(MPM)配置中利用的像素的示图。
图9a和图9b是示出了基于块位置和预测模式的预测器的示图。
图10是示出根据本公开的至少一个实施例的在帧内预测模式下的编码/解码的图。
图11是示出根据本公开的至少一个实施例的基于位置的当前块的类型的图。
图12是根据本发明的至少一个实施例的基于块位置对帧内模式进行解码的方法的流程图。
图13是示出根据本公开的至少一个实施方式的类型1的块的预设模式的示图。
图14是示出根据本公开的至少一个实施例的MPM列表的组成的图。
图15是根据本公开的至少一个实施例根据预定义的方法组合MPM列表的方法的流程图。
图16是示出根据本公开的至少一个实施例的冗余预测模式的移除的示图。
图17是根据本公开的至少一个实施例的移除冗余预测模式的方法的流程图。
图18是根据本公开的至少一个实施例的移除冗余预测模式和添加新候选的方法的流程图。
图19为根据本公开另一个实施方式的移除冗余预测模式的方法的流程图。
具体实施方式
在下文中,参照附图详细描述本公开的一些实施方式。在以下描述中,相同的参考标号表示相同的元件,尽管元件在不同的附图中示出。此外,在一些实施方式的以下描述中,为了清楚和简洁的目的,当认为使本公开的主题模糊时,可以省略相关已知组件和功能的详细描述。
图1是可以实现本公开的技术的视频编码装置的框图。在下文中,参考图1的图解,描述视频编码装置和该装置的组件。
编码装置可包括图片分离器110、预测器120、减法器130、变换器140、量化器145、重排单元150、熵编码器155、逆量化器160、逆变换器165、加法器170、环路滤波器单元180和存储器190。
编码装置的每个组件可以实现为硬件或软件或者实现为硬件和软件的组合。此外,每个组件的功能可以实现为软件,并且还可以实现微处理器以执行与每个组件相对应的软件的功能。
一个视频由包括多个图片的一个或多个序列构成。每个画面被划分为多个区域,并对每个区域执行编码。例如,将一个图片分裂成一个或一个以上瓦片或/和切片。在此,一个或多个贴片可以被定义为贴片组。每一瓦片或/和切片分裂成一或多个编码树单元(CTU)。另外,每一CTU通过树结构分裂成一或多个编码单元(CU)。将应用于每一编码单元(CU)的信息编码为CU的语法,且将共同应用于包含于一个CTU中的CU的信息编码为CTU的语法。此外,共同应用于一个片中的所有块的信息被编码为片报头的语法,并且应用于构成一个或更多个图片的所有块的信息被编码为图片参数集(PPS)或图片报头。此外,将多个图片共同参考的信息编码到序列参数集(SPS)。另外,一或多个SPS共同参考的信息被编码到视频参数集(VPS)。进一步,共同应用于一个瓦片或瓦片组的信息也可编码为瓦片或瓦片组标头的语法。包括在SPS、PPS、片头部、贴片或贴片组头部中的语法可以被称为高级语法。
图片分割器110确定编码树单元(CTU)的大小。关于CTU的大小(CTU大小)的信息被编码为SPS或PPS的语法并且被递送到视频解码装置。
图片分割器110将构成视频的每个图片分割成具有预定大小的多个编码树单元(CTU),然后通过使用树结构递归分割CTU。树结构中的叶节点变成编码单元(CU),其是编码的基本单元。
树结构可以是四叉树(QT),其中,较高节点(或父节点)被分成具有相同大小的四个较低节点(或子节点)。树结构也可以是二进制树(BT),其中较高节点被分成两个较低节点。树结构还可以是三叉树(TT),其中,较高节点以1:2:1的比率被划分为三个较低节点。树结构还可以是QT结构、BT结构和TT结构中的两个或更多个结构被混合的结构。例如,可以使用四叉树加二叉树(QTBT)结构或者可以使用四叉树加二叉树三叉树(QTBTTT)结构。这里,将二叉树三叉树(BTTT)添加到树结构以被称为多类型树(MTT)。
图2是用于描述通过使用QTBTTT结构分割块的方法的示图。
如图2所示,CTU可以首先被拆分成QT结构。四叉树分割可以是递归的,直到分割块的大小达到在QT中允许的叶节点的最小块大小(MinQTSize)。指示QT结构的每个节点是否被划分为下层的四个节点的第一标志(QT_split_flag)由熵编码器155编码,并被传输到视频解码装置。当QT的叶节点不大于在BT中允许的根节点的最大块大小(MaxBTSize)时,叶节点可进一步被划分为BT结构或TT结构中的至少一个。在BT结构和/或TT结构中可存在多个分割方向。例如,可存在两个方向,即,相应节点的块被水平划分的方向和相应节点的块被垂直划分的方向。如图2所示,当MTT划分开始时,指示节点是否被划分的第二标志(mtt_split_flag)以及另外指示划分方向(垂直或水平)的标志和/或如果节点被划分则指示划分类型(二进制或三进制)的标志由熵编码器155编码并用信号通知视频解码装置。
可替代地,在编码指示每个节点是否被划分为下层的四个节点的第一标志(QT_split_flag)之前,指示节点是否被划分的CU分割标志(split_cu_flag)也可被编码。当CU分割标志(split_cu_flag)的值指示每一节点未分裂时,对应节点的块变为分裂树结构中的叶节点且变为作为编码的基本单元的CU。当CU分割标志(split_cu_flag)的值指示每个节点被分割时,视频编码装置首先通过上述方案开始编码第一标志。
当QTBT被用作树结构的另一实例时,可存在两种类型,即,相应节点的块被水平划分为具有相同大小的两个块的类型(即,对称水平划分)和相应节点的块被垂直划分为具有相同大小的两个块的类型(即,对称垂直划分)。指示BT结构的每个节点是否被分割为下层的块的分割标志(split_flag)和指示分割类型的分割类型信息由熵编码器155编码,并被递送到视频解码装置。同时,可以另外呈现将对应节点的块分割为彼此不对称的两个块的类型。非对称形式可包括其中对应节点的块被划分为具有1:3的大小比的两个矩形块的形式,或者还可包括其中对应节点的块被沿对角线方向划分的形式。
CU可根据来自CTU的QTBT或QTBTTT分裂而具有不同大小。在下文中,对应于待编码或解码的CU(即,QTBTTT的叶节点)的块被称为“当前块”。由于采用QTBTTT拆分,当前块的形状除了正方形形状外,还可以是矩形形状。
预测器120预测当前块以生成预测块。预测器120包括帧内预测器122和帧间预测器124。
一般来说,图片中的当前块中的每一者可经预测性编码。通常,当前块的预测可以通过使用帧内预测技术(使用来自包括当前块的图片的数据)或者帧间预测技术(使用来自在包括当前块的图片之前被编译的图片的数据)来执行。帧间预测包括单向预测和双向预测两者。
帧内预测器122通过使用在包括当前块的当前图片中位于当前块的邻居上的像素(参考像素)来预测当前块中的像素。根据预测方向,存在多个帧内预测模式。例如,如图3A中所示,多个帧内预测模式可以包括包含平面模式和DC模式的2个非定向模式,并且可以包括65个定向模式。相邻像素和将被使用的算术等式根据每个预测模式被不同地定义。
为了对具有矩形形状的当前块进行有效的定向预测,可以附加地使用如图3B中的虚线箭头图示的定向模式(#67至#80,帧内预测模式#-1至#-14)。定向模式可被称作“广角帧内预测模式”。在图3B中,箭头指示用于预测的对应参考样本并且不表示预测方向。预测方向与箭头所示的方向相反。在当前块具有矩形形状时,广角帧内预测模式是在没有附加比特传输的情况下以与特定方向模式相反的方向执行预测的模式。在这种情况下,在广角帧内预测模式中,可通过具有矩形形状的当前块的宽度和高度的比率确定可用于当前块的一些广角帧内预测模式。例如,在当前块具有高度小于宽度的矩形形状时,具有小于45度的角度的宽角度帧内预测模式(帧内预测模式#67至#80)是可用的。在当前块具有宽度大于高度的矩形形状时,可使用具有大于-135度的角度的广角帧内预测模式。
帧内预测器122可以确定将用于对当前块进行编码的帧内预测。在一些实施例中,帧内预测器122可通过使用多个帧内预测模式对当前块进行编码,且还可从测试模式中选择将使用的适当帧内预测模式。例如,帧内预测器122可通过使用针对多个测试的帧内预测模式的速率-失真分析来计算速率-失真值,并且还可在测试模式中选择具有最佳速率-失真特征的帧内预测模式。
帧内预测器122在多个帧内预测模式中选择一个帧内预测模式,并通过使用相邻像素(参考像素)和根据选择的帧内预测模式确定的算术等式来预测当前块体。关于所选择的帧内预测模式的信息由熵编码器155编码,并被递送到视频解码装置。
帧间预测器124通过使用运动补偿处理来生成用于当前块的预测块。帧间预测器124在比当前画面更早地编码和解码的参考画面中搜索与当前块最相似的块,并且通过使用搜索到的块生成用于当前块的预测块。另外,生成运动矢量(MV),其对应于在当前图片中的当前块和在参考图片中的预测块之间的位移。通常,对亮度分量执行运动估计,并且基于亮度分量计算的运动矢量被用于亮度分量和色度分量两者。包括关于参考图片的信息和关于用于预测当前块的运动矢量的信息的运动信息由熵编码器155编码,并被递送到视频解码装置。
帧间预测器124还可对参考图片或参考块执行内插以便增加预测的准确度。换句话说,两个连续整数样本之间的子样本通过将滤波器系数应用于包括两个整数样本的多个连续整数样本而被内插。当针对插值的参考画面执行搜索与当前块最相似的块的处理时,可以针对运动矢量表示不是整数样本单位精度,而是十进制单位精度。可针对待编码的每一目标区域(例如,例如切片、瓦片、CTU、CU等单元)不同地设定运动矢量的精度或分辨率。当应用此自适应运动矢量分辨率(AMVR)时,应针对每一目标区域用信号发出关于待应用于每一目标区域的运动矢量分辨率的信息。例如,当目标区域是CU时,用信号通知关于应用于每个CU的运动矢量分辨率的信息。关于运动矢量分辨率的信息可以是表示将在下面描述的运动矢量差的精度的信息。
同时,帧间预测器124可通过使用双向预测来执行帧间预测。在双向预测的情况下,使用两个参考图片和表示在每个参考图片中最类似于当前块的块位置的两个运动矢量。帧间预测器124分别从参考图片列表0(RefPicList0)和参考图片列表1(RefPicList1)选择第一参考图片和第二参考图片。帧间预测器124还搜索与相应参考图片中的当前块最相似的块以生成第一参考块和第二参考块。另外,通过对第一参考块和第二参考块进行平均或加权平均来生成当前块的预测块。另外,包括关于用于预测当前块的两个参考图片的信息并且包括关于两个运动矢量的信息的运动信息被递送到熵编码器155。在这里,参考图片列表0可以由在预先重构的图片当中的按照显示顺序的在当前图片之前的图片组成,并且参考图片列表1可以由在预先重构的图片当中的按照显示顺序的在当前图片之后的图片组成。然而,虽然不特别限于此,但是按照显示顺序在当前图片之后的预重构的图片可以附加地包括在参考图片列表0中。相反地,在当前图片之前的预重构的图片也可以被附加地包括在参考图片列表1中。
为了最小化用于编码运动信息所消耗的比特数量,可以使用各种方法。
例如,当当前块的参考图片和运动矢量与相邻块的参考图片和运动矢量相同时,能够识别相邻块的信息被编码以将当前块的运动信息递送到视频解码装置。这种方法被称为合并模式。
在合并模式中,帧间预测器124从当前块的相邻块中选择预定数量的合并候选块(在下文中,称为“合并候选”)。
作为用于推导合并候选的相邻块,如在图4中图示的,可以使用在当前图片中相邻于当前块的左块A0、左下块A1、上块B0、右上块B1、和左上块B2中的全部或一些。进一步,定位在参考图片内(可以与用于预测当前块的参考图片相同或不同)的除当前块定位在其处的当前图片之外的块也可以用作合并候选。例如,在参考图片内具有当前块的位于同一地点的块或相邻于位于同一地点的块的块可另外用作合并候选。如果通过上文所描述的方法选择的合并候选的数量小于预设数量,那么将零矢量添加到合并候选。
帧间预测器124通过使用相邻块配置包括预定数量的合并候选的合并列表。从包括在合并列表中的合并候选中选择要用作当前块的运动信息的合并候选,并且生成用于识别所选择的候选的合并索引信息。生成的合并索引信息由熵编码器155编码,并被递送到视频解码装置。
合并跳跃模式是合并模式的特殊情况。在量化之后,当用于熵编码的所有变换系数接近于零时,仅传输相邻块选择信息而不传输残差信号。通过使用合并跳跃模式,对于具有轻微运动的图片、静止图片、屏幕内容图片等等可以实现相对高的编码效率。
在下文中,合并模式和合并跳跃模式被统称为合并/跳跃模式。
用于编码运动信息的另一方法是高级运动矢量预测(AMVP)模式。
在AMVP模式中,帧间预测器124通过使用当前块的相邻块推导用于当前块的运动矢量的运动矢量预测器候选。作为用于推导运动矢量预测器候选的相邻块,可以使用与在图4中图示的当前图片中的当前块相邻的左块A0、左下块A1、上块B0、右上块B1和左上块B2中的全部或一些。此外,定位在参考图片内(可以与用于预测当前块的参考图片相同或不同)的除当前块定位在其处的当前图片之外的块也可以用作用于推导运动矢量预测器候选的相邻块。例如,可以使用在参考图片之内与当前块的共处一地的块或者相邻于共处一地的块的块。如果通过上述方法选择的运动矢量候选的数量小于预设数量,则零矢量被添加到运动矢量候选。
帧间预测器124通过使用相邻块的运动矢量推导运动矢量预测器候选,并通过使用运动矢量预测器候选确定用于当前块的运动矢量的运动矢量预测器。另外,通过从当前块的运动矢量减去运动矢量预测器来计算运动矢量差。
运动矢量预测器可通过将预定义的函数(例如,中心值和平均值计算等)应用于运动矢量预测器候选来获得。在这种情况下,视频解码装置还知道预定义的函数。此外,由于用于推导运动矢量预测器候选的相邻块是编码和解码已经完成的块,所以视频解码装置还可能已经知道相邻块的运动矢量。因此,视频编码装置不需要对用于识别运动矢量预测器候选的信息进行编码。因而,在这种情况下,关于运动矢量差的信息和关于用于预测当前块的参考图片的信息被编码。
同时,还可以通过选择运动矢量预测器候选中的任何一个的方案来确定运动矢量预测器。在这种情况下,用于识别选择的运动矢量预测器候选的信息与关于运动矢量差的信息和关于用于预测当前块的参考图片的信息联合地另外编码。
减法器130通过从当前块中减去由帧内预测器122或帧间预测器124生成的预测块来生成残差块。
变换器140将具有空间域的像素值的残差块中的残差信号转换为频域的变换系数。变换器140可通过将残差块的总大小用作变换单元来对残差块中的残差信号进行变换,或者还可将残差块分割成多个子块,并可通过将子块用作变换单元来执行变换。可选地,所述残差块被划分为两个子块,分别为变换区域和非变换区域,以仅使用所述变换区域子块作为变换单元对所述残差信号进行变换。在此,变换区域子块可以是具有基于水平轴(或垂直轴)的1:1的大小比的两个矩形块之一。在这种情况下,标志(cu_sbt_flag)指示仅子块被变换,方向性(垂直/水平)信息(cu_sbt_horizontal_flag)和/或位置信息(cu_sbt_pos_flag)由熵编码器155编码并用信号通知视频解码装置。此外,变换区域子块的大小可基于水平轴(或垂直轴)具有1:3的大小比率。在这种情况下,划分相应划分的标志(cu_sbt_quad_flag)另外由熵编码器155编码,并用信号通知视频解码装置。
同时,变换器140可在水平方向和垂直方向上单独地对残差块执行变换。对于变换,可使用不同类型的变换函数或变换矩阵。例如,用于水平变换和垂直变换的一对变换函数可定义为多重变换集合(MTS)。变换器140可选择在MTS中具有最高变换效率的一个变换函数对,并可在水平和垂直方向中的每一者上变换残差块。MTS中的变换函数对的信息(mts_idx)由熵编码器155编码并用信号通知视频解码装置。
量化器145使用量化参数量化从变换器140输出的变换系数,并将量化的变换系数输出到熵编码器155。量化器145还可以立即量化相关的残差块,而无需用于任何块或帧的变换。量化器145还可根据变换块中的变换系数的位置应用不同的量化系数(缩放值)。应用于以2维布置的量化的变换系数的量化矩阵可被编码并用信号通知给视频解码装置。
重排单元150可以执行针对量化的残差值的系数值的重新排列。
重排单元150可以通过使用系数扫描将2D系数阵列改变为1D系数序列。例如,重排单元150可以通过使用Z字形扫描或者对角线扫描将DC系数扫描为高频域系数来输出ID系数序列。根据变换单元的大小和帧内预测模式,还可使用沿列方向扫描2D系数阵列的垂直扫描和沿行方向扫描2D块类型系数的水平扫描来代替Z字形扫描。换句话说,根据变换单元的大小和帧内预测模式,可在Z字形扫描、对角扫描、垂直扫描和水平扫描中确定要使用的扫描方法。
熵编码器155通过使用包括基于上下文的自适应二进制算术码(CABAC)、指数哥伦布等的各种编码方案对从重排单元150输出的ID量化的变换系数的序列进行编码来生成比特流。
此外,熵编码器155对与块划分相关的信息(诸如,CTU大小、CTU分割标志、QT分割标志、MTT划分类型、MTT划分方向等)进行编码,以允许视频解码装置将块等同地划分到视频编码装置。此外,熵编码器155对关于指示当前块是通过帧内预测还是帧间预测来编码的预测类型的信息进行编码。熵编码器155根据预测类型对帧内预测信息(即,关于帧内预测模式的信息)或帧间预测信息(在合并模式、合并索引的情况下,以及在AMVP模式的情况下,关于参考图片索引和运动矢量差的信息)进行编码。此外,熵编码器155对与量化相关的信息(即,关于量化参数的信息和关于量化矩阵的信息)进行编码。
逆量化器160对从量化器145输出的量化的变换系数进行去量化以生成变换系数。逆变换器165将从逆量化器160输出的变换系数从频域变换到空间域,以重构残差块。
加法器170将重构的残差块和由预测器120生成的预测块相加以重构当前块。当对下一次序块进行帧内预测时,经重构当前块中的像素可用作参考像素。
环路滤波器单元180对重构像素执行滤波,以便减少由于基于块的预测和变换/量化而发生的块伪影、振铃伪影、模糊伪影等。作为环路滤波器的环路滤波器单元180可包括解块滤波器182、样本自适应偏移(SAO)滤波器184和自适应环路滤波器(ALF)186的全部或一些。
解块滤波器182对重构块之间的边界进行滤波以便移除由于块单位编码/解码而发生的块效应,并且SAO滤波器184和ALF 186执行针对解块的滤波视频的附加滤波。SAO滤波器184及ALF 186是用于补偿经重构构像素与原始像素之间的差的滤波器,所述差归因于有损编码而发生。SAO滤波器184应用偏移作为CTU单元以增强主观图片质量和编码效率。另一方面,ALF 186执行块单位滤波,并且通过划分相应块的边界和变化量的程度来应用不同的滤波器来补偿失真。关于将用于ALF的滤波器系数的信息可被编码并用信号通知给视频解码装置。
通过解块滤波器182、SAO滤波器184和ALF 186滤波的重构块被存储在存储器190中。当一个图片中的所有块被重构时,重构的图片可以用作参考图片,用于对之后要编码的图片内的块进行帧间预测。
图5是可实施本发明的技术的视频解码装置的功能框图。在下文中,参见图5,描述视频解码装置和装置的组件。
视频解码装置可包括熵解码器510、重排单元515、逆量化器520、逆变换器530、预测器540、加法器550、环路滤波器单元560和存储器570。
与图1的视频编码装置相似,视频解码装置的每个部件可实现为硬件或软件或实现为硬件和软件的组合。此外,每个组件的功能可以实现为软件,并且还可以实现微处理器以执行与每个组件对应的软件的功能。
熵解码器510通过对由视频编码装置生成的比特流进行解码以确定将被解码的当前块来提取与块划分相关的信息,并且提取重构当前块所需的预测信息和关于残差信号的信息。
熵解码器510通过从序列参数集(SPS)或图片参数集(PPS)提取关于CTU大小的信息来确定CTU的大小,并且将图片分割成具有确定大小的CTU。另外,确定CTU为树结构的最高层,即根节点,并且可以提取CTU的划分信息,以使用树结构对CTU进行划分。
例如,当使用QTBTTT结构对CTU进行划分时,首先提取与QT的划分相关的第一标志(QT_split_flag),以将每个节点划分为下层的四个节点。此外,针对与QT的叶节点相应的节点,提取与MTT的划分相关的第二标志(mtt_split_flag)、划分方向(垂直/水平)和/或划分类型(二进制/三元),以将相应的叶节点划分为MTT结构。结果,在QT的叶节点下面的每个节点被递归地分割成BT或TT结构。
作为另一实施例,当通过使用QTBTTT结构来划分CTU时,提取指示CU是否被划分的CU分割标志(split_cu_flag)。当对应的块被划分时,第一标志(QT_split_flag)也可以被提取。在拆分过程期间,对于每个节点,0次或更多次的递归MTT拆分可以在0次或更多次的递归QT拆分之后发生。例如,对于CTU,MTT分裂可以立即发生,或者相反,仅多次的QT分裂也可以发生。
又例如,当使用QTBT结构对CTU进行拆分时,提取与QT的拆分有关的第一标志(QT_split_flag),以将每个节点拆分成下层的四个节点。此外,提取指示与QT的叶节点相对应的节点是否被进一步分割成BT的分割标志(split_flag)以及分割方向信息。
同时,当熵解码器510通过使用树结构的划分确定将被解码的当前块时,熵解码器510提取关于指示当前块是帧内预测的还是帧间预测的预测类型的信息。当预测类型信息指示帧内预测时,熵解码器510提取用于当前块的帧内预测信息(帧内预测模式)的语法元素。当预测类型信息指示帧间预测时,熵解码器510提取表示用于帧间预测信息的语法元素(即,运动矢量和运动矢量参考的参考图片)的信息。
此外,熵解码器510提取量化相关信息并且提取关于当前块的量化的变换系数的信息作为关于残差信号的信息。
重新排列单元515可以再次以与由视频编码装置执行的系数扫描顺序相反的顺序,将由熵解码器510熵解码的1D量化的变换系数的序列改变为2D系数阵列(即,块)。
逆量化器520去量化量化的变换系数,并且通过使用量化参数去量化量化的变换系数。逆量化器520还可将不同的量化系数(缩放值)应用于以2D布置的量化的变换系数。逆量化器520可通过将来自视频编码装置的量化系数的矩阵(缩放值)应用于量化的变换系数的2D阵列来执行逆量化。
逆变换器530通过经由将去量化的变换系数从频域逆变换到空间域中来重构残差信号来生成用于当前块的残差块。
此外,当逆变换器530逆变换变换块的部分区域(子块)时,逆变换器530提取仅变换块的子块被变换的标志(cu_sbt_flag)、子块的方向(垂直/水平)信息(cu_sbt_horizontal_flag)和/或子块的位置信息(cu_sbt_pos_flag)。逆变换器530还将相应子块的变换系数从频域逆变换到空间域中以重构残差信号并且利用值“0”填充未被逆变换的区域作为残差信号以生成用于当前块的最终残差块。
此外,当应用MTS时,逆变换器530通过使用从视频编码装置信号通知的MTS信息(mts_idx)来确定在水平方向和垂直方向中的每一个方向上应用的变换索引或变换矩阵。逆变换器530还通过使用所确定的变换函数在水平方向和垂直方向上对变换块中的变换系数执行逆变换。
预测器540可包括帧内预测器542和帧间预测器544。在当前块的预测类型是帧内预测时激活帧内预测器542,并且在当前块的预测类型是帧间预测时激活帧间预测器544。
帧内预测器542根据从熵解码器510提取的帧内预测模式的语法元素,在多个帧内预测模式之中确定当前块的帧内预测模式。帧内预测器542还通过根据帧内预测模式使用当前块的相邻参考像素来预测当前块。
帧间预测器544通过使用从熵解码器510提取的用于帧间预测模式的语法元素确定当前块的运动矢量和运动矢量参考的参考画面。
加法器550通过将从逆变换器530输出的残差块和从帧间预测器544或帧内预测器542输出的预测块相加来重构当前块。在对之后要解码的块进行帧内预测时,重构的当前块内的像素被用作参考像素。
作为环路滤波器的环路滤波器单元560可以包括解块滤波器562、SAO滤波器564和ALF 566。解块滤波器562对重构块之间的边界执行解块滤波,以便移除由于块单位解码而发生的块效应。SAO滤波器564和ALF 566在解块滤波之后对重构块执行附加滤波,以便补偿重构像素和原始像素之间的差异,所述差异由于有损编码而发生。通过使用关于从比特流解码的滤波器系数的信息来确定ALF的滤波器系数。
通过解块滤波器562、SAO滤波器564和ALF 566滤波的重构块被存储在存储器570中。当一个图片中的所有块被重构时,重构的图片可以用作参考图片,用于对之后要编码的图片内的块进行帧间预测。
在一些实施例中,本发明涉及如上文所描述的对视频图像进行编码和解码。更具体地讲,本发明提供一种在当前块的帧内预测中基于当前块的位置自适应地对帧内预测模式进行编码或解码的视频编码方法和设备。此外,本公开提供一种视频编码方法和设备,用于基于块的位置生成最大概率模式(MPM)列表,并且用于通过使用预定义的新方法、移除冗余帧内模式、或使用预定义的新方法和移除冗余帧内模式的组合来改变MPM列表。
下面的实施方式可由视频编码装置中的帧内预测器122执行。以下实施方式也可以由视频解码装置中的帧内预测器542执行。
在当前块的预测中的视频编码装置可在率失真优化方面生成与本实施例相关联的信令信息。视频编码装置可使用熵编码器155对信令信息进行编码,并将编码的信令信息传输到视频解码装置。视频解码装置可使用熵解码器510从比特流解码与当前块的预测相关联的信令信息。
在以下描述中,术语“目标块”可与当前块或编码单元(CU)互换地使用,或可以指编码单元的一些区域。
此外,一个标志的值为真指示何时该标志被设定为1。另外,一个标志的值是假指示何时该标志被设定为0。
I-1.参考像素填充
帧内预测通过参考当前块的相邻像素来生成预测器。将被参考的相邻像素称为参考样本。在执行帧内预测之前,视频解码设备准备参考样本。视频解码设备针对待参考的像素的位置检查参考样本的可用性。如果不存在参考样本,那么将根据视频编码设备与视频解码设备之间的预定协定的像素值填充到待参考的像素的位置。然后,通过将滤波器应用于准备的参考样本,可以生成最终的参考样本。
在这种情况下,在应用滤波器之前的参考样本refUnfilt[x][y]可以如下生成。在下文中,refIdx表示参考线的索引,并且refW和refH分别表示参考区域的宽度和高度。
如果refUnfilt[x][y]中的所有样本不可用于帧内预测,则refUnfilt[x][y]的所有值被设置为1<<(BitDepth-1)。这里,x=-1-refIdx,y=-1-refIdx...refH-1,以及x=-refIdx...refW-1,y=-1-refIdx。
另一方面,如果一些refUnfilt[x][y]值不可用于帧内预测,则应用以下方法。
如果refUnfilt[-1-refIdx][refH-1]不可用,则通过从“x=-1-refIdx,y=refH-1”到“x=-1-refIdx,y=-1-refIdx”,然后从“x=-refIdx,y=-1-refIdx”到“x=refW-1,y=-1-refIdx”搜索可用的refUnfilt[x][y]。在终止搜索之后,refUnfilt[-1-refIdx][refH-1]被设置为refUnfilt[x][y]。
进一步,如果在x=-1-refIdx,y=refH-2...-1-refIdx的范围中存在不可用的样本,则refUnfilt[x][y]被设置为refUnfilt[x][y+1]。
另外,如果在x=-refIdx...refW-1,y=-1-refIdx的范围中存在不可用的样本,则refUnfilt[x][y]被设置为refUnfilt[x-1][y]。
图6是示出了参考样本的搜索顺序的示图。
如图6的实例中所示,为了检查参考样本的可用性,视频解码设备从左下像素到最右上像素顺时针搜索。
图7a和图7b是示出了参考样本的生成的示图。
如果所有参考像素可用,那么视频解码设备不执行填补且使用每个参考像素值。另一方面,如上所述,如果一些可用参考样本不存在,如图7a和图7b的实例中所示,可以填充像素值。首先,如果左下方参考样本不可用,那么按照搜索顺序的第一可用参考样本被拷贝并且填充到左下方参考样本,如图7a的实例中所示。然后,如果除了左下方参考样本之外没有参考样本可用,则在搜索序列中的紧邻的前一位置处的像素值被复制并且被填充到当前位置,如在图7a和图7b的实例中所示。
如上文所描述,如果在所有位置处无参考样本可用,那么视频解码设备以2Bitdepth -1填补每一位置,2Bitdepth-1为像素可具有的最大值的一半。即,如果Bitdepth(比特深度)是8比特,则可以利用128,如果Bitdepth是10比特,则可以利用512。
在根据上文所描述的方法生成参考样本之后,视频解码设备可应用滤波器以生成最终参考样本p[x][y]。首先,如果参考线索引refIdx是0,当前块的大小大于32,当前块是亮度分量,ISP模式的IntraSubPartitionsSplitType是ISP_NO_SPLIT,并且指示参考样本的滤波的标志refFilterFlag是1,则视频解码设备可将指示滤波器的应用的标志filterFlag设置为1。如果不满足上述条件中的任一个,则filterFlag可被设置为0。
然后,如果filterFlag为真,则可如等式1中计算最终参考样本p[x][y]。
【等式1】
p[-1][-1]=(refUnfilt[-1][0]+2·refUnfilt[-1][-1]+refUnfilt[0][-1]+2)>>2
p[-1][y]=(refUnfilt[-1][y+1]+2·refUnfilt[-1][y]+refUnfilt[-1][y-1]+2)>>2,y=0..refH-2
p[-1][refH-1]=refUnfilt[-1][refH-1]
p[x][-1]=(refUnfilt[x-1][-1]+2·refUnfilt[x][-1]+refUnfilt[x+1][-1]+2)>>2,x=0..refW-2
p[refW-1][-1]=refUnfilt[refW-1][-1]
另一方面,如果filterFlag为假,那么对于x=-1-refIdx、y=-1-refIdx..refH-1和x=-refIdx..refW-1、y=-1-refIdx,p[x][y]=refUnfilt[x][y]。
I-2.位置相关预测组合(PDPC)技术
当执行帧内预测时,如果在当前块中的像素与参考样本之间的距离大,则空间相关性减小,这可能降低所生成的预测器的预测性能。为了解决这个问题,使用位置相关预测组合(PDPC)技术。PDPC技术通过对相反方向上的相邻像素和根据帧内预测模式生成的预测器进行加权组合来校正用于编码的预测器像素。相反方向相邻像素与对应预测器像素之间的距离越近,相反方向相邻像素的权重越高。PDPC技术可应用于可利用预测模式方向线的相反方向上的相邻像素的预测模式。这些预测模式包括等于或小于水平模式(模式18)的模式、大于垂直模式(模式50)的模式和平面模式、DC模式、水平模式(模式18)和垂直模式(模式50)的四个特定模式。
PDPC技术使用等式2来校正用于平面模式和DC模式的预测器,使用等式3来校正用于水平模式(模式18)的预测器,并且使用等式4来校正用于垂直模式(模式50)的预测器。此外,PDPC技术使用等式5基于小于水平模式(模式18)的模式来校正预测器,并且使用等式6基于大于垂直模式(模式50)的模式来校正预测器。
【等式2】
nScale=(log2(nTbW)+log2(nTbH)-2)>>2
wL[x]=32>>((x<<1)>>nScale)
wT[y]=32>>((y<<1)>>nScale)
pred[x][y]=Clip1((p[-1][y]·wL[x]+p[x][-1]·wT[y]+(64-wL[x]-wT[y])·pred[x][y]+32)>>6)
【等式3】
nScale=(log2(nTbW)+log2(nTbH)-2)>>2
wL[x]=0,wT[y]=32>>(y<<1)>>nScale)
ppred[x][y]=Clip1(((p[x][-1]-p[-1][-1]+pred[x][y])·wT[y]+(64-wTy])·pred[x][y]+32)>>6)
【等式4】
nScale=(log2(nTbW)+log2(nTbH)-2)>>2
wL[x]=32>>((x<<1)>>nScale),wT[y]=0
pred[x][y]=Clip1(((p[-1][y]-p[-1][-1]+pred[x][y])·wL[x]+(64-wL[x])·pred[x][y]+32)>>6)
【等式5】
nScale=min(2,log2(nTbW)-Floor(log2(3·invAngle-2))+8)
dX[x][y]=x+((y+1)·invAngle+256)>>9
refT[x][y]=(y<(3<<nScale))?p[dX[x][y]][-1]:0
wL[x]=0,wT[y]=32>>((y<<1)>>nScale)
pred[x][y]=Clip1((refT[x][y]·wT[y]+(64-wT[y])·predd[x][y]+32)>>6)
【等式6】
nScale=min(2,log2(nTbH)-Floor(log2(3·invAngle-2))+8)
dY[x][y]=y+((x+1)·invAngle+256)>>9
refL[x][y]=(x<(3<<nSCale))?p[-1][dY[x][y]]:0
wL[x]=32>>((x<<1)>>nScale),wT[y]=0
pred[x][y]=Clip1((refL[x][y]·wL[x]+(64-wL[x])·pred[x][y]+32)>>6)
这里,[x][y]表示相对于当前块的左上像素的坐标的像素。pred[x][y]是通过预测模式生成的初始预测器,且p[x][-1]和p[-1][y]是用于校正预测器的相邻像素。nTbW和nTbH表示当前块的宽度和高度,并且wL[x]和wT[y]表示应用于预测器像素和相邻像素的权重。Clip1是如等式7中所示表示的裁剪函数。
【等式7】
Clip1(x)=Clip3(0,1<<BitDepth,x)
另外,invAngle是在帧内预测模式中使用的变量,用于指定当结合每个方向生成预测器时所需的相邻像素的位置。在VVC(多功能视频编码)技术中,如等式8中所示计算invAngle。
【等式6】
这里,intraPredAngle是通过帧内预测模式(PredModeIntra)确定的值。
I-3.最可能模式(MPM)技术
如上所述,在帧内预测中,可基于67个帧内预测模式(IPM)来生成针对亮度通道的预测器。67个IPM是指67个帧内预测模式,这些帧内预测模式可基于块长宽比从预测模式-14向预测模式80发信号通知,包括平面模式和DC模式的非定向预测模式。当通过使用67个预测模式中的一个生成预测器时,视频编码设备通过使用最可能模式(MPM)用信号发送预测模式以高效地发送预测模式信息。
MPM利用以下属性:当在帧内预测模式中对块进行编码时,相邻块的预测模式可能彼此相似。如图8所示,对于包含位于当前块的左下像素左侧的像素A和位于当前块的右上像素上方的像素B的块,各个块的预测模式被定义为模式A和模式B。基于模式A和模式B,可以如下通过选择六个MPM候选来生成MPM列表。如果当前块位于CTU、瓦片、切片、子图片、图片等的边界上并且像素A或像素B不可用,那么包含关注像素的块的预测模式被视为平面。
首先,如果模式A和模式B相同并且模式A大于INTRA_DC,则{planar,modeA,2+((modeA+61)%64),2+((modeA-1)%64),2+((modeA+60)%64),2+(modeA%64)}被选择为MPM候选。
接下来,如果模式A和模式B不相同,并且模式A或模式B大于INTRA_DC,则MPM候选被组织如下。这里,minAB=Min(modeA,modeB),maxAB=Max(modeA,modeB)。
如果模式A和模式B都大于INTRA_DC,并且maxAB-minAB=1,则{planar,modeA,modeB,2+((minAB+61)%64),2+((maxAB-1)%64),2+((minAB+60)%64)}被选择为MPM候选。
如果模式A和模式B都大于INTRA_DC,并且maxAB-minAB≥62,则{planar,modeA,modeB,2+((minAB-1)%64),2+((maxAB+61)%64),2+(minAB%64)}被选择为MPM候选。
如果模式A和模式B都大于INTRA_DC,并且maxAB-minAB=2,则{planar,modeA,modeB,2+((minAB-1)%64),2+((minAB+61)%64),2+((maxAB-1)%64)}被选择为MPM候选。
如果模式A和模式B都大于INTRA_DC,并且2<maxAB-minAB<62,则{planar,modeA,modeB,2+((minAB+61)%64),2+((minAB-1)%64),2+((maxAB+61)%64)}被选择为MPM候选。
如果模式A和模式B不相同,并且模式A和模式B之一大于INTRA_DC,则{planar,maxAB,2+((maxAB+61)%64),2+((maxAB-1)%64),2+((maxAB+60)%64),2+(maxAB%64)}被选择为MPM候选。
进一步地,如果模式A和模式B两者都等于或小于INTRA_DC,则{planar,INTRA_DC,INTRA_ANGULAR50,INTRA_ANGULAR18,INTRA_ANGULAR46,INTRA_ANGULAR54}被选择为MPM候选。
同时,当使用MPM时,视频解码设备解析当前块的帧内预测模式,如表1中所示。
【表1】
首先,如果intra_luma_ref_idx(指示多个参考线中的一者的参考线索引)为零,则intra_luma_mpm_flag(指示是否启用MPM的标志)可从视频编码设备用信号发送到视频解码设备。如果intra_luma_mpm_flag为真且intra_luma_ref_idx为0,那么intra_luma_not_planar_flag(指示是否启用平面模式的标志)可从视频编码设备用信号发送到视频解码设备。如果intra_luma_not_planar_flag为假,那么将帧内预测模式设定为平面模式,且如果intra_luma_not_planar_flag为真,那么可另外用信号发送intra_luma_mpm_idx。如果intra_luma_not_planar_flag不存在,则可以推断为1。
另一方面,如果intra_luma_ref_idx为非零,那么不使用平面模式。因此,intra_luma_not_planar_flag没有被发送并且被假定为真。由于intra_luma_not_planar_flag为真,因此可另外用信号发送intra_luma_mpm_idx。
接下来,如果intra_luma_mpm_flag为假,则MPM剩余被用信号发送为帧内预测模式。
如上所述,参考MPM列表中的第一元素的MPM索引0总是指示平面模式,并且因此通过使用intra_luma_not_planar_flag被确定。MPM索引1至5通过使用intra_luma_mpm_idx来确定,并且根据截断莱斯(TR)二值化编码,其中cMax=4和cRiceParam=0。在这种情况下,可以如下生成bin串。
TR二进制化使用cMax和cRiceParam来输出对应于symbolVal的TR bin串。TR bin串是组合的前缀bin串和后缀bin串,其中如果cMax和symbolVal相等并且cRiceParam大于0,则存在后缀bin串。
前缀bin串推导如下。
首先,针对symbolVal的前缀值prefixVal由preVal=symbolVal>>cRiceParam导出。
接下来,如下确定TR bin串的前缀(即,前缀bin串)。
如果prefixVal小于“cMax>>cRiceParam”,那么前缀bin串的长度是prefixVal+1,并且通过使用binIdx索引每个bin。binIdx小于prefixVal的bin设置为1,binIdx等于prefixVal的bin设置为0。
如果prefixVal是“cMax>>cRiceParam”或更大,则前缀bin串的长度是“cMax>>cRiceParam”,并且所有bin被设置为1。
TR bin串的后缀bin串如下导出。
首先,后缀值suffixVal由suffixVal=symbolVal-(prefixVal<<cRiceParam)导出。
接下来,TR bin串的后缀(即,suffix bin串)通过固定长度(FL)二值化过程来确定,使得对于suffixVal,cMax是(1<<cRiceParam)-1。
通过概述上述内容,MPM索引的bin串可以如在表2中所示表示。在这里,除了MPM索引0之外,symbolVal根据从0开始的MPM索引设置5个MPM候选。
【表2】
如上所述,如果intra_luma_mpm_flag是0(即,不使用MPM),则intra_luma_mpm_remainder被解析为MPM剩余。在这种情况下,intra_luma_mpm_remainder根据cMax=60的截断二进制(TB)二进制编码。可以如下生成bin串。
TB二进制化通过使用cMax输出与语法元素symbolVal对应的TB bin串。在确定TBbin串之前,根据等式9计算u的值。
【等式9】
n=cMax+1
k=Floor(Log2(n))
u=(1<<(k+1))–n
使用等式9中的定义,TB bin串被确定如下。
首先,如果symbolVal小于u,则通过固定长度(FL)二进制化处理确定TB bin串,其中针对symbolVal的cMax为(1<<k)-1。另一方面,如果symbolVal大于或等于u,那么TBbin串由固定长度(FL)二进制化处理确定,其中针对(symbolVal+u),cMax为(1<<(k+1))-1。
通过总结上述内容,MPM剩余的bin串可以如在表3中所示地表示。在此,symbolVal是按从0到最小的顺序排除6个MPM候选的61个帧内预测模式的集合。表示3个0至2的symbolValue的bin串被分配5个比特,并且表示3至60的58个symbolValue的bin串被分配6个比特。
【表3】
II.自适应帧内模式编码
另一方面,如果当前块在图像的边界上,则即使使用不同的预测模式,也可以生成相同的预测器。对于存在于图像的边界上的块(例如,CTU、瓦片、切片、子图片、图片等),在用于块预测的参考像素之中,可能不存在左上参考像素中的全部或一些。在这样的情况下,在通过使用填充生成参考像素之后,帧内预测方法用于生成预测器。即使使用不同的预测模式,也可以生成相同的预测器,如图9a和图9b的实例中所示。例如,如果当前块不位于图像的边界(CTU、瓦片、切片、子图片、图片等的边界)(诸如图9a中的块A)处,那么在所有参考像素存在并且参考像素值不相同的情况下,根据预测模式生成不同的预测器,如图9b的实例中所示。然而,如果当前块位于图像的上边界(CTU、瓦片、切片、子图片、图片等的上边界)(诸如图9a中的块B)处,则不存在上参考像素,所以通过使用填充处理生成均具有相同值的参考像素,如图9b的示例中所示。
因此,当不考虑PDPC时,垂直模式(模式50)以上的预测模式都生成相同的预测器,因为垂直模式(模式50)以上的预测模式都用于预测用相同值填充的参考像素。由于即使利用取决于块的位置而使用的不同预测模式也可能生成相同的预测器,不必要的预测模式转移和预测模式搜索过程引起低效率。现有技术的这些低效率可以通过根据块位置自适应地编码/解码预测模式来解决。
在图10的实例中,OLD表示根据常规技术(例如,VVC)的帧内预测模式编码/解码方法,并且NEW表示根据本发明的基于块位置的自适应预测模式编码/解码方法。本公开通过将“块位置分类”用于根据当前块位置对块进行分类以及将“自适应帧内模式编码”用于相应地对预测模式进行自适应编码来解决现有技术的问题。
优选实现方式如下。
在下文中,为了方便起见,水平帧内预测模式(模式18)被称为HOR,并且垂直帧内预测模式(模式50)被称为VER。此外,如图11的实例中所示,块位置信息用于对当前块的类型进行分类。块位置信息包括当前块内的左上角位置的坐标。块位置信息还包含关于CTU、瓦片、切片、子图片和图片的组成、其如何被分割以及每一元素的大小的信息。块位置信息还可包含当前块在CTU、瓦片、切片、子图片或图片内的相对位置。
此外,基于块位置,当前块可以被分类为四种类型:类型1、类型2、类型3和类型4。在类型1中,当前块位于CTU、瓦片、切片、子图片或图片的左上角。在类型2中,排除类型1且当前块位于CTU、瓦片、切片、子图片或图片的左边界上。在类型3中,排除类型1且当前块位于CTU、瓦片、切片、子图片或图片的上部边界上。类型4表示除上述类型1至类型3以外的情况。
下文参考视频解码设备描述实现方式,但可类似地应用于视频编码设备。
<实现方式1>基于块的位置确定预先设定的预测模式
在此实现方式中,视频解码设备不对当前块的预测模式进行解码,而是使用基于当前块的类型的预设预测模式。根据图11中所示的基于块位置的当前块的类型,视频编码设备执行以下操作。
在类型1的情况下,由于左侧及上部上的所有参考像素不可用,因此不同预测模式中的任一者将生成相同预测器。因此,由于不需要预测模式搜索和信令,所以可以使用预设的预测模式。在此情况下,视频编码设备可省略预测模式搜索和信令。
对于类型2和类型3,由于左参考像素或上参考像素不可用,所以填充对应值。由此,一些预测模式最终生成相同的预测器。因此,由于不需要预测模式搜索和信令,所以可以使用预设的预测模式。类似地,在此情况下,视频编码设备可省略预测模式搜索和信令。
在类型4的情况下,因为块中的所有参考像素是可用的,所以可以根据预测模式生成不同的预测器。因此,视频编码设备可根据常规方法选择并编码最适当的预测模式,并且视频解码设备可解析信息,然后可根据解析的预测模式解码帧内预测信号。
可针对每种类型确定是否使用预设预测模式,并且针对与不使用预设预测模式的类型相对应的块,可通过使用传统的帧内模式编码/解码方法来对帧内预测模式进行编码/解码。这里,可以如表4所示总结所有可能的情况。
【表4】
隐式模式决策类型 使用现有技术
1 类型1 类型2、类型3、类型4
2 类型2 类型1、类型3、类型4
3 类型3 类型1、类型2、类型4
4 类型1,类型2 类型3,类型4
5 类型1,类型3 类型2、类型4
6 类型2、类型3 类型1,类型4
7 类型1、类型2、类型3 类型4
这里,隐式模式决策类型指示使用预设预测模式的类型。
图12是根据本发明的至少一个实施例的基于块位置对帧内模式进行解码的方法的流程图。
视频解码设备根据块位置对当前块进行分类(S1200),并确定当前块的类型是否是隐式模式决策类型(S1202)。此时,可以从表4中给出的7种情况之一选择隐式模式决策类型的决策准则。
如果当前块是隐式模式决策类型(S1202中的是),则视频解码设备使用预设预测模式作为当前块的预测模式(S1204)。视频解码设备将对应于隐式模式决策类型的类型k(其中k可为1、2或3)的块的预测模式设定为pre_defined_mode_k。例如,如果当前块的类型是作为隐式模式决策类型的类型2,则当前块的预测模式被设置为pre_defined_mode_2。
如果当前块不是隐式模式决策类型(S1202中的否),则视频解码设备根据常规方法从比特流解码帧内预测模式(S1206)。
根据图12的实例的预测模式决策处理可以由视频编码设备类似地执行。
上述pre_defined_mode_k可以是67个IPM中的一个,例如,平面、DC、水平模式(模式18)、垂直模式(模式50)等。例如,如图13中的实例所示,位于切片或图片的左上角的块被分类为类型1。如果pre_defined_mode_1被预设为平面模式,则视频编码设备省略对相关块的帧内预测模式搜索和信令,并将平面模式确定为预测模式。
根据此实施例的语法示于表5中。
【表5】
如果implicit_mode_decision(指示隐式模式决策的语法)是1,则针对当前块省略预测模式搜索和信令,并且视频解码设备使用与当前块的类型对应的预设预测模式。currBlockType表示当前块的类型。如果currBlockType是类型k,则函数blockPositionAdaptiveModeDecision(当前块类型)将当前块的预测模式设置为pre_defined_mode_k。另一方面,如果implicit_mode_decision是0,则视频解码设备可通过使用传统的帧内模式解码方法对当前块的预测模式进行解码。
<实现方式2>通过根据块位置不同地组成MPM列表来解码当前块的预测模式
在该实现方式中,视频解码设备基于根据块的位置分类的当前块的类型自适应地组合MPM列表,并且通过使用组合的MPM列表来解码当前块的帧内预测模式。常规VVC基于当前块的相邻块的预测模式选择六个MPM候选。如果当前块的帧内预测模式是六个MPM候选中的一个,则常规VVC解码指示预测模式的MPM索引,并且从而确定预测模式。
根据本实现方式,视频解码设备可以(实现方式2-1)根据预定义的方法构建MPM列表,(实现方式2-2)从现有的MPM列表构建方法移除冗余预测模式,或者(实现方式2-3)从现有的MPM列表构建方法移除冗余预测模式,并且根据预定义的方法添加一个或多个MPM候选。在这种情况下,如果帧内预测模式生成与除其自身之外的帧内预测模式相同的预测器,则生成的预测模式被称为冗余预测模式。
<实现方式2-1>根据预定义方法组合MPM列表
在该实现方式中,视频解码设备通过使用基于当前块的类型的预定义的方法来组成MPM列表,使得MPM列表不包括冗余预测模式。预定义的方法是指(实现方式2-1-1)确定MPM候选的数目或(实现方式2-1-2)选择MPM候选。可以取决于当前块的类型不同地确定MPM候选。
<实现方式2-1-1>基于当前块的类型确定MPM候选的数目
在此实现方式中,视频解码设备可根据当前块的类型确定所有相同、一些不同或所有不同的MPM候选数目。在下文中,将当前块的每种类型的MPM候选的数目定义为n类型。此处,根据图11中的实例,类型被假定为从1至4的值。在这种情况下,通过设置n1=4、n2=5、n3=5、n4=6,本公开可以根据当前块的类型组成具有不同数量的候选的MPM列表。如上所述,如果当前块是表示n1=4的类型1,则MPM列表可以由四个预测模式组成。
<实现方式2-1-2>基于当前块的类型选择MPM候选
在该实现方式中,视频解码设备可以根据当前块的类型,通过使用不同的、部分相同的或全部相同的方法来选择MPM候选。在选择预测模式时,可以考虑以下中的至少一个:当前块的宽度、高度、面积和长宽比,以及相邻块的预测模式和位置信息。选择的预测模式可以是使用重建的参考像素的预测模式、相邻块的预测模式、已经在过去以高频率使用的预测模式,或者可以附加地使用通过位置相关预测组合(PDPC)技术重建的参考像素的预测模式。
如上所述,PDPC基于像素位置、预测模式和块大小通过使用经滤波和未经滤波的参考样本的加权组合来校正预测器。PDPC可应用于平面、DC、水平取向或下方的预测模式(模式18或以下)、以及垂直取向或上方的预测模式(模式50以上)。根据常规VVC(通用视频编码)技术,PDPC技术的使用不是在CU级别单独地发信号通知,而是基于预测模式和块大小自适应地确定。
在下文中,PDPC可应用/不可应用指示在诸如SPS、PPS等的更高级别启用/禁用PDPC技术,并且PDPC可用/不可用指示当PDPC技术被启用时PDPC是否在当前块中使用。
在常规VVC中,取决于块大小的PDPC-不可用帧内预测模式的范围和数目在表6中示出。
【表6】
这里,W和H分别表示当前块的宽度和高度。例如,在表6中,如果当前块的宽度是8(W=8),则PDPC-不可用预测模式范围从预测模式5到预测模式17,并且如果当前块的高度是4(H=4),则PDPC-不可用预测模式范围从预测模式51到预测模式69。由此,如果对于当前块(W,H)=(8,4),则预测模式5至17、19至49、以及51至69不能使用PDPC。在这种情况下,预测模式19至49永远不能使用PDPC。
根据以上的类型-3块的MPM列表组成如下。
如果左块存在,则视频解码设备将该块的预测模式添加到MPM列表。在此,当前块的左上像素的位置被称为(x0,y0)并且当前块的高度被称为h,其中左块表示包含(x0-1,y0+h-1)个像素的块。
视频解码设备还向MPM列表添加用于预测重建的参考像素及其相邻预测模式(±n,其中n是大于或等于1的整数)的水平模式(18,HOR)。
此外,视频解码设备继续通过使用PDPC将进一步利用重建的参考像素的预测模式添加到MPM列表。
当在类型-3块中的MPM候选的数目是6(n3=6)时,将上述MPM列表组成方法应用于在图14中示出的当前块的实例如下。此时,当预测模式被添加多达所设置的n3时,视频解码设备停止构成列表。
视频解码设备将左块的预测模式(平面)添加到MPM列表,并且添加水平模式及其相邻模式HOR、HOR-2和HOR+2(此实例设置n=2)。
此后,由于当前块的宽度和高度均为8,所以PDPC用于预测模式64及其以上的预测模式。由于这些预测模式使用被填充的上参考像素和重建的左参考像素两者,它们可以比通过使用VER(垂直帧内预测)模式和不使用PDPC的VER附近的模式更高效地生成预测器。因此,从模式64及以上开始,视频解码设备通过将索引递增1来添加预测模式,直到MPM列表被填满。结果,MPM列表变为{平面,HOR,HOR-2,HOR+2,64,65}。
图15是根据本公开的至少一个实施例根据预定义的方法组成MPM列表的方法的流程图。
视频解码设备基于块的位置对当前块进行分类(S1500)。视频解码设备根据块的类型确定MPM候选的数目(S1502),并且视频解码设备根据块的类型确定选择MPM候选的方法(S1504)。视频解码设备根据所确定的方法组成MPM列表(S1506)。
其后,视频解码设备可以从比特流解码MPM索引,并且通过使用MPM索引从MPM列表确定当前块的帧内预测模式。
根据图15的实例组成MPM列表的方法可以由视频编码设备类似地执行。
<实现方式2-2>从现有的MPM列表组成方法中移除冗余预测模式
在该实现方式中,视频解码设备根据现有方法选择MPM候选,并且移除除了所选择的MPM候选之一的代表性模式之外的剩余的冗余预测模式。代表性模式可以是具有最小或最大角度(预测方向)的冗余预测模式、具有最小或最大预测模式索引的冗余预测模式、具有最小或最大MPM索引的冗余预测模式,或者由先前块使用并且最多使用的预测模式。可选择地,代表性模式可以是根据视频编码设备和视频解码设备之间的协定的预设预测模式。此外,冗余预测模式的范围可以取决于当前块的类型、是否应用PDPC等而被不同地确定。在常规VVC配置中,PDPC技术的使用不是在CU层级处单独用信号发送,而是由预测模式及块的大小来确定。
在下文中,PDPC可应用/不可应用指示PDPC技术在诸如SPS、PPS等的更高级别被启用/禁用。PDPC可用/不可用表示当PDPC技术被启用时PDPC是否用于当前块。
<实现方式2-2-1>当不应用PDPC时,确定冗余预测模式的范围
当不应用PDPC时,根据当前块的类型不同地确定冗余预测模式的范围。当如在图11中示出的基于块位置根据当前块分类方法将当前块分类为类型1至类型4时,冗余预测模式的范围可被描述如下。
对于类型-1块,所有参考像素不可用,所以用相同的值填充所有参考像素,并且生成填充的参考像素。因此,由于所有帧内预测模式生成相同的预测器,所以类型1块的冗余预测模式均为帧内预测模式。
对于类型2块,所有左参考像素不可用,所以那些参考像素用相同的值填充,并且生成填充的参考像素。因此,使用左参考像素的帧内预测模式(水平预测模式和下方(模式18和下方)的所有预测模式)全部生成相同的预测器,因此用于类型2块的冗余预测模式是水平预测模式和下方(模式18和下方)的所有预测模式。
对于类型3块,所有上参考像素不可用,所以那些参考像素用相同的值填充,并且生成填充的参考像素。因此,使用上参考像素的帧内预测模式(垂直预测模式或更高(模式50或更高)的所有预测模式)生成相同的预测器,所以用于类型3块的冗余预测模式是垂直预测模式或更高(模式50或更高)中的所有预测模式。
对于类型4块,不同预测模式生成不同预测器,因为块中的所有参考像素是可用的。因此,不存在用于类型4块的冗余预测模式的范围。
当不应用PDPC时,该实现方式的示例应用如下。以下是当前块是类型2且上块使用模式17的情况,如图16的实例中所示。在此,在块内部的值指示该块的预测模式。如果MPM列表是根据现有的VVC方法组成的,则MPM列表是{平面,17,16,18,15,19}。然而,借助此实施例,编号18及以下的预测模式变为冗余预测模式的范围。如果模式18(其是在包括在冗余预测模式范围中的MPM候选之中具有最大预测模式索引的预测模式)被设置为代表性模式,则通过移除模式15、16和17,MPM列表可以被组织为{平面,18,19}。
<实现方式2-2-2>当应用PDPC时,确定冗余预测模式范围
当应用PDPC时,冗余预测模式的范围取决于当前块的类型和大小(块的宽度和高度)。取决于块的大小,PDPC可能不可用,因为PDPC所使用的次要参考像素不存在。因此,冗余预测模式的范围可根据当前块的类型和确定PDPC可用性的块的大小而改变。取决于块大小的PDPC-不可用预测模式在表6中示出。
在PDPC可用预测模式的情况下,即使如果每个预测模式的相反方向上的相邻参考像素具有不同值,在由不同预测模式指向的方向上的参考像素的值全部相同,根据参考像素的加权组合生成不同的预测器。因此,当应用PDPC时,冗余预测模式不针对PDPC可用预测模式被生成。然而,对于PDPC不可用预测模式,如果通过仅使用填充参考像素来生成预测器,则生成冗余预测模式。
当如图11所示根据基于块位置的分类方法将当前块分类为类型1至类型4时,冗余预测模式可被描述如下。
在类型-1块的情况下,所有参考像素不可用,所以用相同的值填充所有参考像素,并且生成经填充的参考像素。因此,所有帧内预测模式变成冗余预测模式,而不考虑PDPC的可用性。
对于类型-2块,通过考虑块的宽度从水平预测模式(模式18)和下面的预测模式将PDPC-不可用预测模式确定为冗余预测模式。
对于类型-3块,通过考虑块的高度从垂直预测模式(模式50)或以上的预测模式将PDCPC-不可用预测模式确定为冗余预测模式。
对于类型-4块,不同的预测模式可生成不同的预测器,而不管PDPC应用性。因此,不存在冗余预测模式的范围。
当应用PDPC时,该实现方式的示例应用如下。与图16的实例一样,描述具有类型2的(W,H)=(8,4)的当前块和使用模式17的上部块的情况。如果MPM列表是根据现有VVC方法组成的,则MPM列表由{平面,17,16,18,15,19}组成。然而,利用该实现,因为在当前块中(W,H)=(8,4),所以模式5至17、19至49、以及51至69变成PDPC-不可用范围,并且冗余预测模式范围变成5至17。如果在冗余预测模式范围中的MPM候选之中具有最小MPM索引的模式17被设置为代表性模式,则通过移除模式15和16,MPM列表可以被组成为{平面,17,18,19}。
图17是根据本公开的至少一个实施例的移除冗余预测模式的方法的流程图。
视频解码设备基于块的位置对当前块进行分类(S1700)。视频解码设备根据与常规技术中相同的方法组成MPM列表(S1702),然后检查PDPC非应用性(S1704)。当不应用PDPC时(在S1704中为是),视频解码设备基于当前块的类型在MPM候选中确定冗余预测模式(S1706),并且当应用PDPC时(在S1704中为是),视频解码设备基于当前块的类型和大小在MPM候选中确定冗余预测模式(S1720)。视频解码设备确定冗余预测模式之中的代表性模式(S1708),并移除除了代表性模式之外的冗余预测模式(S1710)。
其后,视频解码设备可以从比特流解码MPM索引,并且可以通过使用MPM索引从重组的MPM列表确定当前块的帧内预测模式。
视频解码设备可以进一步包括解码指示MPM列表被启用还是被禁用的标志。在检查经解码的标志且确定经解码的标志为真时,视频解码设备可执行根据图17的实例的移除冗余预测模式的方法。
可由视频编码设备类似地执行根据图17的实例的移除冗余预测模式的方法。
<实现方式2-3>移除现有MPM列表组成方法中的冗余预测模式,用新方法添加候选
在该实现方式中,视频解码设备通过在根据现有方法选择的MPM候选中移除冗余预测模式,并且添加N(N≥1)个新的非冗余预测模式,来重组MPM列表。此时,冗余预测模式可以按照与实现方式2-2相同的方法被移除,并且N个非冗余预测模式可以按照实现方式2-1的方法被添加。N表示被添加的非冗余预测模式的数目,使得候选的数目是n类型,其是当前块的每种类型的MPM候选的数目。取决于当前块的类型,n类型可以全部相同、一些不同或全部不同。
例如,当不应用PDPC时,如果根据VVC的常规方法组成MPM列表,则MPM列表是对于在图14中示出的类型3当前块的{平面,DC,VER,HOR,VER-4,VER+4}。然而,利用此实现方式,冗余预测模式的范围是数字50(VER)及以上。在作为包括在冗余预测模式范围中的MPM候选的VER和VER+4中,VER可以被设置为用于移除VER+4的具有较低预测模式索引的代表性模式。如果然后通过使用利用非冗余水平预测模式的相邻模式的方法添加新的MPM候选,使得n2=6,则MPM列表可以由{平面,DC,VER,HOR,VER-4,HOR-4}组成。
图18是根据本公开的至少一个实施例的移除冗余预测模式和添加新候选的方法的流程图。
视频解码设备基于块的位置对当前块进行分类(S1800)。视频解码设备根据与传统技术中相同的方法组成MPM列表(S1802),然后检查PDPC非应用性(S1804)。当不应用PDPC时(S1804中为是),视频解码设备基于当前块的类型确定冗余预测模式(S1806),并且当应用PDPC时(S1804中为否),视频解码设备基于当前块的类型和大小确定冗余预测模式(S1820)。视频解码设备确定冗余预测模式之中的代表性模式(S1808),并移除除了代表性模式之外的冗余预测模式(S1810)。视频解码设备通过基于块的类型使用非冗余预测模式添加MPM候选(S1812)。
视频解码设备然后可以从比特流解码MPM索引,并且可以使用MPM索引来从重组的MPM列表确定当前块的帧内预测模式。
视频解码设备可以进一步包括解码指示MPM列表被启用还是被禁用的标志的步骤。在检查经解码的标志且确定经解码的标志为真时,视频解码设备可执行根据图18的实例移除冗余预测模式且添加新候选的方法。
可通过视频编码设备类似地执行根据图18的实例的移除冗余预测模式和添加新候选的方法。
<实现方式3>基于块位置改变MPM剩余候选
在该实现方式中,如果当前块的预测模式被解码为MPM剩余,则视频解码设备移除在MPM剩余候选之中的冗余预测模式,并且通过仅使用一个代表性模式来解码MPM剩余。如果当前块的预测模式没有被包括在MPM列表中,则是这种情况。类似于实现方式2-2,代表性模式可为具有最小或最大角度、最小或最大预测模式索引等的冗余预测模式,或由先前块使用且最多使用的预测模式。
当使用截断二进制(TB)二进制化(其是应用于常规VVC的相同方法)以根据该实现方式编码所修改的MPM剩余时,在TB二进制化中使用的cMax的变量可以被改变和使用,如等式10中所示。
【等式10】
cMax=mpm_remainder_candidate_num–1
在这里,mpm_remainder_candidate_num指示在移除除了代表性模式以外的冗余预测模式之后的MPM剩余候选的数目。冗余预测模式的范围根据当前块的类型和PDPC应用性而变化,并且可以使用与实现方式2-2相同的确定冗余预测模式的方法。
例如,如果mpm_remainder_candidate_num是45,则MPM剩余可以如下编码。根据此实现方式,如果mpm_remainder_candidate_num用于表示常规VVC方法,那么mpm_remainder_candidate_num=61,因为cMax=60。此外,如果symbolVal以从0递减的顺序被设置用于排除MPM候选的MPM剩余候选,则可以如表3中所示生成bin串,如在现有技术中所描述的。即,表示0至2的3个symbolVal使用5比特bin串,并且表示3至60的58个symbolVal使用6比特bin串。
然而,如果冗余预测模式被移除使得mpm_remainder_candidate_num=45(cMax=44),则MPM剩余的bin串可以被表示为如表7中所示。即,基于等式9,表示0至18的19个符号值使用5比特bin串,并且表示19至44的26个符号值使用6比特bin串。这减少了编码MPM剩余所需的bin的平均长度,与传统方法相比,实现了有效的语法编码/解码。
【表7】
图19为根据本公开另一个实施方式的移除冗余预测模式的方法的流程图。
视频解码设备基于块的位置对当前块进行分类(S1900)。视频解码设备根据与常规技术中相同的方法组织MPM剩余候选(S1902),然后检查PDPC非应用性(S1904)。当不应用PDPC时(在S1904中为是),视频解码设备基于当前块的类型在MPM剩余候选中确定冗余预测模式(S1906),并且当应用PDPC时(在S1904中为否),视频解码设备基于当前块的类型和大小在MPM剩余候选中确定冗余预测模式(S1920)。视频解码设备确定冗余预测模式之中的代表性模式(S1908),并移除除了代表性模式之外的冗余预测模式(S1910)。
其后,视频解码设备可从比特流解码剩余索引,并通过使用剩余索引从重组的剩余候选确定当前块的帧内预测模式。
视频解码设备可以进一步包括解码指示MPM列表被启用还是被禁用的标志。在检查经解码的标志且确定经解码的标志为假时,视频解码设备可执行根据图19的实例移除冗余预测模式的方法。
可由视频编码设备类似地执行根据图19的实例的移除冗余预测模式的方法。
<实现方式4>基于块位置改变任意帧内预测模式的编码/解码处理
在该实现方式中,当使用任意帧内预测模式解码方法时,预测模式的编码/解码方法被自适应地改变。换句话说,当传输当前块的帧内预测模式时,即使使用任意方法而不是使用MPM和MPM剩余,基于块位置,冗余预测模式的搜索和编码/解码也将是低效的。由此,此实现方式避免了此类低效率。
例如,当从多个预测模式中选择一个预测模式作为当前块的预测模式,并且通过使用任意的帧内预测模式编码/解码方法对预测模式进行编码/解码时,可以限制冗余预测模式的选择,以避免使用除了一个代表性模式之外的冗余预测模式,并且可以选择其他预测模式中的一个。
<实现方式5>选择性地使用现有技术与实现方式1至4的组合
在此实施例中,视频编码设备发信号通知额外语法以选择性地应用实现方式1至4的方法的组合,这取决于实现方式。为此,关于当前块的帧内预测模式编码/解码方法的信息可通过发送block_position_adaptive_flag来用信号发送,block_position_adaptive_flag是指示此实现方式被启用还是被禁用的标志。
例如,如表8中所示,如果block_position_adaptive_flag是0,则使用常规技术而不遵循本公开,并且如果block_position_adaptive_flag是1,则可以应用实现方式2。
【表8】
或者,如果block_position_adaptive_flag为1,如表9中所示,那么可用信号发送额外的block_position_adaptive_idx(指示此实现方式的组合中的一者的索引)。即,取决于block_position_adaptive_idx的值,可选择和使用实现方式1至4的组合。
【表9】
尽管各个流程图中的步骤被描述为被顺序地执行,但是这些步骤仅仅例示本公开的一些实施例的技术构思。因此,本公开所属领域的普通技术人员可通过改变在各个附图中描述的顺序或者通过并行执行两个以上的步骤来执行步骤。所以,各个流程图中的步骤不限于所示的时间序列顺序。
应当理解,以上描述呈现了可以以不同其他方式实现的说明性实施例。在一些实施例中描述的功能可以通过硬件、软件、固件和/或其组合来实现。还应理解,本公开中描述的功能部件用“…单元”标志强烈强调它们独立实现的可能性。
同时,在一些实施例中描述的各种方法或功能可以被实现为存储在能够由一个或多个处理器读取和执行的非暂时性记录介质中的指令。例如,非暂时性记录介质可包括各种类型的记录设备,其中,数据以计算机系统可读的形式存储。例如,非暂时性记录介质可包括存储介质,诸如可擦除可编程只读存储器(EPROM)、闪存驱动器、光盘驱动器、磁性硬盘驱动器和固态驱动器(SSD)等。
尽管出于说明性的目的已经描述了本公开的实施方式,然而,本公开所属领域的普通技术人员应当认识到,在不背离本公开的构思和范围的情况下,各种修改、添加、以及替换是可能的。因此,为了简洁和清晰起见,已经描述了本公开的实施方式。本公开的实施方式的技术构思的范围不受图示的限制。因此,本公开所属领域的普通技术人员应当理解,本公开的范围不应受上述明确描述的实施方式的限制,而是受权利要求及其等同物的限制。
(参考标号)
122 帧内预测器
155 熵编码器
510 熵解码器
542 帧内预测器
相关申请的交叉引用
本申请要求2022年5月3日提交的韩国专利申请第10-2022-0054765号以及2023年4月4日提交的韩国专利申请第10-2023-0044007号的优先权和权益,通过引用将其每一个的全部内容结合在此。

Claims (20)

1.一种由视频解码设备执行的用于解码当前块的帧内预测模式的方法,所述方法包括:
基于所述当前块的位置确定所述当前块的类型;
生成包括最可能模式候选(MPM候选)的最可能模式列表(MPM列表);
在所述MPM候选之中并且基于所述当前块的类型,确定生成共同预测器的冗余预测模式;
确定所述冗余预测模式中的代表性模式;以及
通过移除除了所述代表性模式以外的冗余预测模式来重组所述MPM列表。
2.根据权利要求1所述的方法,进一步包括:
从比特流解码所述当前块的最可能模式索引(MPM索引);以及
通过使用所述MPM索引,从重组的MPM列表中确定所述当前块的帧内预测模式。
3.根据权利要求1所述的方法,进一步包括:
基于所述当前块的类型,通过使用非冗余预测模式将新的MPM候选添加到重组的MPM列表。
4.根据权利要求1所述的方法,进一步包括:
解码指示是否要使用所述MPM列表的标志;以及
检查所述标志;
其中,当所述标志为真时,所述方法还包括:
生成所述MPM列表。
5.根据权利要求4所述的方法,进一步包括,当所述标志为假时:
组织剩余候选;
在所述剩余候选当中且基于所述当前块的类型确定生成共同预测器的冗余预测模式;
确定所述冗余预测模式中的代表性模式;以及
通过移除所述代表性模式以外的冗余预测模式来重组所述剩余候选。
6.根据权利要求5所述的方法,进一步包括:
从比特流解码所述当前块的剩余索引;以及
通过使用所述剩余索引从重组的剩余候选中确定所述当前块的帧内预测模式。
7.根据权利要求1所述的方法,其中,确定所述冗余预测模式包括:
当不应用位置相关预测组合(PDPC)时,基于所述当前块的类型确定所述冗余预测模式,并且当应用所述PDPC时,基于所述当前块的类型和大小确定所述冗余预测模式。
8.根据权利要求2所述的方法,其中,所述代表性模式包括:
所述冗余预测模式中的一者或更多者包括具有最小或最大的角度或预测模式索引的预测模式、具有最小或最大的所述MPM索引的预测模式、在先前块使用的预测模式之中最常用的预测模式、或预设预测模式。
9.根据权利要求1所述的方法,其中,基于所述当前块在作为编码树单元(CTU)、瓦片、切片、子图片或图片的当前图像中的位置,将所述当前块的类型分类为类型1、类型2、类型3、类型4。
10.根据权利要求9所述的方法,其中,所述类型1的所述当前块表示所述当前块位于所述当前图像的左上角,所述类型2的所述当前块表示所述类型1被排除并且所述当前块位于所述当前图像的左边界,所述类型3的所述当前块表示所述类型1被排除并且所述当前块位于所述当前图像的上边界,所述类型4表示所述当前块的除了所述类型1、所述类型2和所述类型3之外的其他类型。
11.根据权利要求9所述的方法,其中,确定所述冗余预测模式包括:
当PDPC没有被应用并且所述当前块是所述类型2时,将等于或者低于水平预测模式的所有预测模式确定为所述冗余预测模式,并且当所述PDPC没有被应用并且所述当前块是所述类型3时,将等于或者高于垂直预测模式的所有预测模式确定为所述冗余预测模式。
12.根据权利要求9所述的方法,其中,确定所述冗余预测模式包括:
当应用PDPC且所述当前块为所述类型2时,将等于或低于水平预测模式且不能使用所述PDPC的预测模式确定为所述冗余预测模式,且当应用所述PDPC且所述当前块为所述类型3时,将等于或高于垂直预测模式且不能使用所述PDPC的预测模式确定为所述冗余预测模式。
13.根据权利要求9所述的方法,其中,确定所述冗余预测模式包括:
不管PDPC是否被应用以及在所述当前块是所述类型1时,将所有帧内预测模式确定为所述冗余预测模式,并且不管所述PDPC是否被应用以及在所述当前块是所述类型4时,停止确定冗余预测模式。
14.一种由视频编码设备执行的用于对当前块的帧内预测模式进行编码的方法,所述方法包括:
基于所述当前块的位置确定所述当前块的类型;
生成包括最可能模式候选(MPM候选)的最可能模式列表(MPM列表);
在所述MPM候选之中并且基于所述当前块的类型,确定生成共同预测器的冗余预测模式;
确定所述冗余预测模式中的代表性模式;以及
通过移除除了所述代表性模式以外的冗余预测模式来重组所述MPM列表。
15.根据权利要求14所述的方法,进一步包括:
组织剩余候选;
在所述剩余候选当中且基于所述当前块的所述类型,确定生成共同预测器的冗余预测模式;
确定所述冗余预测模式中的代表性模式;以及
通过移除所述代表性模式以外的冗余预测模式来重组所述剩余候选。
16.根据权利要求15所述的方法,进一步包括:
确定所述当前块的帧内预测模式;以及
确定所重组的MPM列表是否包括所述当前块的帧内预测模式。
17.根据权利要求16所述的方法,进一步包括,当所重组的MPM列表包括所述当前块的帧内预测模式时:
确定MPM索引,所述MPM索引指示包括在所重组的MPM列表中的MPM候选之一;
将指示所述MPM列表是否将被使用的标志设置为真;以及
对所述MPM索引和所述标志进行编码。
18.根据权利要求16所述的方法,当所重组的MPM列表不包括所述当前块的帧内预测模式时,所述方法进一步包括:
确定剩余索引,所述剩余索引指示所重组的剩余候选中的一者;
将指示所述MPM列表是否将被使用的标志设置为假;以及
对所述剩余索引和所述标志进行编码。
19.根据权利要求14所述的方法,进一步包括:
基于所述当前块的类型,通过使用非冗余预测模式将新的MPM候选添加到所重组的MPM列表。
20.一种计算机可读记录介质,存储由视频编码方法生成的比特流,所述视频编码方法包括:
基于所述当前块的位置确定所述当前块的类型;
生成包括最可能模式候选(MPM候选)的最可能模式列表(MPM列表);
在所述MPM候选之中并且基于所述当前块的类型,确定生成共同预测器的冗余预测模式;
确定所述冗余预测模式中的代表性模式;以及
通过移除除了所述代表性模式以外的冗余预测模式来重组所述MPM列表。
CN202380037832.8A 2022-05-03 2023-04-07 基于块位置的帧内模式的自适应编码方法及设备 Pending CN119137939A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2022-0054765 2022-05-03
KR20220054765 2022-05-03
KR10-2023-0044007 2023-04-04
KR1020230044007A KR20230155348A (ko) 2022-05-03 2023-04-04 블록 위치에 기초하는 인트라 모드의 적응적 코딩방법과 장치
PCT/KR2023/004719 WO2023214699A1 (ko) 2022-05-03 2023-04-07 블록 위치에 기초하는 인트라 모드의 적응적 코딩을 위한 방법과 장치

Publications (1)

Publication Number Publication Date
CN119137939A true CN119137939A (zh) 2024-12-13

Family

ID=88646614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202380037832.8A Pending CN119137939A (zh) 2022-05-03 2023-04-07 基于块位置的帧内模式的自适应编码方法及设备

Country Status (3)

Country Link
US (1) US20250301128A1 (zh)
CN (1) CN119137939A (zh)
WO (1) WO2023214699A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10021419B2 (en) * 2013-07-12 2018-07-10 Qualcomm Incorported Rice parameter initialization for coefficient level coding in video coding process
CN117201776A (zh) * 2016-09-13 2023-12-08 韩国电子通信研究院 视频编码/解码方法和装置以及存储比特流的记录介质
KR20180043149A (ko) * 2016-10-19 2018-04-27 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
CN110999304B (zh) * 2017-07-28 2023-12-08 韩国电子通信研究院 图像处理方法和图像编码/解码方法以及使用图像处理方法和图像编码/解码方法的装置
JP7187566B2 (ja) * 2018-02-09 2022-12-12 フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン パーティションベースのイントラ符号化概念
CN111758253B (zh) * 2018-02-23 2023-12-01 英迪股份有限公司 图像编码方法、解码方法以及存储比特流的记录介质
GB2589241B (en) * 2018-07-02 2023-06-07 Beijing Bytedance Network Tech Co Ltd Update of look-up tables
WO2020091213A1 (ko) * 2018-11-04 2020-05-07 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측 방법 및 장치

Also Published As

Publication number Publication date
WO2023214699A1 (ko) 2023-11-09
US20250301128A1 (en) 2025-09-25

Similar Documents

Publication Publication Date Title
US20240283916A1 (en) Video encoding and decoding using intra block copy
US20240179303A1 (en) Video encoding/decoding method and apparatus
US20250030874A1 (en) Method for chroma component prediction based on reconstructed luma information
US20240333918A1 (en) Method and device for video coding using adaptive multiple reference lines
KR20230059136A (ko) 기하학적 인트라 예측모드를 이용하는 비디오 코딩방법 및 장치
US20250024038A1 (en) Method and apparatus for video coding using adaptive multiple transform selection
US20240388702A1 (en) Method for constructing mpm list in intra prediction
US20240275958A1 (en) Method and apparatus for video coding using geometric intra prediction mode
US20240236301A9 (en) Video encoding/decoding method and apparatus
US20230199210A1 (en) Coding tool setting method and video decoding apparatus
CN119631398A (zh) 使用基于亮度分量的色度分量预测的视频编码方法和设备
CN119895856A (zh) 用于在一个块中自适应地使用单树和双树的视频编码的方法和装置
CN119137939A (zh) 基于块位置的帧内模式的自适应编码方法及设备
US20250358405A1 (en) Method and apparatus for video coding using virtual reference line
US12549714B2 (en) Video encoding/decoding method and apparatus
US20240107011A1 (en) Video encoding/decoding method and apparatus
US20240323349A1 (en) Video encoding/decoding method and apparatus adjusting number of multiple transform selection candidates in multiple transform selection
US20240323356A1 (en) Method and apparatus for video coding using intra prediction based on reference sample line derivation
US20250310539A1 (en) Method and apparatus for encoding intra prediction mode for each chroma component
KR20230155348A (ko) 블록 위치에 기초하는 인트라 모드의 적응적 코딩방법과 장치
US20260025513A1 (en) Method and device for video coding using rearrangement of prediction signals in intra block copy mode
CN118872264A (zh) 基于重建亮度信息的色度分量预测方法
CN118743214A (zh) 在帧内预测中配置mpm列表的方法
CN120391053A (zh) 利用自适应参考线候选列表的视频编解码的方法和装置
CN118140476A (zh) 利用几何帧内预测模式的视频编解码的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination