CN120226347A

CN120226347A - 利用基于重构的参考样本的交叉分量预测的视频编解码的方法和装置

Info

Publication number: CN120226347A
Application number: CN202380079980.6A
Authority: CN
Inventors: 沈东圭; 边柱衡; 李旻勋; 许镇; 朴胜煜
Original assignee: Hyundai Motor Co; Research Institute for Industry Cooperation of Kwangwoon University; Kia Corp
Current assignee: Hyundai Motor Co; Research Institute for Industry Cooperation of Kwangwoon University; Kia Corp
Priority date: 2022-11-21
Filing date: 2023-09-13
Publication date: 2025-06-27
Also published as: WO2024111834A1

Abstract

本实施方案公开了利用基于重构的参考样本的交叉分量预测的视频编解码方法和装置。在本实施方案中，视频解码装置从亮度分量的预重构的区域配置当前色度块的相应亮度块。图像解码装置基于相应亮度块的重构的亮度参考样本和当前色度块的重构的参考样本，从候选滤波器和相应交叉分量模型中推导应用于亮度分量的滤波器。图像解码装置通过利用根据推导的滤波器的滤波器系数对相应亮度块内的重构的亮度样本进行滤波。图像解码装置通过利用交叉分量模型从经滤波的重构的亮度样本中生成当前色度块的预测块。

Description

利用基于重构的参考样本的交叉分量预测的视频编解码的方法和装置

技术领域

本发明涉及使用基于重构的参考样本的交叉分量预测的视频编解码方法和装置。

背景技术

本部分中的陈述仅提供与本发明有关的背景技术信息，并不一定构成现有技术。

由于视频数据与音频数据或静止影像数据相比具有大量的数据，所以视频数据需要大量的硬件资源(其包括存储器)来存储或发送未经压缩处理的视频数据。

相应地，编码器通常用于压缩并存储或发送视频数据。解码器接收压缩的视频数据，解压缩接收到的压缩的视频数据，并且播放解压缩的视频数据。视频压缩技术包括H.264/高级视频编解码(AVC)、高效率视频编解码(High Efficiency Video Coding，HEVC)和多功能视频编解码(VVC)，所述多功能视频编解码(VVC)比HEVC的编解码效率提高了大约30％或更多。

然而，由于影像大小、分辨率和帧速率逐渐增加，要编码的数据量也会增加。相应地，需要提供比现有压缩技术更高的编解码效率和改善的图像增强效果的新的压缩技术。

交叉分量预测或交叉预测利用重构的亮度分量以预测色度分量。示例的交叉分量预测可以包括交叉分量线性模型(CCLM)、梯度线性模型(GLM)等。CCLM将线性模型应用于重构的亮度分量以预测色度分量。线性模型代表交叉分量预测模型。可以通过利用与当前色度块同位的“相应亮度块”的相邻参考样本和当前色度块的相邻参考样本来估计线性模型。GLM将线性模型应用于重构的亮度分量的梯度以预测色度分量。这里可以使用与CCLM中使用的相同的线性模型。可以通过将梯度滤波器应用于与当前色度样本相对应的位置处的亮度样本来生成梯度。

CCLM将线性模型直接应用于亮度分量并从而预测色度分量。GLM将应用了梯度滤波器的线性模型应用于亮度分量并从而预测色度分量。此时，编码器可以用信号通知解码器指示梯度滤波器的类型的索引。因此，出现对一种有效地执行交叉分量预测以提高视频编解码效率并增强视频质量的方法的需求。

发明内容

技术问题

本发明致力于提供一种视频编解码方法和装置，其用于在根据交叉分量预测来预测当前色度块时，基于重构的参考样本来推导亮度分量的滤波器和用于交叉分量预测的交叉分量预测模型。

技术方案

本发明的至少一个方面提供了由视频解码装置重构当前色度块的方法。该方法包括从亮度分量的重构的区域建立当前色度块的相应亮度块。相应亮度块代表与当前色度块同位的亮度块。该方法还包括基于相应亮度块的重构的亮度参考样本和当前色度块的重构的参考样本，从候选滤波器中推导应用于亮度分量的线性模型或非线性模型的滤波器，并且推导对应于滤波器的交叉分量模型。该方法还包括通过利用根据推导的滤波器的滤波器系数对相应亮度块中的重构的亮度样本进行滤波。该方法还包括通过利用交叉分量模型从经滤波的重构的亮度样本中生成当前色度块的预测块。

本发明的另一个方面提供了由视频编码装置编码当前色度块的方法。该方法包括从亮度分量的重构的区域建立当前色度块的相应亮度块。相应亮度块代表与当前色度块同位的亮度块。该方法还包括基于相应亮度块的重构的亮度参考样本和当前色度块的重构的参考样本，从候选滤波器推导应用于亮度分量的线性模型或非线性模型的滤波器，并且推导对应于滤波器的交叉分量模型。该方法还包括通过利用根据推导的滤波器的滤波器系数对相应亮度块中的重构的亮度样本进行滤波。该方法还包括通过利用交叉分量模型从经滤波的重构的亮度样本生成当前色度块的第一预测块。

本发明的又一方面提供了计算机可读记录介质，其存储由视频编码方法生成的比特流。该视频编码方法包括从亮度分量的重构的区域建立当前色度块的相应亮度块。相应亮度块代表与当前色度块同位的亮度块。该视频编码方法还包括基于相应亮度块的重构的亮度参考样本和当前色度块的重构的参考样本，从候选滤波器推导应用于亮度分量的线性模型或非线性模型的滤波器，并且推导对应于滤波器的交叉分量模型。该视频编码方法还包括通过利用根据推导的滤波器的滤波器系数对相应亮度块中的重构的亮度样本进行滤波。该视频编码方法还包括通过利用交叉分量模型从经滤波的重构的亮度样本生成当前色度块的第一预测块。

有益效果

如上所述，本发明提供了一种视频编解码方法和装置，其用于在根据交叉分量预测来预测当前色度块时，基于重构的参考样本来推导亮度分量的滤波器和用于交叉分量预测的交叉分量预测模型。因此，视频编解码方法和装置提高了视频编解码效率并且增强了视频质量。

附图说明

图1是可以实现本发明技术的视频编码装置的框图。

图2示出利用四叉树加二叉树三叉树(QTBTTT)结构来对块进行分区的方法。

图3a和图3b示出包括宽角度帧内预测模式的多个帧内预测模式。

图4示出当前块的相邻块。

图5是可以实现本发明技术的视频解码装置的框图。

图6是示出在梯度线性模型(GLM)中使用的梯度滤波器的示意图。

图7是详述根据本发明的至少一个实施方案的视频解码装置的部分的框图。

图8是示出根据本发明的至少一个实施方案的亮度分量的滤波的示意图。

图9是示出根据本发明的至少一个实施方案的滤波器的形状的示意图。

图10是示出根据本发明的至少一个实施方案的滤波器系数的示意图。

图11是示出根据本发明的至少一个实施方案的亮度分量和色度分量的参考样本区域的示意图。

图12是示出根据本发明的至少一个实施方案的梯度滤波器的示意图。

图13a和图13b是示出根据本发明的至少一个实施方案的用于推导交叉分量模型的参数的预测位置的示意图。

图14是示出根据本发明的至少一个实施方案的用于推导模型参数并且/或者计算预测成本的参考样本的位置的示意图。

图15是根据本发明的至少一个实施方案的由视频编码装置编码当前色度块的方法的流程图。

图16是根据本发明的至少一个实施方案的由视频解码装置重构当前色度块的方法的流程图。

具体实施方式

在下文中，将参考所附说明性附图对本发明的一些实施方案进行详细描述。在下面的描述中，相同的附图标记表示相同的元件，尽管元件在不同的附图中示出。此外，在一些实施方案的以下描述中，当认为相关的已知组件和功能的详细描述模糊了本发明的主题时，为了清楚和简洁起见，可以省略对相关的已知组件和功能的详细描述。

图1是可以实现本发明技术的视频编码装置的框图。在下文中，参考图1的图示，对视频编码装置以及该装置的组件进行描述。

编码装置可以包括：图像分割器110、预测器120、减法器130、变换器140、量化器145、重排单元150、熵编码器155、逆量化器160、逆变换器165、加法器170、环路滤波单元180和存储器190。

编码装置的每个组件可以实现为硬件或软件，或者实现为硬件和软件的组合。另外，每个组件的功能可以实现为软件，并且微处理器也可以实现为执行对应于每个组件的软件的功能。

一个视频由包括多个图像的一个或更多个序列组成。每个图像分割为多个区域，并且对每个区域执行编码。例如，一个图像分割为一个或更多个瓦片(tile)或/和切片(slice)。这里，一个或更多个瓦片可以定义为瓦片组。每个瓦片或/和切片分割为一个或更多个编码树单元(coding tree unit，CTU)。另外，每个CTU通过树结构分割为一个或更多个编码单元(coding unit，CU)。应用于每个编码单元(CU)的信息被编码为CU的语法，并且共同应用于包括在一个CTU中的CU的信息被编码为CTU的语法。另外，共同应用于一个切片中的所有块的信息被编码为切片头的语法，而应用于构成一个或更多个图像的所有块的信息被编码为图像参数集(Picture Parameter Set，PPS)或图像头。此外，多个图像共同参考的信息被编码为序列参数集(Sequence Parameter Set，SPS)。另外，一个或更多个SPS共同参考的信息被编码为视频参数集(Video Parameter Set，VPS)。此外，共同应用于一个瓦片或瓦片组的信息也可以被编码为瓦片或瓦片组头的语法。包括在SPS、PPS、切片头、瓦片或瓦片组头中的语法可以称为高级语法。

图像分割器110确定编码树单元(CTU)的大小。关于CTU的大小(CTU尺寸)的信息被编码为SPS或PPS的语法，并且被传送至视频解码装置。

图像分割器110将构成视频的每个图像分割为具有预定大小的多个编码树单元(CTU)，然后通过利用树结构递归地分割CTU。树结构中的叶节点成为编码单元(CU)，所述CU是编码的基本单元。

树结构可以是四叉树(quadtree，QT)，其中较高节点(或父节点)被分割为具有相同大小的四个较低节点(或子节点)。树结构也可以是二叉树(binarytree，BT)，其中较高的节点分割为两个较低的节点。树结构还可以是三叉树(ternarytree，TT)，其中较高的节点以1:2:1的比率分割为三个较低的节点。树结构还可以是QT结构、BT结构和TT结构中的两个或更多个结构混合的结构。例如，可以使用四叉树加二叉树(quadtree plus binarytree，QTBT)结构，或者可以使用四叉树加二叉树三叉树(quadtree plus binarytreeternarytree，QTBTTT)结构。这里，二叉树三叉树(BTTT)被添加到树结构以称为多类型树(multiple-type tree，MTT)。

图2是用于描述通过利用QTBTTT结构来对块进行分割的方法的示意图。

如图2所示，CTU可以首先分割为QT结构。四叉树分割可以是递归的，直到分割块的大小达到QT中允许的叶节点的最小块大小(MinQTSize)。由熵编码器155对指示QT结构的每个节点是否被分割为下层的四个节点的第一标志(QT_split_flag)进行编码，并将其用信号通知视频解码装置。当QT的叶节点不大于BT中允许的根节点的最大块大小(MaxBTSize)时，可以将叶节点进一步分割为BT结构或TT结构的至少一个。在BT结构和/或TT结构中可以存在多个分割方向。例如，可以存在两个方向，即，水平地分割相应节点的块的方向以及竖直地分割相应节点的块的方向。如图2所示，当MTT分割开始时，由熵编码器155对指示节点是否被分割的第二标志(mtt_split_flag)、以及在节点被分割的情况下额外指示分割方向(竖直或水平)的标志和/或指示分割类型(二叉或三叉)的标志进行编码，并将其用信号通知视频解码装置。

替选地，在对指示每个节点是否被分割为下层的四个节点的第一标志(QT_split_flag)进行编码之前，还可以对指示节点是否被分割的CU分割标志(split_cu_flag)进行编码。当CU分割标志(split_cu_flag)的值指示出每个节点没有被分割时，相应节点的块成为分割树结构中的叶节点并成为CU，CU是编码的基本单元。当CU分割标志(split_cu_flag)的值指示出每个节点被分割时，视频编码装置以上述方案对第一标志首先开始编码。

当QTBT用作树结构的另一个示例时，可以存在两种类型，即，将相应节点的块水平地分割为具有相同大小的两个块的类型(即，对称水平分割)以及将相应节点的块竖直地分割为具有相同大小的两个块的类型(即，对称竖直分割)。由熵编码器155对指示BT结构的每个节点是否被分割为下层的块的分割标志(split_flag)和指示分割类型的分割类型信息进行编码，并将其传送至视频解码装置。另一方面，可以另外存在相应节点的块被分割为彼此非对称的两个块的类型。非对称形式可以包括相应节点的块被分割为大小比率为1:3的两个矩形块的形式，或者还可以包括相应节点的块在对角线方向上被分割的形式。

CU可以根据从CTU分割的QTBT或QTBTTT而具有各种大小。在下文中，与要编码或解码的CU(即，QTBTTT的叶节点)相对应的块称为“当前块”。当采用QTBTTT分割时，除了正方形形状之外，当前块的形状也可以是矩形形状。

预测器120对当前块进行预测以生成预测块。预测器120包括帧内预测器122和帧间预测器124。

通常，可以对图像中的当前块的每个进行预测地编码。通常，可以通过利用帧内预测技术(其利用来自包括当前块的图像的数据)或帧间预测技术(其利用来自在包括当前块的图像之前编码的图像的数据)执行当前块的预测。帧间预测包括单向预测和双向预测两者。

帧内预测器122通过利用在包括当前块的当前图像中位于当前块邻近的像素(参考像素)来预测当前块中的像素。根据预测方向，存在多个帧内预测模式。例如，如图3a所示，多个帧内预测模式可以包括包含平面(Planar)模式和DC模式的两种非方向模式，并且可以包括65种方向模式。根据每种预测模式不同地定义要使用的相邻像素和算法等式。

为了对具有矩形形状的当前块进行高效的方向预测，可以额外地使用图3b中虚线箭头所示的方向模式(#67至#80，帧内预测模式#-1至#-14)。方向模式可以称为“宽角度帧内预测模式(wide angle intra-prediction modes)”。在图3b中，箭头指示用于预测的相应参考样本，而非代表预测方向。预测方向与箭头指示的方向相反。在当前块具有矩形形状时，宽角度帧内预测模式是在没有额外比特传输的情况下在与特定方向模式相反的方向上执行预测的模式。在这种情况下，在宽角度帧内预测模式中，可以通过具有矩形形状的当前块的宽度与高度的比率来确定可用于当前块的一些宽角度帧内预测模式。例如，在当前块具有高度小于宽度的矩形形状时，具有小于45度的角度的宽角度帧内预测模式(帧内预测模式#67至#80)是可用的。在当前块具有宽度大于高度的矩形形状时，具有大于-135度的角度的宽角度帧内预测模式是可用的。

帧内预测器122可以确定要用于对当前块进行编码的帧内预测。在一些示例中，帧内预测器122可以通过利用多个帧内预测模式来对当前块进行编码，并且还可以从测试模式中选择要使用的适当的帧内预测模式。例如，帧内预测器122可以通过利用对多个测试的帧内预测模式的率失真(rate-distortion)分析来计算率失真值，并且还可以在测试模式中选择具有最佳率失真特性的帧内预测模式。

帧内预测器122在多个帧内预测模式中选择一个帧内预测模式，并且通过利用根据选择的帧内预测模式确定的相邻像素(参考像素)和算法等式来预测当前块。由熵编码器155对关于选择的帧内预测模式的信息进行编码并将其传送至视频解码装置。

帧间预测器124通过利用运动补偿处理来生成当前块的预测块。帧间预测器124在比当前图像更早已被编码和解码的参考图像中搜索与当前块最相似的块，并且通过利用搜索到的块来生成当前块的预测块。另外，生成运动矢量(motion vector，MV)，所述运动矢量与当前图像中的当前块和参考图像中的预测块之间的位移(displacement)相对应。通常，对亮度(luma)分量执行运动估计，并且基于亮度分量计算的运动矢量用于亮度分量和色度分量两者。由熵编码器155对包括参考图像的信息和关于用于预测当前块的运动矢量的信息的运动信息进行编码，并将其传送至视频解码装置。

帧间预测器124还可以执行参考图像或参考块的插值，以增加预测的准确性。换句话说，通过向包括两个整数样本的多个连续整数样本应用滤波器系数来在两个连续整数样本之间插值子样本。在对插值的参考图像执行搜索与当前块最相似的块的处理时，对于运动矢量可以表示小数单位精度而不是整数样本单位精度。对于要编码的每个目标区域，例如，诸如切片、瓦片、CTU、CU等的单元，可以不同地设置运动矢量的精度或分辨率。当应用这种自适应运动矢量分辨率(adaptive motion vector resolution，AMVR)时，应该针对每个目标区域用信号通知关于要应用于每个目标区域的运动矢量分辨率的信息。例如，当目标区域是CU时，用信号通知关于应用于每个CU的运动矢量分辨率的信息。关于运动矢量分辨率的信息可以是代表要在以下描述的运动矢量差的精度的信息。

另一方面，帧间预测器124可以通过利用双向预测来执行帧间预测。在双向预测的情况下，使用两个参考图像和代表与每个参考图像中的当前块最相似的块位置的两个运动矢量。帧间预测器124分别从参考图像列表0(RefPicList0)和参考图像列表1(RefPicList1)选择第一参考图像和第二参考图像。帧间预测器124还搜索与相应参考图像中的当前块最相似的块，以生成第一参考块和第二参考块。此外，通过对第一参考块和第二参考块进行平均或加权平均来生成当前块的预测块。此外，包括关于用于预测当前块的两个参考图像的信息并且包括关于两个运动矢量的信息的运动信息被传送至熵编码器155。这里，参考图像列表0可以由预重构图像中按显示顺序在当前图像之前的图像构成，并且参考图像列表1可以由预重构图像中按显示顺序在当前图像之后的图像构成。然而，尽管不特别限于此，但可以将显示顺序中在当前图像之后的预重构图像额外地包括在参考图像列表0中。相反，在当前图像之前的预重构图像也可以额外地包括在参考图像列表1中。

为了最小化用于编码运动信息所消耗的比特量，可以使用各种方法。

例如，在当前块的参考图像和运动矢量与相邻块的参考图像和运动矢量相同时，能够识别相邻块的信息被编码以将当前块的运动信息传送至视频解码装置。这种方法称为合并模式(merge mode)。

在合并模式中，帧间预测器124从当前块的相邻块选择预定数量的合并候选块(在下文中，称为“合并候选”)。

作为用于推导合并候选的相邻块，可以使用与当前图像中的当前块邻近的左侧块A0、左下侧块A1、上侧块B0、右上侧块B1和左上侧块B2的全部或一些，如图4所示。此外，除了当前块所在的当前图像之外，位于参考图像内的块(其可以与用于预测当前块的参考图像相同或不同)也可以用作合并候选。例如，参考图像内的当前块的同位块(co-locatedblock)或与该同位块邻近的块可以额外地用作合并候选。如果通过上述方法选择的合并候选的数量小于预设数量，则将零矢量添加到合并候选。

帧间预测器124通过利用相邻块来配置包括预定数量的合并候选的合并列表。从合并列表中包括的合并候选之中选择要用作当前块的运动信息的合并候选，并且生成用于识别选择的候选的合并索引信息。由熵编码器155对生成的合并索引信息进行编码并将其传送至视频解码装置。

合并跳过模式是合并模式的特例。在量化之后，在用于熵编码的所有变换系数都接近零时，仅传输相邻块选择信息而不传输残差信号。通过利用合并跳过模式，对于具有轻微运动的影像、静止影像、屏幕内容影像等可以实现相对较高的编码效率。

此后，合并模式和合并跳过模式统称为合并/跳过模式。

用于编码运动信息的另一种方法是高级运动矢量预测(advanced motion vectorprediction，AMVP)模式。

在AMVP模式中，帧间预测器124通过利用当前块的相邻块来推导用于当前块的运动矢量的运动矢量预测候选。作为用于推导运动矢量预测候选的相邻块，可以使用与图4所示的当前图像中的当前块邻近的左侧块A0、左下侧块A1、上侧块B0、右上侧块B1和左上侧块B2的全部或一些。此外，除了当前块所在的当前图像之外，位于参考图像(其可以与用于预测当前块的参考图像相同或不同)内的块也可以用作用于推导运动矢量预测候选的相邻块。例如，可以使用参考图像内的当前块的同位块或与该同位块邻近的块。如果通过上述方法选择的运动矢量候选的数量小于预设数量，则将零矢量添加到运动矢量候选。

帧间预测器124通过利用相邻块的运动矢量来推导运动矢量预测候选，并且通过利用运动矢量预测候选来确定当前块的运动矢量的运动矢量预测。另外，通过将当前块的运动矢量减去运动矢量预测来计算运动矢量差。

可以通过将预定义函数(例如，中值和平均值计算等)应用于运动矢量预测候选来获取运动矢量预测。在这种情况下，视频解码装置还知道预定义功能。此外，由于用于推导运动矢量预测候选的相邻块是已经完成编码和解码的块，所以视频解码装置也可能已经知道相邻块的运动矢量。因此，视频编码装置不需要对用于识别运动矢量预测候选的信息进行编码。相应地，在这种情况下，对关于运动矢量差的信息和关于用于预测当前块的参考图像的信息进行编码。

另一方面，还可以通过选择运动矢量预测候选的任何一个的方案来确定运动矢量预测。在这种情况下，用于识别选择的运动矢量预测候选的信息与用于预测当前块的关于运动矢量差的信息以及关于参考图像的信息共同进行额外的编码。

减法器130通过将当前块减去由帧内预测器122或帧间预测器124生成的预测块来生成残差块。

变换器140将具有空域的像素值的残差块中的残差信号变换为频域的变换系数。变换器140可以通过利用残差块的整个大小作为变换单元来变换残差块中的残差信号，或者也可以将残差块分割为多个子块，并且可以通过利用子块作为变换单元来执行变换。替选地，将残差块划分成两个子块，即变换区域和非变换区域，以通过仅利用变换区域子块作为变换单元来变换残差信号。这里，变换区域子块可以是基于水平轴线(或竖直轴线)的具有大小比率为1:1的两个矩形块的一个。在这种情况下，由熵编码器155对指示出仅变换子块的标志(cu_sbt_flag)、以及方向(竖直/水平)信息(cu_sbt_horizontal_flag)和/或位置信息(cu_sbt_pos_flag)进行编码，并将其用信号通知视频解码装置。另外，变换区域子块的大小基于水平轴线(或竖直轴线)可以具有1:3的大小比率。在这种情况下，由熵编码器155对划分相应分割的标志(cu_sbt_quad_flag)进行额外地编码，并将其用信号通知视频解码装置。

另一方面，变换器140可以在水平方向和竖直方向上单独地执行残差块的变换。对于该变换，可以使用各种类型的变换函数或变换矩阵。例如，用于水平变换和竖直变换的成对变换函数可以定义为多变换集(multiple transform set，MTS)。变换器140可以选择MTS中具有最高变换效率的一个变换函数对，并且可以在水平方向和竖直方向的每个上变换残差块。由熵编码器155对关于MTS中的变换函数对的信息(mts_idx)进行编码，并将其用信号通知视频解码装置。

量化器145利用量化参数对从变换器140输出的变换系数进行量化，并且将量化的变换系数输出到熵编码器155。量化器145还可以对相关的残差块立即进行量化，而无需对任何块或帧进行变换。量化器145还可以根据变换块中的变换系数的位置来应用不同的量化系数(缩放值)。可以对应用于布置为二维的量化的变换系数的量化矩阵进行编码，并将其用信号通知视频解码装置。

重排单元150可以对量化的残差值执行系数值的重新排列。

重排单元150可以通过利用系数扫描将2D系数阵列改变为1D系数序列。例如，重排单元150可以利用锯齿形扫描(zig-zag scan)或对角线扫描(diagonal scan)来扫描DC系数到高频区域的系数以输出1D系数序列。根据变换单元的大小和帧内预测模式，也可以利用在列方向上扫描2D系数阵列的竖直扫描和在行方向上扫描2D块类型系数的水平扫描来代替锯齿形扫描。换句话说，根据变换单元的大小和帧内预测模式，可以在锯齿形扫描、对角线扫描、竖直扫描和水平扫描中确定要使用的扫描方法。

熵编码器155通过利用包括基于上下文的自适应二进制算术编码(Context-basedAdaptive Binary Arithmetic Code，CABAC)、指数哥伦布(Exponential Golomb)等的各种编码方案来对从重排单元150输出的1D量化的变换系数的序列进行编码，以生成比特流。

此外，熵编码器155对与块分割相关的信息(例如，CTU大小、CTU分割标志、QT分割标志、MTT分割类型和MTT分割方向等)进行编码，以使得视频解码装置能够等同于视频编码装置来分割块。此外，熵编码器155对关于指示当前块是由帧内预测编码还是由帧间预测编码的预测类型的信息进行编码。熵编码器155根据预测类型对帧内预测信息(即，关于帧内预测模式的信息)或帧间预测信息(在合并模式的情况下的合并索引，以及在AMVP模式的情况下的关于参考图像索引和运动矢量差的信息)进行编码。此外，熵编码器155对与量化相关的信息(即，关于量化参数的信息和关于量化矩阵的信息)进行编码。

逆量化器160对从量化器145输出的量化的变换系数进行逆量化，以生成变换系数。逆变换器165将从逆量化器160输出的变换系数从频域变换到空域，以重构残差块。

加法器170将重构的残差块和由预测器120生成的预测块相加，以重构当前块。在对下一个块进行帧内预测时，重构的当前块中的像素用作参考像素。

环路滤波单元180对重构的像素执行滤波，以减少由于基于块的预测和变换/量化而发生的块伪影(blocking artifacts)、振铃伪影(ringing artifacts)、模糊伪影(blurring artifacts)等。作为环内滤波器的环路滤波单元180可以包括去块滤波器182、样本自适应偏移(sample adaptive offset，SAO)滤波器184和自适应环路滤波器(adaptive loop filter，ALF)186的全部或一些。

去块滤波器182对重构的块之间的边界进行滤波，以去除由于块单元编码/解码而发生的块伪影(blocking artifacts)，并且SAO滤波器184和ALF 186对去块滤波的视频进行额外的滤波。SAO滤波器184和ALF 186是用于补偿由于有损编码(lossy coding)而发生的重构的像素与原始像素之间的差值的滤波器。SAO滤波器184以CTU为单位应用偏移，以增强主观影像质量和编码效率。另一方面，ALF 186执行块单元滤波，并且通过划分相应块的边界和变化量的程度来应用不同的滤波器以补偿失真。可以对关于要用于ALF的滤波器系数的信息进行编码，并将其用信号通知视频解码装置。

通过去块滤波器182、SAO滤波器184和ALF 186滤波的重构的块存储在存储器190中。当一个图像中的所有块被重构时，重构的图像可以用作用于对随后要被编码的图像内的块进行帧间预测的参考图像。

视频编码装置可以将编码的视频数据的比特流存储在非易失性存储介质中或者通过通信网络将比特流发送到视频解码装置。

图5是可以实现本发明技术的视频解码装置的功能框图。在下文中，参考图5，描述了视频解码装置和该装置的组件。

视频解码装置可以包括熵解码器510、重排单元515、逆量化器520、逆变换器530、预测器540、加法器550、环路滤波单元560和存储器570。

类似于图1的视频编码装置，视频解码装置的每个组件可以实现为硬件或软件，或者实现为硬件和软件的组合。另外，每个组件的功能可以实现为软件，并且微处理器也可以实现为执行对应于每个组件的软件的功能。

熵解码器510通过解码由视频编码装置生成的比特流来提取与块分割相关的信息，以确定要解码的当前块，并且提取重构当前块所需的预测信息和关于残差信号的信息。

熵解码器510通过从序列参数集(SPS)或图像参数集(PPS)提取关于CTU大小的信息来确定CTU的大小，并且将图像分割为具有确定大小的CTU。此外，CTU被确定为树结构的最高层(即，根节点)，并且可以提取CTU的分割信息以通过利用树结构来分割CTU。

例如，当通过利用QTBTTT结构来分割CTU时，首先提取与QT的分割相关的第一标志(QT_split_flag)，以将每个节点分割为下层的四个节点。另外，相对于与QT的叶节点相对应的节点来提取与MTT的分割相关的第二标志(mtt_split_flag)、分割方向(竖直/水平)和/或分割类型(二叉/三叉)，以将相应的叶节点分割为MTT结构。结果，QT的叶节点下方的每个节点被递归地分割为BT或TT结构。

作为另一个示例，当通过利用QTBTTT结构来分割CTU时，提取指示是否分割CU的CU分割标志(split_cu_flag)。当分割相应块时，还可以提取第一标志(QT_split_flag)。在分割过程期间，对于每个节点，在递归QT分割0次或更多次之后可能发生0次或更多次的递归MTT分割。例如，对于CTU，MTT分割可以立即发生，或者相反，也可以仅发生多次QT分割。

作为另一个示例，当通过利用QTBT结构来分割CTU时，提取与QT的分割相关的第一标志(QT_split_flag)，以将每个节点分割为下层的四个节点。另外，提取指示将与QT的叶节点相对应的节点是否进一步分割为BT的分割标志(split_flag)以及分割方向信息。

另一方面，当熵解码器510通过利用树结构的分割来确定要解码的当前块时，熵解码器510提取关于指示当前块是被帧内预测还是被帧间预测的预测类型的信息。当预测类型信息指示帧内预测时，熵解码器510提取用于当前块的帧内预测信息(帧内预测模式)的语法元素。当预测类型信息指示帧间预测时，熵解码器510提取代表帧间预测信息的语法元素的信息，即，运动矢量和运动矢量参考的参考图像。

此外，熵解码器510提取量化相关的信息并且提取关于当前块的量化的变换系数的信息作为关于残差信号的信息。

重排单元515可以以由视频编码装置执行的系数扫描次序的相反顺序，将由熵解码器510熵解码的1D量化的变换系数的序列再次改变为2D系数阵列(即，块)。

逆量化器520对量化的变换系数进行逆量化，并且通过利用量化参数对量化的变换系数进行逆量化。逆量化器520还可以向布置为2D的量化的变换系数应用不同的量化系数(缩放值)。逆量化器520可以通过将来自视频编码装置的量化系数(缩放值)的矩阵应用于量化的变换系数的2D阵列来执行逆量化。

逆变换器530通过将逆量化的变换系数从频域逆变换到空域来重构残差信号，以生成当前块的残差块。

此外，当逆变换器530对变换块的部分区域(子块)进行逆变换时，逆变换器530提取仅对变换块的子块进行变换的标志(cu_sbt_flag)、子块的方向(竖直/水平)信息(cu_sbt_horizontal_flag)和/或子块的位置信息(cu_sbt_pos_flag)。逆变换器530还将相应子块的变换系数从频域逆变换到空域以重构残差信号，并且用值“0”填充未被逆变换的区域作为残差信号，以生成当前块的最终残差块。

此外，当应用MTS时，逆变换器530通过利用从视频编码装置用信号通知的MTS信息(mts_idx)来确定在水平方向和竖直方向的每个上要应用的变换索引或变换矩阵。逆变换器530还通过利用确定的变换函数在水平方向和竖直方向上对变换块中的变换系数执行逆变换。

预测器540可以包括帧内预测器542和帧间预测器544。在当前块的预测类型是帧内预测时，激活帧内预测器542，而在当前块的预测类型是帧间预测时，激活帧间预测器544。

帧内预测器542根据从熵解码器510提取的帧内预测模式的语法元素来确定多个帧内预测模式中当前块的帧内预测模式。帧内预测器542还根据帧内预测模式通过利用当前块的相邻参考像素来预测当前块。

帧间预测器544通过利用从熵解码器510提取的帧间预测模式的语法元素来确定当前块的运动矢量和运动矢量参考的参考图像。

加法器550通过将从逆变换器530输出的残差块与从帧间预测器544或帧内预测器542输出的预测块相加来重构当前块。在对后续要被解码的块进行帧内预测时，重构的当前块内的像素用作参考像素。

作为环内滤波器的环路滤波单元560可以包括去块滤波器562、SAO滤波器564和ALF 566。去块滤波器562对重构的块之间的边界执行去块滤波，以便去除由于块单元解码而发生的块伪影。SAO滤波器564和ALF 566在去块滤波之后对重构的块执行额外的滤波，以便补偿由于有损编码而发生的重构的像素与原始像素之间的差值。通过利用关于从比特流解码的滤波器系数的信息来确定ALF的滤波器系数。

通过去块滤波器562、SAO滤波器564和ALF 566滤波的重构的块存储在存储器570中。当一个图像中的所有块被重构时，重构的图像可以用作用于对随后要被编码的图像内的块进行帧间预测的参考图像。

在一些实施方案中本发明涉及如上所述的编码和解码视频影像。更具体地，本发明提供了一种视频编解码方法和装置，用于在根据交叉分量预测来预测当前色度块时，基于重构的参考样本来推导亮度分量的滤波器和用于交叉分量预测的交叉分量预测模型。

以下实施方案可以由视频编码装置中的帧内预测器122来执行。以下实施方案也可以由视频解码装置中的帧内预测器542来执行。

视频编码装置在编码当前块时可以从优化率失真的角度生成与本实施方案相关联的信令信息。视频编码装置可以使用熵编码器155对信令信息进行编码，并且将编码的信令信息发送到视频解码装置。视频解码装置可以使用熵解码器510从比特流解码与当前块的解码相关联的信令信息。

在下面的描述中，术语“目标块”可以与当前块或编码单元(CU)互换使用，或者可以指代编码单元的一些区域。

此外，一个标志的值为真(true)指示标志被设置为1的情况。另外，一个标志的值为假(false)指示标志被设置为0的情况。

I.色度分量的帧内预测

介绍通过利用帧内预测来提高编解码效率的几种技术。

在多功能视频编解码(Versatile Video Coding，VVC)技术中，亮度块具有除了非角度或非方向模式(即，平面和DC模式)之外的65个细分的角度的帧内预测模式或方向模式(即，模式2至模式66)，如图3a所示。65个方向模式、平面和DC模式被统称为67个IPM。

根据由亮度块利用的预测方向，色度块还可以对这些细分的方向模式的帧内预测进行有限获取。然而，除了水平和竖直方向之外，色度块的帧内预测可能并不总是利用亮度块可用的各种方向模式。为了能够使用这些不同的方向模式，当前色度块的预测模式需要设置为直接模式(direct mode，DM)。通过将预测模式设置为DM，当前色度块可以利用亮度块的水平和竖直模式之外的方向模式。

当色度块被编码时，最常用或默认保持视频质量的帧内预测模式包括平面、DC、竖直和水平模式以及DM。在DM下，空间上对应于当前色度块的亮度块的帧内预测模式被用作色度块的帧内预测模式。

视频编码装置可以用信号通知视频解码装置色度块的帧内预测模式是否是DM。视频编码装置可以以许多方式将DM传输到视频解码装置。例如，视频编码装置可以通过将作为用于指示色度块的帧内预测模式的信息的intra_chroma_pred_mode设置为特定值并将该信息发送到视频解码装置来指示色度块的帧内预测模式是否是DM。

当以帧内预测模式编码色度块时，则视频编码装置可以根据表1设置色度块的帧内预测模式IntraPredModeC。

在下文中，为了将作为与色度块的帧内预测模式相关的信息的intra_chroma_pred_mode和IntraPredModeC进行区分，intra_chroma_pred_mode和IntraPredModeC分别表示为色度帧内预测模式指示符和色度帧内预测模式。

[表1]

这里，lumaIntraPredMode是对应于当前色度块的亮度块的帧内预测模式(在下文中，“亮度帧内预测模式”)。lumaIntraPredMode代表图3a所示的预测模式的一种。例如，在表1中，lumaIntraPredMode＝0是指平面预测模式，并且lumaIntraPredMode＝1是指DC预测模式。lumaIntraPredMode为18、50和66的情况分别指示称为水平、竖直和VDIA的方向模式。另一方面，intra_chroma_pred_mode＝0、1、2和3的情况分别指示平面、竖直、水平和DC预测模式。intra_chroma_pred_mode＝4的情况是DM，其中色度帧内预测模式IntraPredModeC的值被设置为等于lumaIntraPredMode的值。

另一方面，由视频解码装置执行的解析色度块的帧内预测模式的处理如表2所示。

[表2]

if(CclmEnabled)
	cclm_mode_flag
if(cclm_mode_flag)
	cclm_mode_idx
else
	intra_chroma_pred_mode

视频解码装置解析cclm_mode_flag，其指示是否使用交叉分量线性模型(cross-component linear model，CCLM)模式。如果cclm_mode_flag为1以启用CCLM模式，则视频解码装置解析指示CCLM模式的cclm_mode_idx。根据cclm_mode_idx的值，CCLM模式可以指示三种模式的一种。另一方面，如果cclm_mode_flag为0(指示不使用CCLM模式)，则视频解码装置解析指示帧内预测模式的intra_chroma_pred_mode，如上所述。

如果CCLM模式应用于当前色度块的帧内预测，则视频解码装置确定亮度图像中对应于当前色度块的相应区域(在下文中，称为“相应亮度区域”)。为了预测线性模型，可以利用相应亮度区域的左侧参考像素和上侧参考像素，以及目标色度块的左侧参考像素和上侧参考像素。在下文中，左侧参考像素和上侧参考像素被共同称为参考像素、相邻像素或邻近像素。另外，色度信道中的参考像素被称为色度参考像素，并且亮度信道中的参考像素被称为亮度参考像素。

在CCLM预测中，通过推导相应亮度区域中的参考像素与色度块的参考像素之间的线性模型，然后将线性模型应用于相应亮度区域中的重构的像素来生成作为目标色度块的预测因子的预测块。例如，可以使用四对像素(即，将当前色度块的相邻像素线中的像素和相应亮度区域中的像素进行组合)以推导线性模型。响应于四对像素，视频解码装置可以推导代表线性模型的α和β，如等式1所示。

[等式1]

这里，X_a和X_b各自代表四对像素中的相应亮度像素的最小值和第二小值的平均值以及最大值和第二大值的平均值。此外，Y_a和Y_b各自代表四对像素中的色度像素的最小值和第二小值的平均值以及最大值和第二大值的平均值。然后，视频解码装置可以使用线性模型以从相应亮度区域的像素值rec'_L(i,j)生成当前色度块的预测因子pred_C(i,j)，如等式2所示。

[等式2]

pred_C(i,j)＝α·rec′_L(i,j)+β

如上所述，根据在推导线性模型中使用的相邻像素的位置，CCLM模式被划分为CCLM_LT、CCLM_L和CCLM_T三种模式。CCLM_LT模式使用与当前色度块的左侧和顶侧邻近的相邻像素的每个方向上的两个像素。CCLM_L模式使用与当前色度块的左侧邻近的相邻像素的四个像素。最终，CCLM_T模式利用与当前色度块的上侧邻近的相邻像素的四个像素。

GLM模式(梯度线性模型模式)将线性模型应用于重构的亮度分量的梯度G(i,j)以预测色度分量，如等式3所示。

[等式3]

pred_C(i,j)＝α·G(i,j)+β

该过程可以利用与CCLM(交叉分量线性模型)中使用的相同的线性模型。可以通过将梯度滤波器应用于与当前色度样本同位的亮度样本来生成梯度G(i,j)。定义了十六种类型的梯度滤波器，并且图6中的示例示出了一些梯度滤波器。视频编码装置可以用信号通知视频解码装置指示梯度滤波器的类型的索引。

如上所述，CCLM将线性模型直接应用于亮度分量以预测色度分量。另外，GLM通过将线性模型应用于经滤波的亮度分量来预测色度分量。由于GLM使用以与CCLM相同的方式推导的线性模型，GLM在推导交叉分量模型时不考虑滤波器。此外，它还需要用信号发出指示滤波器的类型的索引。为了解决上述问题，本发明的实施方案隐式地推导滤波器类型并且在交叉分量模型的推导期间将滤波器应用于亮度分量。

以下实施方案是围绕视频解码装置描述的，但是也可以在视频编码装置中相同或相似地实现。

II.根据本发明的实施方案

根据本实施方案的视频解码装置可以解码预测所需的语法元素，并且基于解码的语法生成当前色度块的重构的块。图7中示出的操作可以由视频解码装置的熵解码器510和预测器540执行。另一方面，类似于图7中示出的操作可以由视频编码装置的预测器120执行。在这种情况下，视频解码装置使用从比特流解析的编码信息，而视频编码装置可以使用在最小化率失真方面从更高级别预设的编码信息。在下文中，为了方便描述起见，以视频解码装置为中心描述本实施方案。

如图5所示的预测器540根据预测技术包括帧内预测器542和帧间预测器544，但是对于色度分量的帧内预测，帧内预测器544可以包括隐式滤波器推导器710、亮度分量滤波器应用器720和预测执行器730的全部或部分，如图7所示。

当输入视频的颜色格式是YUV格式(YUV420、YUV411、YUV422、YUV444等)时，视频解码装置可以执行亮度分量的预测和重构，然后可以执行色度分量的预测和重构。另一方面，当输入视频的颜色格式是RGB时，视频编码装置可以执行从RGB到YUV的颜色格式变换，然后可以编码变换后的视频。这里，在YUV格式的情况下，颜色格式代表亮度分量中的像素与色度分量中的像素之间的关联。

熵解码器510解码色度帧内预测模式指示符。色度帧内预测模式指示符指示用于帧内预测的当前色度块的预测模式。

当色度帧内预测模式指示符指示交叉分量预测模式时，熵解码器510解码指示是否要推导隐式滤波器的标志(在下文中，称为“隐式滤波器推导标志”)。另一方面，可以利用交叉分量预测模型来应用交叉分量预测模式。根据解码的交叉分量预测模式，线性模型或非线性模型可以被推导为交叉分量预测模型。在下文中，交叉分量预测模型可以与交叉分量模型互换使用。

当色度帧内预测模式指示符不指示交叉分量预测模式时，视频解码装置可以根据相应色度预测模式生成当前色度块的预测块。

此时，当从诸如序列、切片等的更高级别接收到隐式滤波器推导标志时，CU级别处的标志可以被隐式地推导为与从更高级别接收到的标志相同的值。替选地，如果从更高级别接收到的标志是1，则熵解码器510可以进一步解码CU级别处的标志以确定是否要推导隐式滤波器。

作为示例，如果颜色格式是YUV444，则隐式滤波器推导标志可以被推导为0。

如果隐式滤波器推导标志为真，则隐式滤波器推导器710推导要应用于交叉分量预测的亮度分量的滤波器的类型(或滤波器的形式)。在推导滤波器类型的过程中，隐式滤波器推导器710可以推导与推导的滤波器类型一致的最佳交叉分量模型。在这种情况下，应用于亮度分量的滤波器类型可以包括在上述GLM技术中使用的梯度滤波器。

另一方面，如果隐式滤波器推导标志为假，则隐式滤波器推导器710不推导滤波器，并且视频解码装置可以根据诸如CCLM的常规方法来执行交叉分量预测。例如，当应用CCLM时，帧内预测器542可以推导适合于如上所述的CCLM的线性模型。

亮度分量滤波器应用器720通过将根据推导的滤波器类型的滤波器系数应用于与当前色度块同位的重构的亮度块(在下文中，称为“相应亮度块”)对重构的亮度样本执行滤波。

此外，如果隐式滤波器推导标志被推导为假，则可以省略亮度分量滤波器应用器720的操作。

预测执行器730使用推导的最佳交叉分量模型以从相应亮度块的经滤波的重构的亮度样本中生成当前色度块的预测块。

另一方面，如果隐式滤波器推导标志为假，则预测执行器730可以利用交叉分量预测的未滤波的重构的亮度样本。即，预测执行器730可以将未滤波的重构的亮度样本输入到推导的线性模型中以生成当前色度块的预测块。

以下详述隐式滤波器推导器710的操作。隐式滤波器推导器710可以包括亮度分量滤波单元712、交叉分量模型估计器714和预测成本计算器716的全部或部分。

另一方面，如果隐式滤波器推导标志为假，则可以省略隐式滤波器推导器710的操作。

亮度分量滤波单元712使用所有候选滤波器以对相应亮度块和亮度参考样本区域进行滤波，如图8所示。亮度分量滤波单元712从相应亮度块生成经滤波的相应亮度块，并且从重构的亮度参考样本区域或“重构的亮度参考样本”生成经滤波的重构的亮度参考样本。在这种情况下，可以基于视频编码装置与视频解码装置之间的协议来预定义候选滤波器。

候选滤波器的数量是一个或更多个。例如，单个候选滤波器生成一个经滤波的相应亮度块和一个经滤波的重构的亮度参考样本区域。

为了推导滤波器，隐式滤波器推导器710利用经滤波的重构的亮度参考样本区域以允许亮度分量滤波单元712能够省略相应亮度块的滤波。

如图8所示的一个示例，由A、B、C和D代表的重构的参考样本区域可以变化。例如，A＝W或A＝2W，以及B＝H或B＝2H。图8的示例示出了当颜色格式是YUV420时的亮度分量滤波。在图8的示例中，经滤波的重构的参考样本区域具有与当前色度块的重构的参考样本区域或“重构的色度参考样本”相同的大小。另外，经滤波的相应亮度块具有与当前色度块相同的大小。这意味着，根据颜色格式，候选滤波器可以并行地执行下采样操作。另一方面，左上侧的C×D区域可以不用于推导隐式滤波器。

候选滤波器的形状和相应滤波器系数可以变化。例如，具有F_W×F_H滤波器系数的矩形或正方形形状滤波器和/或具有F_W×F_H滤波器系数的F×F菱形形状滤波器可以用作候选。在图9的示例中，示出了具有F_W×F_H滤波器系数的矩形或正方形形状滤波器、3×3菱形滤波器和5×5菱形滤波器。根据实施方案，可以使用由视频编码装置与视频解码装置之间的协议定义的滤波器的特定形状。此外，对于每个滤波器形状，可以存在具有不同滤波器系数的多个候选滤波器。

例如，F_W×F_H形式的候选滤波器可以是用于提取特定方向性的边缘滤波器、用于提取特定像素值的下采样滤波器和/或子采样滤波器。图10中的示例示出了当F_W＝3，F_H＝2时的一些可用滤波器系数。根据实施方案，可以添加或删除候选滤波器及其相应系数。边缘滤波器可以与GLM技术中利用的梯度滤波器相同或相似。

如上所述，如果颜色格式是YUV444，则隐式滤波器推导标志可以被推导为0。替选地，如果颜色格式是YUV444，则可以从候选滤波器排除下采样滤波器或子采样滤波器。

如图11所示，交叉分量模型估计器714基于相应亮度块的经滤波的参考样本区域的重构的像素值和当前色度块的参考样本区域的重构的像素值来推导交叉分量模型的参数。这可以推导与候选滤波器相同数量的候选交叉分量模型。例如，单个候选滤波器带来单个候选交叉分量模型。

如上所述，根据当前色度块的解码的交叉分量预测模式推导为交叉分量模型可以是线性模型或非线性模型。

作为示例，在线性模型的情况下，交叉分量模型估计器714可以通过利用等式4中所示的线性回归等式来估计线性模型的参数α和β。

[等式4]

这里，L(n)代表相应亮度块的经滤波的参考样本区域的重构的像素值，并且C(n)代表当前色度块的参考样本区域的重构的像素值。N指示线性回归中利用的样本对的数量。

替选地，交叉分量模型估计器714可以估计如等式5所示的线性模型的参数α和β。

[等式5]

这里，x_max和x_min分别代表经滤波的相应亮度参考像素的最大值和第二大值的平均值以及最小值和第二小值的平均值。此外，y_max和y_min分别代表经滤波的相应色度参考像素的最大值和第二大值的平均值以及最小值和第二小值的平均值。

基于如上所述估计的线性模型，可以根据等式6来预测色度分量。

[等式6]

pred_C(i,j)＝α·L′(i,j)+β

这里，L′(i,j)代表位置(i,j)处的经滤波的重构的亮度样本。

作为另一示例，在非线性模型的情况下，交叉分量模型估计器714可以基于重构的亮度参考区域的参考样本和当前色度块的重构的参考样本来推导代表非线性模型的模型参数。通过利用推导的模型参数，可以根据等式7来预测色度分量。在这种情况下，可以使用仅利用一些模型参数的子集模型。

[等式7]

pred_C(i,j)＝c₀L′(i,j)+c₁i+c₂j+c₃P(i,j)+c₄B+c₅G_x(i,j)+c₆G_y(i,j)

这里，c_i代表非线性模型参数。L′(i,j)代表位置(i,j)处的经滤波的重构的亮度样本。非线性项P和偏置项B可以如等式8所示计算。

[等式8]

P(i,j)＝(L′(i,j)·L′(i,j)+(1＜＜(比特深度-1)))＞＞比特深度

B＝1＜＜(比特深度-1)

此外，可以通过将大小为k_x×k_y的梯度滤波器分别应用于沿着x和y轴的经滤波的相应亮度样本值或未滤波的相应亮度样本值来计算G_x和G_y的值。在这种情况下，可以根据视频编码装置与视频解码装置之间的协议来设置梯度滤波器。例如，当k_x＝3且k_y＝3时，用于提取梯度的x轴和y轴方向上的滤波器可以表示为图12中的图示。

在这种情况下，通过利用3×3梯度滤波器E_x和E_y，G_x和G_y的值可以如等式9和等式10所示计算。

[等式9]

G_x(i,j)＝L(2i-1,2j-1)E_x(0,0)+L(2i,2j-1)E_x(1,0)

+L(2i+1,2j-1)E_x(2,0)+L(2i-1,2j)E_x(0,1)+L(2i,2j)E_x(1,1)

+L(2i+1,2j)E_x(2,1)+L(2i-1,2j+1)E_x(0,2)

+L(2i,2j+1)E_x(1,2)+L(2i+1,2j+1)E_x(2,2)

[等式10]

G_y(i,j)＝L(2i-1,2j-1)E_y(0,0)+L(2i,2j-1)E_y(1,0)

+L(2i+1,2j-1)E_y(2,0)+L(2i-1,2j)E_y(0,1)+L(2i,2j)E_y(1,1)

+L(2i+1,2j)E_y(2,1)+L(2i-1,2j+1)E_y(0,2)

+L(2i,2j+1)E_y(1,2)+L(2i+1,2j+1)E_y(2,2)

这里，L′(i,j)代表位置(i,j)处的未滤波的相应亮度样本。

另一方面，当将用于预测值S定义为S(S∈{L',i,j,P,B,Gx,Gy})时，对于用于参数推导的像素的数量N，交叉分量模型估计器714可以计算S的自相关矩阵AC以及S与重构的色度参考样本之间的互相关。交叉分量模型估计器714可以基于估计的自相关和互相关来估计使等式11最小化参数向量

[等式11]

这里，可以使用诸如LDL分解的方法来估计参数向量

替选地，交叉分量模型估计器714可以使用重构的亮度参考区域的参考样本以根据等式7生成与参数的数量一样多的线性等式。在这种情况下，等式7的左侧的预测值可以由重构的色度参考样本代替。交叉分量模型估计器714可以通过利用高斯消去求解线性等式来推导非线性模型的参数。

作为另一示例，通过利用不同的非线性模型参数，可以根据等式12来预测色度分量。

[等式12]

pred_C(i,j)＝c₀L′(i-1,j-1)+c₁L^′(i,j-1)+c₂L^′(i+1,j-1)+c₃L^′(i-1,j)+c₄b^′(i,j)+c₅L^′(i+1,j)+c₆L^′(i-1,j+1)+c₇L^′(i,j+1)+c₈L^′(i+1,j+1)+c₉P+c₁₀B

这种情况可以使用仅利用一些模型参数的子集模型。另外，也可以将当前预测的像素的位置信息(i,j)、梯度(Gx和Gy)等作为输入添加到预测模型，并且可以添加用于添加的输入的参数。

预测成本计算器716将经滤波的重构的参考样本区域的N个参考样本输入到交叉分量模型中以执行色度分量预测，从而生成预测值，然后计算预测值与实际重构的色度参考样本之间的偏差，即预测成本。预测成本计算器716可以将该误差计算过程应用于所有候选滤波器和相应候选交叉分量模型，并且然后可以将生成最小预测成本的候选滤波器和候选交叉分量模型确定为用于预测当前色度块的滤波器和交叉分量模型。

另一方面，如果存在单个候选滤波器，意味着存在单个候选交叉分量模型，则可以省略预测成本计算器716的操作。

图13a和图13b是示出根据本发明的一些实施方案的用于推导交叉分量模型的参数的预测位置的示意图。

作为另一示例，隐式滤波器推导器710可以推导要应用于亮度分量的滤波器的类型和用于推导交叉分量模型的参数的预测位置。

关于预测位置，定义了利用当前色度块的上侧和左侧参考样本的AL模式、利用当前色度块的上侧参考样本的A模式以及利用当前色度块的左侧参考样本的L模式，如图13a和图13b所示。此后，将与预测位置相关的AL模式、A模式和L模式统称为位置模式。当M是候选滤波器的数量时，隐式滤波器推导器710推导用于候选滤波器和候选位置模式的M×3个组合的交叉分量模型的参数。因此，可以对M×3个组合推导M×3个交叉分量滤波器。隐式滤波器推导器710基于推导的模型参数来计算预测成本。隐式滤波器推导器710可以将具有最小成本的候选滤波器、候选位置模式和候选交叉分量模型确定为当前色度块的滤波器、位置模式和交叉分量模型。

此时，用于推导模型参数的参考样本的位置可以与用于计算预测成本的参考样本的位置不同，如图14所示。

此外，当存在单个候选滤波器时，即，当候选交叉分量模型在数量上等于候选位置模式时，隐式滤波器推导器710根据候选位置模式计算预测成本。隐式滤波器推导器710可以将具有最小成本的候选位置模式和候选交叉分量模型确定为当前色度块的位置模式和交叉分量模型。

另一方面，如果推导用于隐式地推导交叉分量模型的参数的参考样本的位置，则可以省略隐式滤波器的推导。视频解码装置可以省略隐式滤波器推导标志的解析和隐式滤波器的推导，这是由于它使用在更高级别处确定的滤波器。视频解码装置可以分别通过解码隐式滤波器推导标志和隐式参数估计位置推导标志来确定是否推导隐式滤波器以及是否推导隐式参数估计位置。

现在参考图15和图16，描述预测当前色度块的方法。在下文中，假设基于交叉分量预测来预测当前色度块。

视频编码装置从亮度分量的重构的区域建立与当前色度块相对应的亮度区域(S1500)。这里，相应亮度块指示与当前色度块同位的亮度块。

视频编码装置基于相应亮度块的重构的亮度参考样本和当前色度块的重构的参考样本在候选滤波器中推导应用于亮度分量的滤波器，并且推导对应于推导出的滤波器的交叉分量模型(S1502)。这里，滤波器可以是线性模型或非线性模型。

视频编码装置通过利用每个候选滤波器对重构的亮度参考样本进行滤波。视频编码装置基于经滤波的重构的亮度参考样本和当前色度块的参考样本推导对应于每个候选滤波器的候选交叉分量模型。因此，可以推导与候选滤波器相同数量的候选交叉分量模型。

视频编码装置将经滤波的重构的亮度参考样本的全部或部分输入到候选交叉分量模型中，以生成色度分量的预测值，并且计算预测成本。这里，预测成本指示预测值与重构的色度参考样本之间的偏差。在候选滤波器和相应候选交叉分量模型中，视频编码装置可以将具有最小预测成本的候选滤波器和候选交叉分量模型确定为用于预测当前色度块的滤波器和交叉分量模型。

视频编码装置通过利用根据推导的滤波器的滤波器系数对相应亮度块中的重构的亮度样本进行滤波(S1504)。

视频编码装置通过利用交叉分量模型从经滤波的重构的亮度样本中生成当前色度块的第一预测块(S1506)。

视频编码装置基于相应亮度块的重构的亮度参考样本和当前色度块的重构的参考样本推导线性模型(S1508)。

视频编码装置通过利用线性模型从重构的亮度样本中生成当前色度块的第二预测块(S1510)。

视频编码装置基于第一预测块和第二预测块确定隐式滤波器推导标志(S1512)。这里，隐式滤波器推导标志指示是否隐式地推导滤波器。

在率失真优化方面，视频编码装置可以确定隐式滤波器推导标志。例如，如果第一预测块是最佳的，则视频编码装置将隐式滤波器推导标志设置为真。另一方面，如果第二预测块是最佳的，则视频编码装置将隐式滤波器推导标志设置为假。

视频编码装置对隐式滤波器推导标志进行编码(S1514)。

此外，视频编码装置通过将当前色度块减去根据隐式滤波器推导标志的第一预测块或第二预测块来生成当前色度块的残差块。然后，视频编码装置编码当前色度块的残差块。

视频解码装置从亮度分量的重构的区域建立与当前色度块相对应的亮度区域(S1600)。这里，相应亮度块指示与当前色度块同位的亮度块。

视频解码装置从比特流解码隐式滤波器推导标志(S1602)。这里，隐式滤波器推导标志指示是否隐式地推导滤波器。

视频解码装置检查隐式滤波器推导标志(S1604)。

如果隐式滤波器推导标志为真(S1604为是)，则视频解码装置执行以下步骤。

视频解码装置基于相应亮度块的重构的亮度参考样本和当前色度块的重构的参考样本从候选滤波器中推导应用于亮度分量的滤波器，并且推导对应于推导出的滤波器的交叉分量模型(S1606)。这里，滤波器可以是线性模型或非线性模型。

视频解码装置通过利用候选滤波器的每个对重构的亮度参考样本进行滤波。视频解码装置基于经滤波的重构的亮度参考样本和当前色度块的参考样本推导对应于每个候选滤波器的候选交叉分量模型。因此，可以推导与候选滤波器相同数量的候选交叉分量模型。

视频解码装置将经滤波的重构的亮度参考样本的全部或部分输入到候选交叉分量模型中，以生成色度分量的预测值，并且计算预测成本。这里，预测成本指示预测值与重构的色度参考样本之间的偏差。视频解码装置可以在候选滤波器和相应候选交叉分量模型中将具有最小预测成本的候选滤波器和候选交叉分量模型确定为用于预测当前色度块的滤波器和交叉分量模型。

视频解码装置通过利用根据推导的滤波器的滤波器系数对相应亮度块中的重构的亮度样本进行滤波(S1608)。

视频解码装置通过利用交叉分量模型从经滤波的重构的亮度样本中生成当前色度块的预测块(S1610)。

另一方面，如果隐式滤波器推导标志为假(S1604为否)，则视频解码装置执行以下步骤。

视频解码装置基于相应亮度块的重构的亮度参考样本和当前色度块的重构的参考样本推导线性模型(S1620)。

视频解码装置通过利用线性模型从重构的亮度样本中生成当前色度块的预测块(S1622)。

此外，视频解码装置解码当前色度块的残差块。此后，视频解码装置可以通过对当前色度块的预测块和解码的残差块求和来生成当前色度块的重构的块。

尽管描述了顺序执行的各个流程图中的步骤，但这些步骤仅仅例示了本发明的一些实施方案的技术思想。因此，本发明所属领域的普通技术人员可以通过改变在各个附图中描述的顺序或通过并行地执行两个或更多个步骤来执行步骤。因此，各个流程图中的步骤不限于所示的按发生时间排列的顺序。

应当理解，上述描述呈现了可以以各种其他方式实现的说明性实施方案。在一些实施方案中描述的功能可以通过硬件、软件、固件和/或它们的组合来实现。还应当理解，本发明中描述的功能组件标记为“……单元”，以突出强调它们独立实现的可能性。

另一方面，在一些实施方案中描述的各种方法或功能可以实现为存储在非易失性记录介质中的指令，所述指令可以由一个或更多个处理器读取和执行。非易失性记录介质可以包括例如以计算机系统可读取的形式存储数据的各种类型的记录装置。例如，非易失性记录介质可以包括存储介质，例如可擦除可编程只读存储器(EPROM)、闪存驱动器、光盘驱动器、磁性硬盘驱动器和固态驱动器(SSD)等等。

尽管出于说明的目的描述了本发明的示例性实施方案，但是本发明所属领域的普通技术人员应当理解，在不脱离本发明的思想和范围的情况下，可以进行各种修改、添加和替换。因此，出于简洁和清楚起见描述了本发明的实施方案。本发明的实施方案的技术思想的范围不受例示的限制。相应地，本发明所属领域的普通技术人员应当理解，本发明的范围不应受上述明确描述的实施方案的限制，而是受权利要求及其等同形式的限制。

附图标记

122：帧内预测器

542：帧内预测器

710：隐式滤波器推导器

712：亮度分量滤波单元

714：交叉分量模型估计器

716：预测成本计算器

720：亮度分量滤波器应用器

730：预测执行器。

Claims

1.一种通过视频解码装置重构当前色度块的方法，所述方法包括：

从亮度分量的重构的区域建立当前色度块的相应亮度块，所述相应亮度块代表与当前色度块同位的亮度块；

基于相应亮度块的重构的亮度参考样本和当前色度块的重构的参考样本，从候选滤波器推导应用于亮度分量的线性模型或非线性模型的滤波器，并且推导对应于滤波器的交叉分量模型；

通过利用根据推导的滤波器的滤波器系数对相应亮度块中的重构的亮度样本进行滤波；以及

通过利用交叉分量模型从经滤波的重构的亮度样本中生成当前色度块的预测块。

2.根据权利要求1所述的方法，进一步包括：

从比特流解码指示是否要隐式地推导滤波器的隐式滤波器推导标志；以及

检查隐式滤波器推导标志，

其中，当隐式滤波器推导标志为真时，所述方法进一步包括：

推导滤波器和对应于滤波器的交叉分量模型，对重构的亮度样本进行滤波，以及生成当前色度块的预测块。

3.根据权利要求1所述的方法，进一步包括，当隐式滤波器推导标志为假时：

基于相应亮度块的重构的亮度参考样本和当前色度块的重构的参考样本来推导线性模型；以及

通过利用线性模型从重构的亮度样本中生成当前色度块的预测块。

4.根据权利要求1所述的方法，其中，所述候选滤波器包括：

矩形形状滤波器、正方形形状滤波器和/或菱形形状滤波器，

其中，所述矩形形状滤波器或所述正方形形状滤波器包括：

配置为提取特定方向性的边缘滤波器、配置为提取特定像素值的下采样滤波器和/或子采样滤波器。

5.根据权利要求1所述的方法，其中，推导对应于滤波器的交叉分量模型包括：

通过利用候选滤波器的每个对重构的亮度参考样本进行滤波；以及

基于经滤波的重构的亮度参考样本和当前色度块的参考样本来推导对应于候选滤波器的每个的候选交叉分量模型。

6.根据权利要求5所述的方法，其中，推导对应于滤波器的交叉分量模型包括：

将经滤波的重构的亮度参考样本的全部或部分输入到候选交叉分量模型中以生成色度分量的预测值，并且计算预测成本，所述预测成本是预测值与重构的色度参考样本之间的偏差；以及

在候选滤波器和相应候选交叉分量模型中将最小化预测成本的候选滤波器和候选交叉分量模型两者确定为滤波器和交叉分量模型。

7.根据权利要求5所述的方法，其中，推导对应于滤波器的交叉分量模型包括：

基于当前色度块的经滤波的重构的亮度参考样本和重构的参考样本的预设数量的样本对，将线性模型或非线性模型推导为候选交叉分量模型。

8.根据权利要求1所述的方法，其中，所述非线性模型配置为通过利用以下的全部或部分来生成色度分量的预测值：应用了滤波器的经滤波的亮度样本、经滤波的亮度样本的水平方向上的坐标、经滤波的亮度样本的竖直方向上的坐标、经滤波的亮度样本的非线性项、偏置项、亮度样本的水平方向上的梯度、以及亮度样本的竖直方向上的梯度。

9.根据权利要求1所述的方法，其中，所述非线性模型配置为通过利用以下的全部或部分来生成色度分量的预测值：应用了滤波器的经滤波的亮度样本、经滤波的亮度样本的经滤波的相邻亮度样本、经滤波的亮度样本的水平方向上的坐标、经滤波的亮度样本的竖直方向上的坐标、经滤波的亮度样本的非线性项、偏置项、亮度样本的水平方向上的梯度、以及亮度样本的竖直方向上的梯度。

10.根据权利要求1所述的方法，其中，推导对应于滤波器的交叉分量模型包括：

通过利用候选滤波器的每个，根据候选位置模式的每个对重构的亮度参考样本进行滤波；以及

基于经滤波的重构的亮度参考样本和当前色度块的参考样本来推导对应于候选滤波器的每个和候选位置模式的每个的候选交叉分量模型。

11.根据权利要求10所述的方法，其中，推导对应于滤波器的交叉分量模型包括：

在候选滤波器、候选位置模式以及与候选滤波器和候选位置模式的组合相对应的候选交叉分量模型中，将最小化预测成本的候选滤波器、候选位置模式和候选交叉分量模型确定为滤波器、当前色度模式的位置模式和交叉分量模型。

12.根据权利要求10所述的方法，其中，所述候选位置模式的每个包括：

使用当前色度块的上侧和左侧参考样本的AL模式、使用当前色度块的上侧参考样本的A模式、或者使用当前色度块的左侧参考样本的L模式。

13.一种通过视频编码装置编码当前色度块的方法，所述方法包括：

基于相应亮度块的重构的亮度参考样本和当前色度块的重构的参考样本，从候选滤波器推导应用于亮度分量的线性模型或非线性模型的滤波器，并且推导对应于所述滤波器的交叉分量模型；

通过利用交叉分量模型从经滤波的重构的亮度样本中生成当前色度块的第一预测块。

14.根据权利要求13所述的方法，进一步包括：

通过利用线性模型从重构的亮度样本中生成当前色度块的第二预测块。

15.根据权利要求14所述的方法，进一步包括：

基于第一预测块和第二预测块来确定指示是否要隐式地推导滤波器的隐式滤波器推导标志；以及

对隐式滤波器推导标志进行编码。

16.一种计算机可读记录介质，其存储由视频编码方法生成的比特流，其中，所述视频编码方法包括：

通过利用交叉分量模型从经滤波的重构的亮度样本来生成当前色度块的第一预测块。