CN121220039A - 在基于仿射模型的预测中使用局部照明补偿的视频编码方法和装置 - Google Patents

Abstract

公开了一种在基于仿射模式的预测中使用局部照明补偿的视频编码方法和装置。在所公开的实施例中，视频解码装置通过使用仿射模型的形状和控制点运动矢量，生成从当前块分割出的子块的运动矢量。视频解码装置通过使用运动矢量导出子块的子参考块，来生成当前块的参考块。当当前块的周边参考像素可用时，视频解码装置对于参考块的上侧子参考块和左侧子参考块，计算各上侧子参考块或左侧子参考块的周边参考像素的位置。当参考块的周边参考像素在计算出的位置可用时，视频解码装置导出当前块的周边参考像素与参考块的周边参考像素之间的线性关系的参数，并且通过使用该线性关系的参数对参考块应用局部照明补偿，来生成当前块的预测块。

Description

在基于仿射模型的预测中使用局部照明补偿的视频编码方法 和装置

技术领域

本公开涉及一种在基于仿射模式的预测中使用局部照明补偿的视频编码方法和装置。

背景技术

本节中的陈述仅提供与本公开相关的背景信息，不一定构成现有技术。

由于视频数据与音频数据或静态图像数据相比数据量较大，因此如果不进行压缩处理，则视频数据需要包括存储器在内的大量硬件资源来存储或发送视频数据。

因此，通常使用编码器对视频数据进行压缩后再存储或发送。解码器接收压缩后的视频数据，对接收到的压缩视频数据进行解压缩，并播放解压缩后的视频数据。视频压缩技术包括H.264/高级视频编码（AVC）、高效率视频编码（HEVC）以及多功能视频编码（VVC），VVC与HEVC相比，编码效率提升了约30%以上。

然而，由于图像尺寸、分辨率和帧速率逐渐提高，待编码的数据量也增加。因此，需要一种比现有压缩技术提供更高编码效率和更好图像增强效果的新压缩技术。

为了提高帧间预测的预测效率，可以应用一种基于参考图像对解码图像的照明进行补偿的方法。解码器使用参考块的周边像素和当前块的周边像素来导出参考块与当前块之间的局部照明变化，然后将导出的关系应用于参考块，由此对当前块执行局部照明补偿（LIC）。另一方面，为了提高视频编码效率和视频质量，需要一种将上述局部照明补偿应用于基于仿射模型的预测的方法。

发明内容

技术问题

本公开旨在提供一种视频编码方法和装置，其在基于仿射模型以子块为单位预测当前块时，导出当前块的周边参考像素与参考块的周边参考像素之间的线性关系，并使用该线性关系对参考块应用局部照明补偿。

技术解决方案

本公开的至少一个方面提供了一种由视频解码装置重构当前块的方法。该方法包括：获得当前块的仿射模型的形状，并导出控制点运动矢量。该方法还包括：通过使用仿射模型的形状和控制点运动矢量，生成从当前块分割出的子块的运动矢量。该方法还包括：通过使用运动矢量导出子块的子参考块，来生成当前块的参考块。该方法还包括：在当前块的上侧和左侧，检查当前块的周边参考像素的可用性。当当前块的周边参考像素可用时，该方法还包括：对于参考块的上侧子参考块和左侧子参考块，计算各上侧子参考块或左侧子参考块的周边参考像素的位置。该方法还包括：通过在计算出的位置，检查各上侧子参考块或左侧子参考块的周边参考像素的可用性，来检查参考块的周边参考像素的可用性。当参考块的周边参考像素全部或部分可用时，该方法还包括：导出当前块的周边参考像素与参考块的周边参考像素之间的线性关系的参数。该方法还包括：通过使用该线性关系的参数对参考块应用局部照明补偿，来生成当前块的预测块。

本公开的另一方面提供了一种由视频编码装置编码当前块的方法。该方法包括：确定当前块的仿射模型的形状，并导出控制点运动矢量。该方法还包括：通过使用仿射模型和控制点运动矢量，生成从当前块分割出的子块的运动矢量。该方法还包括：通过使用运动矢量导出子块的子参考块，来生成当前块的参考块。该方法还包括：在当前块的上侧和左侧，检查当前块的周边参考像素的可用性。当当前块的周边参考像素可用时，该方法还包括：对于参考块的上侧子参考块和左侧子参考块，计算各上侧或左侧子参考块的周边参考像素的位置。该方法还包括：通过在计算出的位置，检查各上侧或左侧子参考块的周边参考像素的可用性，来检查参考块的周边参考像素的可用性。当参考块的周边参考像素全部或部分可用时，该方法还包括：导出当前块的周边参考像素与参考块的周边参考像素之间的线性关系的参数。该方法还包括：通过使用该线性关系的参数对参考块进行局部照明补偿，来生成当前块的第一预测块。

本公开的又一方面提供了一种计算机可读记录介质，存储由视频编码方法生成的比特流。该视频编码方法包括：确定当前块的仿射模型的形状，并导出控制点运动矢量。该视频编码方法还包括：通过使用仿射模型和控制点运动矢量，生成从当前块分割出的子块的运动矢量。该视频编码方法还包括：通过使用运动矢量导出子块的子参考块，来生成当前块的参考块。该视频编码方法还包括：在当前块的上侧和左侧，检查当前块的周边参考像素的可用性。当当前块的周边参考像素可用时，该视频编码方法还包括：对于参考块的上侧子参考块和左侧子参考块，计算各上侧子参考块或左侧子参考块的周边参考像素的位置。该视频编码方法还包括：通过在计算出的位置，检查各上侧或左侧子参考块的周边参考像素的可用性，来检查参考块的周边参考像素的可用性。当参考块的周边参考像素全部或部分可用时，该视频编码方法还包括：导出当前块的周边参考像素与参考块的周边参考像素之间的线性关系的参数。该视频编码方法还包括：通过使用该线性关系的参数对参考块应用局部照明补偿，来生成当前块的预测块。

有益效果

如上所述，本公开提供了一种视频编码方法和装置，其在基于仿射模型以子块为单位预测当前块时，导出当前块的周边参考像素与参考块的周边参考像素之间的线性关系，并使用该线性关系对参考块应用局部照明补偿。因此，该视频编码方法和装置提高了视频编码效率并提升了视频质量。

附图说明

图1是可以实现本公开的技术的视频编码装置的框图。

图2示出使用四叉树加二叉树三叉树（QTBTTT）结构分割块的方法。

图3A和图3B示出包含广角帧内预测模式的多种帧内预测模式。

图4示出当前块的周边块。

图5是可以实现本公开的技术的视频解码装置的框图。

图6是示出根据本公开的至少一个实施例的仿射模型的逐像素计算的图。

图7是示出根据本公开的至少一个实施例的通过使用中心矢量来计算仿射模型的图。

图8是示出根据本公开的至少一个实施例的仿射模型的逐子块计算的图。

图9是示例局部照明补偿的图。

图10是其他示例局部照明补偿的图。

图11是示出根据本公开的至少一个实施例的基于仿射模型的预测中的局部照明补偿的图。

图12是示出根据本公开的至少一个实施例的用于局部照明补偿的周边参考像素的图。

图13是根据本公开的至少一个实施例的由视频编码装置编码当前块的方法的流程图。

图14是根据本公开的另一个实施例的用于局部照明补偿的周边参考像素的图。

图15是根据本公开的至少一个实施例的由视频解码装置重构当前块的方法的流程图。

具体实施方式

以下参照所附的说明性附图，对本公开的一些实施例进行详细说明。在以下描述中，相同附图标记表示相同元件，尽管元件在不同附图中示出。此外，在以下对一些实施例的描述中，当认为对相关已知部件和功能的详细说明会掩盖本公开的主题时，为了清晰简洁起见，可以省略该说明。

图1是可以实现本公开的技术的视频编码装置的框图。以下参照图1的图示，描述该视频编码装置及其部件。

编码装置可以包括图片分割器110、预测器120、减法器130、变换器140、量化器145、重排单元150、熵编码器155、逆量化器160、逆变换器165、加法器170、环路滤波单元180以及存储器190。

编码装置的各部件可以实现为硬件或软件，或者实现为硬件与软件的组合。此外，各部件的功能可以实现为软件，并且也可以实现微处理器来执行与各部件对应的软件功能。

一个视频由包含多个图片的一个或多个序列构成。每个图片被分割成多个区域，并且对每个区域执行编码。例如，一个图片可以分割成一个或多个图块（tile）或/和切片（slice）。这里，一个或多个图块可以被定义为图块组。每个图块或/和切片被分割成一个或多个编码树单元（CTU）。此外，每个CTU按树结构分割成一个或多个编码单元（CU）。应用于每个编码单元（CU）的信息被编码为CU的语法，并且共同应用于一个CTU中所包含的CU的信息被编码为该CTU的语法。此外，共同应用于一个切片中的所有块的信息被编码为切片头的语法，并且应用于构成一个或多个图片的所有块的信息被编码至图片参数集（PPS）或图片头。此外，将多个图片共同参照的信息编码至序列参数集（SPS）。此外，将一个或多个SPS共同参照的信息编码至视频参数集（VPS）。此外，共同应用于一个图块或图块组的信息也可以被编码为图块或图块组头的语法。SPS、PPS、切片头、图块或图块组头中所包含的语法可以称为高层语法。

图片分割器110确定编码树单元（CTU）的大小。关于CTU的大小（CTU大小）的信息被编码为SPS或PPS的语法，并传送至视频解码装置。

图片分割器110将构成视频的每个图片分割成多个具有预定大小的编码树单元（CTU），然后通过使用树结构对CTU进行递归分割。树结构中的叶节点成为编码单元（CU），其为编码的基本单位。

树结构可以以是四叉树（QT）结构，在其中，上位节点（或父节点）被分割成四个大小相同的下位节点（或子节点）。树结构也可以是二叉树（BT）结构，在其中，上位节点被分割成两个下位节点。树结构还可以是三叉树（TT）结构，在其中，上位节点按1:2:1的比例分割成三个下位节点。树结构还可以是QT结构、BT结构、TT结构当中的两种或更多种结构相混合的结构。例如，可以使用四叉树加二叉树（QTBT）结构，或者可以使用四叉树加二叉树三叉树（QTBTTT）结构。这里，汇集二叉树三叉树（BTTT）的树结构可以称为多类型树（MTT）。

图2是用于描述通过使用QTBTTT结构分割块的方法的图。

如图2所示，可以先将CTU分割成QT结构。四叉树分割可以递归进行，直至分割块的大小达到QT中允许的叶节点的最小块尺寸（MinQTSize）。指示QT结构的每个节点是否分割成四个下层节点的第一标志（QT_split_flag），由熵编码器155编码并用信令通知给视频解码装置。当QT的叶节点大小不大于BT中允许的根节点的最大块尺寸（MaxBTSize）时，该叶节点可以进一步分割成BT结构或TT结构中的至少一种。BT结构和/或TT结构中可以存在多种分割方向。例如，可以包括两个方向，即，对应节点的块沿水平方向分割的方向，以及对应节点的块沿垂直方向分割的方向。如图2所示，当开始MTT分割时，指示是否分割节点的第二标志（mtt_split_flag）、追加指示分割方向（垂直或水平）的标志、和/或（如果节点被分割）指示分割类型（二叉或三叉）的标志，均由熵编码器155编码并用信号通知给视频解码装置。

替换地，在对指示每个节点是否分割成四个下层节点的第一标志（QT_split_flag）进行编码之前，也可以先编码指示是否分割节点的CU分割标志（split_cu_flag）。当CU分割标志（split_cu_flag）的值指示不分割各节点时，对应节点的块成为分割树结构中的叶节点，并成为作为编码的基本单位的CU。当CU分割标志（split_cu_flag）的值指示分割各节点时，视频编码装置按上述方案先开始对第一标志进行编码。

当使用QTBT作为树结构的另一示例时，可以存在两种类型，即：对应节点的块沿水平方向分割成两个大小相同的块的类型（即，对称水平分割），以及对应节点的块沿垂直方向分割成两个大小相同的块的类型（即，对称垂直分割）。指示BT二叉树结构的每个节点是否分割成下层块的分割标志（split_flag）以及指示分割类型的分割类型信息，由熵编码器155编码并传送至视频解码装置。此外，还可以额外存在对应节点的块分割成两个彼此不对称的块的类型。该不对称形式可以包括对应节点的块被分割成大小比为1:3的两个矩形块的形式，或者可以包括对应节点的块沿对角线方向分割的形式。

根据从CTU进行的QTBT或QTBTTT分割，CU可以具有多种大小。下文中，将与待编码或待解码的CU（即，QTBTTT的叶节点）对应的块称为“当前块”。由于采用QTBTTT分割，当前块的形状除正方形外，还可以呈矩形。

预测器120对当前块进行预测，以生成预测块。预测器120包括帧内预测器122和帧间预测器124。

通常，可以对图片中的每个当前块进行预测性编码。当前块的预测通常可以通过帧内预测技术（使用来自包含当前块的图片的数据）或者帧间预测技术（使用来自包含当前块的图片之前已编码的图片的数据）来执行。帧间预测包括单向预测和双向预测两种。

帧内预测器122在包含当前块的当前图片中，通过使用位于当前块周边的像素（参考像素），来对当前块内的像素进行预测。根据预测方向，存在多种帧内预测模式。例如，如图3A所示，多种帧内预测模式可以包括2种非方向性模式（包括平面模式和DC模式），并且可以包括65种方向性模式。根据每种预测模式，不同地定义要使用的周边像素和计算公式。

为了对具有矩形形状的当前块进行高效方向性预测，可以额外使用图3B中以虚线箭头示出的方向性模式（帧内预测模式#67至#80，#-1至#-14）。方向性模式可以称为“广角帧内预测模式”。在图3B中，箭头指示用于预测的对应参考样本，不代表预测方向。预测方向与箭头所示方向相反。当当前块具有矩形形状时，广角帧内预测模式是无需额外的比特传输，即可沿与特定方向性模式的相反方向执行预测的模式。在这种情况下，在广角帧内预测模式当中，可用于当前块的一些广角帧内预测模式可以由矩形的当前块的宽高比来确定。例如，当当前块具有高度小于宽度的矩形形状时，可使用具有小于45度的角度的广角帧内预测模式（帧内预测模式#67至#80）。当当前块具有宽度大于高度的矩形形状时，可使用具有大于-135度的角度的广角帧内预测模式。

帧内预测器122可以确定用于当前块编码的帧内预测模式。在一些示例中，帧内预测器122可以通过使用多种帧内预测模式来对当前块进行编码，并且还可以从测试过的模式中选择要使用的恰当的帧内预测模式。例如，帧内预测器122可以通过使用对多种测试过的帧内预测模式进行率失真分析，来计算出率失真值，并且可以在测试过的模式中选择具有最佳的率失真特征的帧内预测模式。

帧内预测器122在多种帧内预测模式中选择一种帧内预测模式，并通过使用根据选定帧内预测模式确定的周边像素（参考像素）和算术公式，来对当前块进行预测。关于选定帧内预测模式的信息由熵编码器155编码，并传送至视频解码装置。

帧间预测器124通过使用运动补偿过程来生成当前块的预测块。帧间预测器124在比当前图片早编码和解码的参考图片中，搜索与当前块最相似的块，并通过使用搜索到的块，生成当前块的预测块。此外，还生成运动矢量（MV），MV对应于当前图片中的当前块与参考图片中的预测块之间的位移。通常，对亮度分量执行运动估计，并且基于亮度分量计算出的运动矢量用于亮度分量和色度分量两者。包含用于预测当前块的关于参考图片的信息和关于运动矢量的信息的运动信息，由熵编码器155编码并传送至视频解码装置。

为了提高预测精度，帧间预测器124还可以对参考图片或参考块执行插值。换言之，通过对包含两个整数样本的多个连续整数样本应用滤波系数，来对两个连续整数样本之间的子样本进行插值。当对插值后的参考图片执行搜索与当前块最相似的块的过程时，可以以小数单位精度，而非整数样本单位精度表达运动矢量。可以为每个待编码的目标区域（例如，切片、图块、CTU、CU等）不同地设定运动矢量的精度或分辨率。当应用这种自适应运动矢量分辨率（AMVR）时，应当为每个目标区域用信号通知关于要应用于每个区域的运动矢量分辨率的信息。例如，当目标区域为CU时，用信号通知关于要应用于每个CU的运动矢量分辨率的信息。关于运动矢量分辨率的信息可以是表示下文将描述的运动矢量差的精度的信息。

此外，帧间预测器124可以通过使用双向预测来执行帧间预测。在双向预测的情况下，使用两个参考图片以及表示每个参考图片中与当前块最相似的块位置的两个运动矢量。帧间预测器124分别从参考图片列表0（RefPicList0）和参考图片列表1（RefPicList1）选择第一参考图片和第二参考图片。帧间预测器124还在各个参考图片中搜索与当前块最相似的块，以生成第一参考块和第二参考块。此外，通过对第一参考块和第二参考块进行平均或加权平均，生成当前块的预测块。此外，包含关于用于预测当前块的两个参考图片的信息和关于两个运动矢量的信息的运动信息，将传送至熵编码器155。这里，参考图片列表0可以由预重构图片当中按显示顺序位于当前图片之前的图片构成，而参考图片列表1可以由预重构图片当中按显示顺序位于当前图片之后的图片构成。然而，本公开不限于此，按显示顺序位于当前图片之后的预重构图片也可以追加地包含在参考图片列表0中。反之，位于当前图片之前的预重构图片也可以追加地包含在参考图片列表1中。

为了使编码运动信息所消耗的比特量最小，可以使用多种方法。

例如，当当前块的参考图片和运动矢量与周边块的参考图片和运动矢量相同时，对能够识别周边块的信息进行编码，以将当前块的运动信息传送至视频解码装置。这种方法称为合并模式。

在合并模式下，帧间预测器124从当前块的周边块中选择预定数量的合并候选块（以下简称“合并候选”）。

如图4所示，作为用于导出合并候选的周边块，可以使用当前图片中与当前块相邻的左侧块A0、左下块A1、上部块B0、右上块B1和左上块B2中的全部或一部分。此外，也可以使用当前块所在当前图片之外的参考图片（可以与用于预测当前块的参考图片相同或不同）内的块作为合并候选。例如，参考图片内与当前块在同一位置的块，或者与该同一位置的块相邻的块，可以追加地用作合并候选。如果通过上述方法选择的合并候选数量少于预设数量，则可以将零矢量添加至合并候选。

帧间预测器124通过使用周边块来配置包含预定数量的合并候选的合并列表。从合并列表中所包含的合并候选中选择要用作当前块的运动信息的合并候选，并生成用于识别选定候选的合并索引信息。生成的合并索引信息由熵编码器155编码，并传送至视频解码装置。

合并跳过模式是合并模式的特殊情况。在量化之后，当用于熵编码的所有变换系数均接近零时，仅发送周边块选择信息，而不发送残差信号。通过使用合并跳过模式，可以对运动少的图像、静态图像、屏幕内容图像等实现相对高的编码效率。

以下，将合并模式和合并跳过模式统称为合并/跳过模式。

另一种用于编码运动信息的方法是高级运动矢量预测（AMVP）模式。

在AMVP模式下，帧间预测器124通过使用当前块的周边块，导出用于当前块的运动矢量的预测运动矢量候选。作为用于导出预测运动矢量候选的周边块，可以使用如图4所示的当前图片中与当前块相邻的左侧块A0、左下块A1、上部块B0、右上块B1和左上块B2中的全部或一些。此外，也可以使用当前块所在的当前图片之外的参考图片（可以与用于预测当前块的参考图片相同或不同）内的块，作为用于导出预测运动矢量候选的周边块。例如，可以使用参考图片内与当前块在同一位置的块，或者与该同一位置的块相邻的块。如果通过上述方法选择的运动矢量候选的数量少于预设数量，则可以将零矢量添加至运动矢量候选。

帧间预测器124通过使用周边块的运动矢量来导出预测运动矢量候选，并通过使用预测运动矢量候选来确定当前块运动矢量的预测运动矢量。此外，通过从当前块的运动矢量减去预测运动矢量，计算运动矢量差。

预测运动矢量可以通过对预测运动矢量候选应用预定义函数（例如，中心值和平均值计算等）来获取。在这种情况下，视频解码装置还知晓该预定义函数。此外，由于用于导出预测运动矢量候选的周边块是已完成编码和解码的块，因此视频解码装置也可以已经知晓该周边块的运动矢量。因此，视频编码装置无需对用于识别预测运动矢量候选的信息进行编码。因此，在此情况下，对关于运动矢量差的信息以及关于用于预测当前块的参考图片的信息进行编码。

此外，预测运动矢量也可以通过选择预测运动矢量候选中的任意一个的方案来确定。在这种情况下，连同关于运动矢量差的信息和关于用于预测当前块的参考图片的信息，对用于识别选定预测运动矢量候选的信息进行联合编码。

减法器130通过从当前块中减去由帧内预测器122或帧间预测器124生成的预测块，来生成残差块。

变换器140将具有空间域的像素值的残差块中的残差信号，变换成频域的变换系数。变换器140可以通过将残差块的整体大小用作变换单元来对残差块中的残差信号进行变换，或者将残差块分割成多个子块，并可以通过将子块用作变换单元来执行变换。替换地，将残差块划分成变换区域和非变换区域两个子块，通过仅将变换区域子块用作变换单元来对残差信号进行变换。这里，变换区域子块可以是水平轴（或垂直轴）为基准，大小比为1:1的两个矩形块之一。在这种情况下，由熵编码器155对指示仅对子块进行变换的标志（cu_sbt_flag）、方向性（垂直/水平）信息（cu_sbt_horizontal_flag）和/或位置信息（cu_sbt_pos_flag）进行编码，并用信号通知给视频解码装置。此外，变换区域子块的大小以水平轴（或垂直轴）为基准，可以具有1:3的大小比。在这种情况下，由熵编码器155追加地对区分对应分割的标志（cu_sbt_quad_flag）进行编码，并用信号通知给视频解码装置。

此外，变换器140可以分别沿水平方向和垂直方向对残差块执行变换。对于该变换，可以使用多种类型的变换函数或变换矩阵。例如，可以将用于水平变换和垂直变换的一对变换函数定义为多变换集（MTS）。变换器140可以在MTS中选择变换效率最高的一个变换函数对，并且可以在水平方向和垂直方向每一个上对残差块进行变换。关于MTS中的变换函数对的信息（mts_idx）由熵编码器155编码，并用信号通知给视频解码装置。

量化器145使用量化参数对从变换器140输出的变换系数进行量化，并将量化后的变换系数输出至熵编码器155。对于某些块或帧，量化器145也可以不进行变换，直接对相关残差块进行量化。量化器145还可以根据变换系数在变换块中的位置，应用不同的量化系数（缩放值）。应用于二维排列的量化变换系数的量化矩阵可以经编码并用信号通知给视频解码装置。

重排单元150可以对量化残差值执行系数值的重对准。

重排单元150可以通过使用系数扫描，将2D系数阵列变为1D系数序列。例如，重排单元150可以通过使用之字形扫描或对角线扫描，从DC系数扫描到高频域系数，来输出1D系数序列。根据变换单元的大小和帧内预测模式，也可以使用沿列方向扫描2D系数阵列的垂直扫描和沿行方向扫描2D块型系数的水平扫描，而不是之字形扫描。换言之，根据变换单元的大小和帧内预测模式，可以在之字形扫描、对角线扫描、垂直扫描和水平扫描当中确定要使用的扫描。

熵编码器155通过使用基于上下文的自适应二进制算术编码（CABAC）、指数Golomb等多种编码方案，对从重排单元150输出的1D量化变换系数序列进行编码，以生成比特流。

此外，熵编码器155还对与块分割相关的信息（例如，CTU大小、CTU分割标志、QT分割标志、MTT分割类型、MTT分割方向等）进行编码，以使视频解码装置与视频编码装置同样地分割块。此外，熵编码器155对关于指示当前块是通过帧内预测的还是帧间预测编码的预测类型的信息进行编码。根据预测类型，熵编码器155编码帧内预测信息（即，关于帧内预测模式的信息）或帧间预测信息（在合并模式的情况下为合并索引，在AMVP模式的情况下为关于参考图片索引和运动矢量差的信息）。此外，熵编码器155对量化相关信息（即，关于量化参数的信息和关于量化矩阵的信息）进行编码。

逆量化器160对从量化器145输出的量化变换系数进行逆量化，以生成变换系数。逆变换器165将从逆量化器160输出的变换系数从频域变换至空间域，以重构残差块。

加法器170将重构的残差块与由预测器120生成的预测块相加，以重构当前块。重构的当前块中的像素可以在对后续块进行帧内预测时用作参考像素。

环路滤波单元180对重构像素执行滤波处理，以便减少因基于块的预测及变换/量化而产生的块伪影、振铃伪影、模糊伪影等。作为环内滤波器的环路滤波单元180可以包括去块滤波器182、样本自适应偏移（SAO）滤波器184以及自适应环路滤波器（ALF）186中的全部或一些。

去块滤波器182对重构块之间的边界进行滤波，以便消除因块单元的编码/解码而产生的块伪影，并且SAO滤波器184和ALF 186对经去块的滤波后视频执行追加的滤波处理。SAO滤波器184和ALF 186是用于补偿因有损编码而导致的重构像素与原始像素之间的差。SAO滤波器184以CTU为单位应用偏移，以提升主观图片质量和编码效率。另一方面，ALF 186执行块单位滤波，并且通过区分对应块的边界和变化量的程度，应用不同的滤波器，来补偿失真。关于要用于ALF的滤波系数的信息可以经编码并用信号通知给视频解码装置。

通过去块滤波器182、SAO滤波器184和ALF186滤波后的重构块被存储在存储器190中。当一幅图片中的所有块均重构时，该重构图片可以用作后续待编码图片中的块的帧间预测的参考图片。

视频编码装置可以将编码后的视频数据比特流存储至非瞬时性存储介质中，或者通过通信网络将该比特流发送至视频解码装置。

图5是可以实现本公开的技术的视频解码装置的功能框图。下面参照图5，对视频解码装置及其部件进行说明。

视频解码装置可以包括熵解码器510、重排单元515、逆量化器520、逆变换器530、预测器540、加法器550、环路滤波单元560和存储器570。

与图1的视频编码装置类似，视频解码装置的各部件可以实现为硬件或软件，或者实现为硬件与软件的结合。此外，各部件的功能可以实现为软件，并且也可以实现微处理器来执行与各部件对应的软件功能。

熵解码器510通过对由视频编码装置生成的比特流进行解码，来提取与块分割相关的信息，并且确定待解码的当前块，并提取重构当前块所需的预测信息和关于残差信号的信息。

熵解码器510通过从序列参数集（SPS）或图片参数集（PPS）中提取关于CTU大小的信息来确定CTU的大小，并将图片分割成具有所确定的大小的CTU。此外，将CTU确定为树结构的最高层（即，根节点），并提取用于CTU的分割信息，以通过使用树结构对CTU进行分割。

例如，当使用QTBTTT结构来分割CTU时，首先提取与QT分割相关的第一标志（QT_split_flag），以将每个节点分割成四个下层节点。此外，针对与QT的叶节点对应的节点，提取与MTT分割相关的第二标志（mtt_split_flag）、分割方向（垂直/水平）和/或分割类型（二叉/三叉），以将对应的叶节点分割成MTT结构。结果，QT的叶节点以下的每个节点被递归地分割成BT或TT结构。

作为另一示例，当使用QTBTTT结构分割CTU时，提取指示是否分割CU的CU分割标志（split_cu_flag）。当分割对应块时，还可以提取第一标志（QT_split_flag）。在分割期间，对于每个节点，可以在0次或多次递归QT分割之后，进行0次或多次递归MTT分割。例如，对于CTU，可以立即进行MTT分割；或者相反地，也可以仅进行多次QT分割。

作为另一示例，当使用QTBT结构分割CTU时，提取与QT分割相关的第一标志（QT_split_flag），以将每个节点分割成四个下层节点。此外，提取指示是否将与QT的叶节点对应的节点进一步分割成BT的分割标志（split_flag）以及分割方向信息。

此外，当熵解码器510通过使用树结构分割来确定待解码的当前块时，熵解码器510提取关于指示当前块是帧内预测的还是帧间预测的预测类型的信息。当预测类型信息指示帧内预测时，熵解码器510提取用于当前块的帧内预测信息（帧内预测模式）的语法元素。当预测类型信息指示帧间预测时，熵解码器510提取表示用于帧间预测信息的语法元素的信息，即运动矢量和该运动矢量参照的参考图片。

此外，熵解码器510提取量化相关信息，并提取关于当前块的量化变换系数的信息作为关于残差信号的信息。

重排单元515可以按照与视频编码装置执行的系数扫描顺序相反的顺序，将经熵解码器510熵解码后的1D量化变换系数序列变为2D系数阵列（即，块）。

逆量化器520对量化变换系数进行逆量化，并通过使用量化参数对量化变换系数进行逆量化。逆量化器520还可以对2D排列的量化变换系数应用不同的量化系数（缩放值）。逆量化器520可以通过将来自视频编码装置的量化系数（缩放值）的矩阵应用于量化变换系数的2D阵列，来执行逆量化。

逆变换器530通过将逆量化后的变换系数从频域逆变换至空间域，以重构残差信号，来生成针对当前块的残差块。

此外，当逆变换器530对变换块的部分区域（子块）进行逆变换时，逆变换器530提取仅对变换块的子块进行变换的标志（cu_sbt_flag）、子块的方向性（垂直/水平）信息（cu_sbt_horizontal_flag）和/或位置信息（cu_sbt_pos_flag）。逆变换器530将对应的子块的变换系数从频域逆变换至空间域，以重构残差信号，并用“0”值作为残差信号填充未进行逆变换的区域，以生成针对当前块的最终残差块。

此外，当应用MTS时，逆变换器530通过使用从视频编码装置用信号通知的MTS信息（mts_idx），确定要在水平方向和垂直方向每一个上应用的变换函数或变换矩阵。逆变换器530还通过使用所确定的变换函数，分别沿水平方向和垂直方向对变换块中的变换系数执行逆变换。

预测器540可以包括帧内预测器542和帧间预测器544。当当前块的预测类型为帧内预测时，激活帧内预测器542，而当当前块的预测类型为帧间预测时，激活帧间预测器544。

帧内预测器542根据从熵解码器510提取的用于帧内预测模式的语法元素，确定多种帧内预测模式当中的用于当前块的帧内预测模式。帧内预测器542还通过根据帧内预测模式，使用当前块的周边参考像素对当前块进行预测。

帧间预测器544通过使用从熵解码器510提取的用于帧间预测模式的语法元素，确定当前块的运动矢量以及运动矢量参照的参考图片，并且通过使用运动矢量和参考图片，对当前块进行预测。

加法器550通过将从逆变换器530输出的残差块与从帧间预测器544或帧内预测器542输出的预测块相加，来重构当前块。重构的当前块内的像素在对后续待解码块进行帧内预测时用作参考像素。

作为环内滤波器的环路滤波单元560可以包括去块滤波器562、SAO滤波器564和ALF 566。去块滤波器562对重构块之间的边界执行去块滤波，以便消除因块单位解码而产生的块效应。SAO滤波器564和ALF 566对去块滤波后的重构块执行追加的滤波，以便补偿因有损编码而导致的重构像素与原始像素之间的差。ALF的滤波系数通过使用从比特流中解码的关于滤波系数的信息来确定。

通过去块滤波器562、SAO滤波器564和ALF 566滤波后的重构块被存储在存储器570中。当一幅图片中的所有块均重构了时，重构图片可以用作用于后续待编码图片内的块的帧间预测的参考图片。

本公开的一些实施例涉及如上所述的视频图像的编码和解码。更具体地，本公开提供了一种视频编码方法和装置，其在基于仿射模型以子块为单位预测当前块时，导出当前块的周边参考像素与参考块的周边参考像素之间的线性关系，并使用该线性关系对参考块应用局部照明补偿。

以下实施例可以由视频编码装置中的帧间预测器124执行。以下实施例也可以由视频解码装置中的帧间预测器544执行。

视频编码装置在对当前块进行编码时，从率失真优化的角度，可以生成与本实施例关联的信令信息。视频编码装置可以使用熵编码器155对该信令信息进行编码，并将编码后的信令信息发送至视频解码装置。视频解码装置可以使用熵解码器510从比特流中解码出与当前块的解码关联的信令信息。

在以下描述中，术语“目标块”可以与当前块或编码单元（CU）互换使用，或者可以指编码单元的一些区域。

此外，一个标志的值为“真”表示该标志被设定为1。此外，一个标志的值为“假”表示该标志被设定为0。

I. 基于仿射模型的预测

作为提高编码/解码效率的一种措施，仿射模型响应于视频内的因相机或物体在时空域中的移动而发生变化的物体信号或背景信号，导出信号的几何学关系并对其进行建模，然后将建模的关系应用于参考信号和原始信号。理论上，如果完美地导出表示关于同一物体的3D仿射模型的关系，就可以使用该关系进行完美的预测。然而，这种完美的预测仅在理论上可能。在视频编码中，可以通过使用基于建模预测的预测信号和差信号来补偿预测误差。基于仿射模型的预测方法通过依赖于提高的预测精度而具有提高编码效率的效果，但它也不利地增加了计算仿射模型所需的计算复杂度。

图6是示出根据本公开的至少一个实施例的仿射模型的逐像素计算的图。

为了降低计算复杂度，在图6的实施例中，利用当前块和周边块具有相同或相似像素值和运动信息的概率。视频解码装置使用与当前块的顶点A、B和C对应的位置相邻的块的运动矢量，来预测对应的控制点运动矢量（CPMV）。视频解码装置使用控制点运动矢量来执行对当前块与预测块之间的几何学变换关系的建模（即，仿射模型），然后基于建模的变换关系，执行对当前块的预测。图6的图示呈现了使用A、B和C三点的控制点运动矢量的6参数仿射模型，但一些实施例可以使用4参数仿射模型，其使用A和B或A和C两点的控制点运动矢量。根据4参数仿射模型或6参数仿射模型，目标块（x，y）像素处的运动矢量（mv_x，mv_y）可以分别使用控制点运动矢量和像素位置来表达，如式1和式2所示。

【式1】

【式2】

这里，W和H分别为当前块的宽度和高度。（cpmv_ix，cpmv_iy）是第i个控制点运动矢量。对于当前块的各个像素的预测值可以通过使用根据式1或式2计算出的运动矢量来生成。尽管未包括在仿射模型中，但如图6所示，可以对位置D定义CPMVP4。由于位置D是尚未重构的像素，因此可以使用参考图片内的同一位置的像素的运动矢量代替CPMVP4。

在图6的示例中，CPMVP表示仿射AMVP模式下的控制点运动矢量预测值（predictor）。在仿射合并模式下，由于不传输运动矢量差（MVD），因此CPMVP与CPMV相同。在仿射AMVP模式下，由于传输了运动矢量差，因此可以通过将CPMVP与MVD求和来计算CPMV。图6示出在仿射AMVP模式下生成控制点运动矢量预测值的方法当中的使用组合或构造的方法。仿射合并模式和仿射AMVP模式描述如下。

图7是示出根据本公开的至少一个实施例的使用中心矢量来计算仿射模型的示例。

此外，在一些实施例中，为了降低计算复杂度，视频解码装置可以通过使用各控制点运动矢量作为中心矢量，来执行基于块的预测，如图7所示。在这种情况下，假设当前块具有四个控制点运动矢量，当前块可以被分割成四个块。在图7所示的方法中，可以根据相同的运动矢量，对使用各控制点运动矢量作为中心矢量的块进行预测。虽然这可能比逐像素计算的实施例的预测精度低，但它可以降低计算复杂度。

图8是示出根据本公开的至少一个实施例的仿射模型的逐子块计算的图。

作为示例，为了降低计算复杂度，视频解码装置可以以子块为单位执行预测，如图8所示。如果当前块的宽度或高度大于子块的宽度或高度，则视频解码装置可以将当前块分割成子块。视频解码装置使用当前块的控制点运动矢量来导出子块的各顶点位置的控制点运动矢量，然后从各子块的控制点运动矢量当中导出一个代表性运动矢量。视频解码装置使用导出的代表性运动矢量为各子块生成预测块，然后以子块为单位组合预测块，以生成当前块的第一预测块。

在另一示例中，视频解码装置通过将各子块的中心位置代入式1或式2中的（x，y），来计算各子块的运动矢量。这里，中心位置可以是子块的实际中心点，或者是中心点的右下角样本位置。例如，对于左上角样本坐标为（0，0）的4×4子块，子块的中心位置可以是（1.5，1.5）或（2，2）。视频解码装置使用导出的运动矢量，为各个子块生成预测块，然后组合子块级预测块，以生成当前块的第一预测块。

在一些实施例中，视频解码装置可以对第一预测块进行滤波，以生成第二预测块。之后，视频解码装置可以通过使用第一预测块和第二预测块中的一个，来生成当前块的最终预测块。

为了减少对控制点运动矢量进行编码所需的比特量，可以应用上述一般的帧间预测（平移运动预测）方法，即仿射合并模式和仿射AMVP模式。下文中，仿射合并模式和仿射AMVP模式被称为控制点运动矢量预测方法。

在一个示例中，当处于仿射合并模式时，视频编码装置的帧间预测器124组织预定数量（例如，5个）的仿射合并候选列表。首先，视频编码装置从目标块的周边块中导出继承的仿射合并候选。例如，通过从图4所示的目标块的周边样本A0、A1、B0、B1和B2中导出预定数量的继承的仿射合并候选，生成合并候选列表。候选列表中的各个继承的仿射合并候选对应于两个或三个CPMV（控制点运动矢量）的组合。

视频编码装置从在仿射模式下预测的目标块的周边块的控制点运动矢量中导出继承的仿射合并候选。一些实施例可以限制从在仿射模式下预测的周边块中导出的合并候选的数量。例如，视频编码装置可以从在仿射模式下预测的周边块中导出两个继承的仿射合并候选：A0和A1中的一个，以及B0、B1和B2中的一个。优先顺序可以是A0、A1，然后是B0、B1和B2。

另一方面，如果合并候选的总数超过三个，则视频编码装置可以从周边块的平移运动矢量中导出所需数量的补充构造仿射合并候选，如图6所示。

视频编码装置从周边块组{B2，B3，A2}、周边块组{B1，B0}和周边块组{A1，A0}中分别导出控制点运动矢量CPMV1、CPMV2和CPMV3。作为一个示例，各周边块组内的优先顺序可以是B2、B3和A2的顺序，B1和B0的顺序以及A1和A0的顺序。从参考图片中的同一位置的块导出另外的控制点运动矢量CPMV4。视频编码装置将四个控制点运动矢量中的两个或三个控制点运动矢量组合起来，以生成所需数量的补充构造仿射合并候选。组合的优先顺序如下。各组内的元素按以下顺序列出：左上角的控制点运动矢量、右上角的控制点运动矢量，然后是左下角的控制点运动矢量。

{CPMV1，CPMV2，CPMV3}，{CPMV1，CPMV2，CPMV4}，{CPMV1，CPMV3，CPMV4}，{CPMV2，CPMV3，CPMV4}，{CPMV1，CPMV2},{CPMV1，CPMV3}

如果通过使用继承的仿射合并候选和构造的仿射合并候选无法填满合并候选列表，则视频编码装置可以添加零运动矢量作为候选。

视频编码装置从优化编码效率的观点出发，从合并候选列表中选择合并候选，并确定指示该合并候选的合并索引。视频编码装置使用选定的合并候选，对目标块执行仿射运动预测。当合并候选由两个控制点运动矢量组成时，通过使用四参数仿射模型来执行仿射运动预测。另一方面，当合并候选由三个控制点运动矢量组成时，通过使用六参数仿射模型来执行仿射运动预测。视频编码装置对合并索引进行编码，并用信号通知给视频解码装置。

视频解码装置对合并索引进行解码。视频解码装置的帧间预测器544以与视频编码装置相同的方式构造合并候选列表，并通过使用与合并索引指示的合并候选对应的控制点运动矢量来执行仿射运动预测。

作为另一示例，在仿射AMVP模式下，从编码效率优化的角度来看，视频编码装置的帧间预测器124针对目标块，确定仿射模型的类型及其得到的实际控制点运动矢量。视频编码装置对于各控制点计算MVD，其为实际控制点运动矢量与各控制点的MVP（即，控制点运动矢量预测值）之间的差，然后对各控制点的MVD进行编码。为了导出各控制点运动矢量预测值，帧间预测器124构造预定数量（例如，2个）仿射AMVP候选的列表。当目标块为4参数类型时，列表中所包括的仿射AMVP候选均由一对两个控制点运动矢量组成。另一方面，当目标块为6参数类型时，列表中所包括的仿射AMVP候选均由一对三个控制点运动矢量组成。

下文将描述在仿射AMVP模式下构造候选列表的方法。仿射AMVP候选列表的导出方式与上述构造仿射合并候选列表的方式类似。

视频编码装置检查继承的仿射AMVP候选的参考图片是否与当前块的参考图片相同。这里，继承的仿射AMVP候选可以是图4所示的目标块的周边块A0、A1、B0、B1和B2当中的在仿射模式下预测的块，如上述仿射合并模式那样。

如果继承的仿射AMVP候选的参考图片与当前块的参考图片相同，则视频编码装置添加继承的仿射AMVP候选。

另一方面，如果继承的仿射AMVP候选的参考图片与当前块的参考图片不同，则视频编码设备检查构造的仿射AMVP候选的所有CPMV（控制点运动矢量）的参考图片是否与当前块的参考图片相同。这里，构造的仿射AMVP候选的所有CPMV可以从图6所示的周边样本的运动矢量中导出，如上述仿射合并模式那样。如果构造的仿射AMVP候选的所有CPMV的参考图片与当前块的参考图片相同，则视频编码装置添加这种构造的仿射AMVP候选。

此时，需要考虑目标块的仿射模型类型。如果目标块的仿射模型类型为4参数类型，则视频编码装置通过使用周边块的仿射模型来导出两个控制点运动矢量，即目标块的左上角和右上角控制点运动矢量。如果目标块的仿射模型类型为6参数类型，则通过使用周边块的仿射模型导出三个控制点运动矢量，即目标块的左上角、右上角和左下角控制点运动矢量。

如果所有CPMVP的参考图片与当前块的参考图片不同，则视频编码装置添加平移运动矢量作为仿射AMVP候选。

如果候选列表无法填满，即，即使通过上述过程也无法填满预设的候选数量，则视频编码装置添加零运动矢量作为仿射AMVP候选。

视频编码装置从仿射AMVP列表中选择一个候选，并确定指示选定候选的候选索引。此时，选定候选的各控制点运动矢量对应于各控制点运动矢量预测值。从编码效率优化的角度来看，视频编码装置针对目标块的各控制点确定实际控制点运动矢量，然后计算实际控制点运动矢量与控制点运动矢量预测值之间的MVD。视频编码装置对目标块的仿射模型类型、候选索引和各控制点的MVD进行编码，并将它们用信号通知给视频解码装置。

视频解码装置对仿射模型类型、候选索引和各控制点的MVD进行解码。视频解码装置的帧间预测器544以与视频编码装置相同的方式生成仿射AMVP列表，并在仿射AMVP列表内选择由候选索引指示的候选。视频解码装置将选定候选的各控制点运动矢量预测值和其对应的MVD求和，以重构各控制点的运动矢量。视频解码装置通过使用重构的控制点运动矢量来执行仿射运动预测。

以下实施例以视频解码装置为重点进行描述，但它们可以在视频编码装置中以相同或类似的方式实现。

II. 局部照明补偿（LIC）

图9为示例局部照明补偿的图。

为了提高当前块的预测效率，局部照明补偿根据视频捕获环境的变化而执行照明补偿。为了有效地执行局部照明补偿，视频解码装置导出表示当前块A的周边参考像素（A_refp）与参考块B的周边参考像素（B_refp）之间的线性关系的参数。例如，可以基于线性最小二乘法导出该线性关系的参数。视频解码装置使用导出的线性关系的参数，基于参考块B对当前块A执行局部照明补偿，如式3所示。

【式3】

在式3中，α和β是线性关系的参数，分别表示斜率和偏移。p[x]表示参考块中的像素，Pred[x]表示当前块中应用局部照明补偿的预测像素。

如上所述，对当前块应用局部照明补偿，并基于参考块B的周边参考像素（B_refp）和当前块A的周边参考像素（A_refp）导出线性关系。在这种情况下，当参考块B的周边参考像素当中没有可用像素时，即当不存在B_refp时，可以不对当前块执行局部照明补偿。当参考块B的左侧和上侧不都存在像素B_refp，而是存在于上侧或左侧的一部分时，可以通过使用存在的像素执行局部照明补偿，如图10所示。

作为示例，视频解码装置可以通过仅使用与A_refp和B_refp对应的部分像素来导出线性关系。例如，如果块A和B的大小均为16×16，则A_refp通常由32个像素组成，B_refp也可以由32个像素组成。在图9和图10的示例中，视频解码装置在特定位置提取或下采样像素，以生成与A_refp和B_refp对应的候选像素，并使用一些候选像素来导出线性关系的参数。之后，视频解码装置可以使用导出的线性关系来执行局部照明补偿，由此生成当前块的预测块。

作为另一示例，A_refp和B_refp可以限制为整数位置的像素。例如，当在整数位置不存在基于运动矢量预测的参考块时，视频解码装置通过对参考视频的整数位置像素值应用滤波来计算分数位置处的像素值，从而执行对当前块的帧间预测。此时，参考块的周边参考像素B_refp也可以是根据滤波计算出的位置处的像素值。然而，根据实施例，视频解码装置可以不执行滤波，而是将最接近的整数像素设定为B_refp，并使用设定的B_refp作为用于线性建模的周边参考像素。

在又一示例中，A_refp和B_refp除了由单条像素线组成外，还可以由多条像素线组成。例如，当块A和B的大小为16×16时，A_refp和B_refp可以是16×N+M×16的形式。也就是说，A_refp和B_refp可以由16×N+16×M个像素组成，包括“块宽度×多条像素线”和“多条像素线×块高度”的形式。这里，N表示块上侧的多条像素线，M表示块左侧的多条像素线。作为另一示例，可以将使用上述多条像素线的实施例与仅使用部分候选像素的实施例结合起来。即，视频解码装置将多条像素线上的像素设定为候选像素，并使用部分候选像素来导出线性关系的参数。

在视频编码装置和视频解码装置中，局部照明补偿中使用的线性关系的参数α和β的计算方式相同。因此，视频编码装置可以不单独将线性关系的参数发送至视频解码装置。作为另一示例，可以通过仅计算β来定义线性关系，其中，α固定为特定的非零值。

III. 将局部照明补偿应用于基于仿射模型的预测

图11是示出根据本公开的至少一个实施例的基于仿射模型的预测中的局部照明补偿的图。

如上所述，在基于仿射模型的预测中，视频解码装置在与当前块的顶点对应的位置，生成控制点运动矢量作为当前块的运动矢量。视频解码装置使用所生成的控制点运动矢量，对当前块与其预测块之间的几何学变换关系进行建模，然后基于建模的仿射模型执行预测。此时，可以通过使用控制点运动矢量和各像素位置来预测当前块的各像素值。

根据实施例，为了降低计算复杂度，视频解码装置可以以使用各控制点运动矢量作为中心矢量的任意块（即，子块）为单位执行预测。视频解码装置将当前块分割成任意块，并对各任意块执行预测。此时，各任意块具有单独的运动矢量。因此，当应用局部照明补偿时，视频解码装置取参考块B的周边参考像素B_refp，并建立它们与各任意块的周边参考像素的对应关系，以导出线性关系的参数。如图11所示，使用位于上侧和左侧的任意块的周边参考像素来导出线性关系的参数。

另一方面，B_refp可以是位于考虑当前块的控制点运动矢量的位置的参考像素。例如，如图12所示，B_refp并非位于任意块的视频坐标系中的相邻位置，而是位于基于控制点运动矢量计算出的相邻位置。

视频解码装置可以通过对B的任意块的中心矢量进行外插的方法，来计算B的任意块的B_refp。例如，在图12的示例中，B_refp当中的b_refp可以如下计算。例如，视频解码装置可以对块b1和b2的中心矢量进行外插，以推断包含b_refp的任意块的中心矢量，并从具有推断出的中心矢量的任意块导出b_refp。以类似的方式，可以导出图12中所示的B_refp的其他部分的参考像素。在如上所述导出B_refp全体之后，视频解码装置可以执行用于局部照明补偿的剩余过程。

此外，视频解码装置可以将局部照明补偿的应用反映在环路滤波中。例如，在确定两个相邻块的边界处的滤波强度时，视频解码装置可以使用线性关系的参数α和β。例如，如果（i）对包含用于环路处理的目标像素的两个块应用局部照明补偿，并且（ii）这两个块的α值均不为1且β值均不为0，则即使这两个块的参考图像相同，视频解码装置也可以将决定滤波强度的参数BS确定为1，并对这两个块之间的边界应用滤波。替换地，如果包含用于滤波的目标像素的两个块的α值不同，则视频解码装置可以将BS确定为1，并对这两个块之间的边界应用滤波。

在下文中，通过使用图13至15的图示，描述在基于仿射模型的预测中应用局部照明补偿的方法。

图13是根据本公开的至少一个实施例的由视频编码装置编码当前块的方法的流程图。

视频编码装置确定当前块的仿射模型的形状，并导出控制点运动矢量（S1300）。从率失真优化的观点出发，视频编码装置可以确定仿射模型的形状。

视频编码装置通过使用仿射模型的形状和控制点运动矢量来生成子块的运动矢量（S1302）。这里，子块表示从当前块分割出的任意块。

视频编码装置使用运动矢量导出各个子块的子参考块，由此生成当前块的参考块（S1304）。

视频编码装置执行以下步骤，以检查用于局部照明补偿的线性建模的周边参考像素的可用性状态。此时，可用性不仅可以包括已解码的周边参考像素（A_refp和B_refp）的存在与否，还包括为了将局部照明补偿应用于当前块，是否可以使用周边参考像素。

视频编码装置在当前块的上侧和左侧，检查当前块的周边参考像素的可用性（S1306）。

如果当前块的周边参考像素（A_refp）可用（S1306中的“是”），则视频编码装置执行以下步骤。

视频编码装置取得参考块的上侧子参考块和左侧子参考块，并计算各子参考块的周边参考像素的位置（S1308）。

视频编码装置将子参考块的中心矢量设定为与参考块的子参考块对应的运动矢量。视频编码装置对中心矢量进行外插，以推断各子参考块的周边块的中心矢量。视频编码装置导出具有推断出的中心矢量的周边块的右侧或下侧像素的位置，作为各子参考块的周边参考像素的位置。

视频编码装置在计算出的位置，检查各子参考块的周边参考像素的可用性，以检查参考块的周边参考像素的可用性（S1310）。

例如，如图14所示，如果参考块的一些周边参考像素（B_refp）可用（S1310中的“是”），则视频编码装置可以使用左侧像素B_refp和上侧像素B_refp当中的可用像素B_refp1和B_refp2。替换地，视频编码装置可以使用左侧像素B_refp，而不使用所有上侧像素B_refp。

如果参考块的全部或一些周边参考像素（B_refp）可用（S1310中的“是”），则视频编码装置执行以下步骤。

视频编码装置导出当前块的周边参考像素与参考块的周边参考像素之间的线性关系的参数（S1312）。

例如，视频编码装置从当前块的周边参考像素（A_refp）和参考块的周边参考像素（B_refp）当中选择用于线性建模的像素，然后使用选定的参考像素来计算线性关系的参数（α和β）。用于计算参数的像素可以是当前块的周边参考像素（A_refp）和参考块的周边参考像素（B_refp）中的全部或一些。为了导出参数，这种情况使用在位置上与当前块的周边参考像素对应的参考块的周边参考像素。作为另一示例，可以对当前块的周边参考像素（A_refp）和参考块的周边参考像素（B_refp）应用滤波，并且可以使用滤波后的像素来导出参数。

视频编码装置使用线性关系的参数对参考块应用局部照明补偿，由此生成当前块的第一预测块（S1314）。

视频编码装置导出参考块作为当前块的第二预测块（S1316）。

另一方面，如果当前块的周边参考像素A_refp不可用（S1306中的“否”）或参考块的周边参考像素B_refp不可用（S1310中的“否”），则视频编码装置导出参考块作为当前块的第二预测块。例如，视频解码装置生成当前块的第二预测块，而不执行与局部照明补偿相关的操作。或者，视频解码装置跳过导出线性关系的参数的过程。即，视频解码装置通过将α赋值为1并将β赋值为0，来生成当前块的第二预测块，由此跳过局部照明补偿。

视频编码装置基于第一预测块和第二预测块，确定指示是否要应用局部照明补偿的标志（S1318）。

从率失真优化的观点出发，视频编码装置可以确定指示是否要应用局部照明补偿的标志。例如，如果第一预测块是最优的，则视频编码装置将标志设定为真。另一方面，如果第二预测块是最优的，则视频编码装置将标志设定为假。

视频编码装置对标志进行编码（S1320）。

例如，视频编码装置可以确定是否要对图像或切片应用局部照明补偿。指示是否要应用局部照明补偿的标志可以通过使用上层语法或者使用块组级语法（例如，CTU或CU）或块级语法来传输。

根据指示是否要应用局部照明补偿的标志的值，视频编码装置从当前块中减去第一预测块或第二预测块，以生成残差块。视频编码装置对残差块进行变换/量化，以生成并编码量化的变换系数。

图15是根据本公开的至少一个实施例的由视频解码装置重构当前块的方法的流程图。

视频解码装置获得当前块的仿射模型的形状，并导出控制点运动矢量（S1500）。

视频解码装置使用仿射模型的形状和控制点运动矢量来生成子块的运动矢量（S1502）。这里，子块表示从当前块分割出的任意块。

视频解码装置使用运动矢量来导出子块的子参考块，由此生成当前块的参考块（S1504）。

视频解码装置从比特流中解码指示是否要应用局部照明补偿的标志（S1506）。

例如，视频解码装置可以确定是否要对图像或切片应用局部照明补偿。指示是否要应用局部照明补偿的标志可以通过使用上层语法或使用块组级语法（例如，CTU或CU）或块级语法来传输。

视频解码装置检查该标志（S1508）。

如果指示是否要应用局部照明补偿的标志为真（S1508中的“是”），则视频解码装置执行以下步骤，以检查用于局部照明补偿的线性建模的周边参考像素的可用性状态。此时，可用性不仅可以包括已解码的周边参考像素（A_refp和B_refp）的存在与否，还包括为了将局部照明补偿应用于当前块，是否可以使用周边参考像素。

视频解码装置在当前块的上侧和左侧，检查当前块的周边参考像素的可用性（S1510）。

当当前块的周边参考像素（A_refp）可用时（S1510中的“是”），视频解码装置执行以下步骤。

视频解码装置取得参考块的上侧子参考块和左侧子参考块，并确定各子参考块的周边参考像素的位置（S1512）。

视频解码装置将子参考块的中心矢量设定为与参考块的子参考块对应的运动矢量。视频解码装置对中心矢量进行外插，以推断各子参考块的周边块的中心矢量。视频解码装置导出具有推断出的中心矢量的周边块的右侧或下侧像素的位置，作为各子参考块的周边参考像素的位置。

视频解码装置在计算出的位置，检查各子参考块的周边参考像素的可用性，以检查参考块的周边参考像素的可用性（S1514）。

例如，如图14所示，如果参考块的一些周边参考像素（B_refp）可用（S1514中的“是”），则视频解码装置可以使用左侧像素B_refp和上侧像素B_refp当中的可用像素B_refp1和B_refp2。替换地，视频解码装置可以使用左侧像素B_refp，而不使用所有上侧像素B_refp。

如果参考块的全部或一些周边参考像素（B_refp）可用（S1514中的“是”），则视频解码装置执行以下步骤。

视频解码装置导出当前块的周边参考像素与参考块的周边参考像素之间的线性关系的参数（S1516）。

例如，视频解码装置从当前块的周边参考像素（A_refp）和参考块的周边参考像素（B_refp）当中选择用于线性建模的像素，然后使用选定的像素来计算线性关系的参数（α和β）。用于计算参数的像素可以是当前块的周边参考像素（A_refp）和参考块的周边参考像素（B_refp）中的全部或一些。为了导出参数，这种情况使用在位置上与当前块的周边参考像素对应的参考块的周边参考像素。作为另一示例，可以对当前块的周边参考像素（A_refp）和参考块的周边参考像素（B_refp）应用滤波，并且可以使用滤波后的像素来导出参数。

视频解码装置使用线性关系的参数对参考块应用局部照明补偿，由此生成当前块的预测块（S1518）。

另一方面，如果指示是否要应用局部照明补偿的标志为假（S1508中的“否”），或者当前块的周边参考像素A_refp不可用（S1510中的“否”），或者参考块的周边参考像素B_refp不可用（S1514中的“否”），则视频解码装置导出该参考块作为当前块的预测块（S1520）。

作为另一示例，如果参考块的一些周边参考像素（B_refp）可用，则视频解码装置也导出该参考块作为当前块的预测块。

例如，视频解码装置生成当前块的预测块，而不执行与局部照明补偿相关的操作。替换地，视频解码装置跳过导出线性关系的参数的过程。即，视频解码装置将α赋值为1且将β赋值为0，以跳过局部照明补偿，并生成当前块的预测块。

视频解码装置从比特流中解码量化的变换系数，并对量化的变换系数进行逆量化/逆变换，以重构残差块。视频解码装置将预测块和残差块求和，以生成当前块的重构块。

尽管各流程图中的步骤被描述为按顺序执行，但这些步骤仅例示本公开的一些实施例的技术思想。因此，本公开所属领域的普通技术人员可以通过改变各附图中描述的序列，或者并行执行两个或更多个步骤，来执行这些步骤。因此，各流程图中的步骤不限于所示的时间顺序。

应当理解，上面的描述呈现了可以通过各种其他方式实现的示例性实施例。一些实施例中描述的功能可以通过硬件、软件、固件和/或其组合来实现。还应当理解，本公开中描述的功能部件被标记为“…单元”，这是为了着重强调其独立实现的可能性。

另一方面，一些实施例中描述的各种方法或功能可以实现为存储在非瞬时性记录介质中的指令，该指令可以由一个或多个处理器读取和执行。非瞬时性记录介质可以包括例如各种类型的记录设备，数据以计算机系统可读的形式存储在其中。例如，非瞬时性记录介质可以包括存储介质，例如可擦除可编程只读存储器（EPROM）、闪存驱动器、光盘驱动器、磁性硬盘驱动器和固态驱动器（SSD）等。

尽管出于说明目的描述了本公开的实施例，但本公开所属领域的普通技术人员应当理解，在不脱离本公开的思想和范围的情况下，可以进行各种修改、添加和替换。因此，本公开的实施例是为了简洁和清晰起见而描述的。本公开的实施例的技术思想的范围不受这些说明的限制。因此，本公开所属领域的普通技术人员应当理解，本公开的范围不应当受上面明确描述的实施例的限制，而应当受权利要求书及其等同物的限制。

（附图标记）

124：帧间预测器

155：熵编码器

510：熵解码器

544：帧间预测器

相关申请的交叉引用

本申请要求2023年5月16日提交的韩国专利申请No.10-2023-0063322和2024年3月18日提交的韩国专利申请No.10-2024-0037141的优先权和权益，其全部内容通过引用并入本文。

Claims (14)

1.一种由视频解码装置重构当前块的方法，所述方法包括以下步骤：

获得所述当前块的仿射模型的形状，并导出控制点运动矢量；

通过使用所述仿射模型的形状和所述控制点运动矢量，生成从所述当前块分割出的子块的运动矢量；

通过使用所述运动矢量导出所述子块的子参考块，来生成所述当前块的参考块；以及

在所述当前块的上侧和左侧，检查所述当前块的周边参考像素的可用性，

其中，所述方法还包括以下步骤：当所述当前块的周边参考像素可用时：

对于所述参考块的上侧子参考块和左侧子参考块，计算各上侧子参考块或左侧子参考块的周边参考像素的位置；以及

通过在计算出的位置检查各上侧子参考块或左侧子参考块的周边参考像素的可用性，来检查所述参考块的周边参考像素的可用性，并且

其中，所述方法还包括以下步骤：当所述参考块的周边参考像素全部或部分可用时：

导出所述当前块的周边参考像素与所述参考块的周边参考像素之间的线性关系的参数；以及

通过使用所述线性关系的参数对所述参考块应用局部照明补偿，来生成所述当前块的预测块。

2.根据权利要求1所述的方法，还包括以下步骤：

从比特流中解码指示是否要应用局部照明补偿的标志；以及

检查所述标志，当所述标志为真时，所述方法继续于：检查所述当前块的周边参考像素的可用性。

3.根据权利要求1所述的方法，还包括以下步骤：

当所述标志为假时，导出所述参考块作为所述当前块的预测块。

4.根据权利要求1所述的方法，还包括以下步骤：当所述当前块的周边参考像素不可用时，或当所述参考块的周边参考像素不可用时：

导出所述参考块作为所述当前块的预测块。

5.根据权利要求1所述的方法，其中，计算各子参考块的周边参考像素的位置的步骤包括：

将所述周边参考像素的位置限制为整数位置，而不基于运动矢量进行滤波。

6.根据权利要求1所述的方法，其中，所述当前块的周边参考像素和所述参考块的周边参考像素包括：

多条像素线。

7.根据权利要求1所述的方法，其中，计算各上侧子参考块或左侧子参考块的周边参考像素的位置的步骤包括：

将所述子参考块的中心矢量设定为与所述参考块的子参考块对应的运动矢量；

通过对所述中心矢量进行外插，推断各上侧子参考块或左侧子参考块的周边块的中心矢量；以及

导出具有推断出的中心矢量的周边块的右侧像素或下侧像素的位置，作为各上侧子参考块或左侧子参考块的周边参考像素的位置。

8.根据权利要求1所述的方法，其中，导出线性关系的参数的步骤包括：

通过对所述当前块的周边参考像素和所述参考块的周边参考像素应用线性最小二乘法，来导出所述参数。

9.根据权利要求1所述的方法，其中，导出线性关系的参数的步骤包括：

使用所述当前块的周边参考像素中的全部或部分以及所述参考块的周边参考像素中的全部或部分，其中，使用与所述当前块的周边参考像素的位置对应的所述参考块的周边参考像素。

10.根据权利要求1所述的方法，还包括以下步骤：

对应用了局部照明补偿的预测块与该预测块的相邻块之间的边界应用环路滤波，

其中，应用环路滤波的步骤包括：

通过使用所述预测块与所述相邻块之间的线性关系的参数，确定边界处的滤波强度。

11.一种由视频编码装置编码当前块的方法，所述方法包括以下步骤：

确定所述当前块的仿射模型的形状，并导出控制点运动矢量；

通过使用所述仿射模型和所述控制点运动矢量，生成从所述当前块分割出的子块的运动矢量；

通过使用所述运动矢量导出所述子块的子参考块，来生成所述当前块的参考块；以及

在所述当前块的上侧和左侧，检查所述当前块的周边参考像素的可用性，

其中，所述方法还包括以下步骤：当所述当前块的周边参考像素可用时：

对于所述参考块的上侧子参考块和左侧子参考块，计算各上侧子参考块或左侧子参考块的周边参考像素的位置；以及

通过在计算出的位置，检查各上侧子参考块或左侧子参考块的周边参考像素的可用性，来检查所述参考块的周边参考像素的可用性，并且

其中，所述方法还包括以下步骤：当所述参考块的周边参考像素全部或部分可用时：

导出所述当前块的周边参考像素与所述参考块的周边参考像素之间的线性关系的参数；以及

通过使用所述线性关系的参数对所述参考块应用局部照明补偿，来生成所述当前块的第一预测块。

12.根据权利要求11所述的方法，还包括以下步骤：

导出所述参考块作为所述当前块的第二预测块；

基于所述第一预测块和所述第二预测块，确定指示是否要应用局部照明补偿的标志；以及

对所述标志进行编码。

13.根据权利要求11所述的方法，还包括以下步骤：当所述当前块的周边参考像素不可用时，或当所述参考块的周边参考像素不可用时：

跳过所述第一预测块的生成。

14.一种计算机可读记录介质，存储由视频编码方法生成的比特流，其中，所述视频编码方法包括以下步骤：

确定当前块的仿射模型的形状，并导出控制点运动矢量；

通过使用所述仿射模型和所述控制点运动矢量，生成从所述当前块分割出的子块的运动矢量；

通过使用所述运动矢量导出所述子块的子参考块，来生成所述当前块的参考块；以及

在所述当前块的上侧和左侧，检查所述当前块的周边参考像素的可用性，

其中，所述视频编码方法还包括：当所述当前块的周边参考像素可用时：

对于所述参考块的上侧子参考块和左侧子参考块，计算各上侧子参考块或左侧子参考块的周边参考像素的位置；以及

通过在计算出的位置，检查各上侧子参考块或左侧子参考块的周边参考像素的可用性，来检查所述参考块的周边参考像素的可用性，并且

其中，所述视频编码方法还包括以下步骤：当所述参考块的周边参考像素全部或部分可用时：

导出所述当前块的周边参考像素与所述参考块的周边参考像素之间的线性关系的参数；以及

通过使用所述线性关系的参数对所述参考块应用局部照明补偿，来生成所述当前块的预测块。