CN118056403A

CN118056403A - 图像编码/解码方法和装置以及存储比特流的记录介质

Info

Publication number: CN118056403A
Application number: CN202280065316.1A
Authority: CN
Inventors: 朴奈利; 林宰显; 柳先美; 南廷学; 张炯文; 崔璋元
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2021-09-29
Filing date: 2022-09-29
Publication date: 2024-05-17
Also published as: EP4412211A4; EP4412211A1; US20250159198A1; WO2023055149A1

Abstract

根据本公开的图像解码/编码方法和装置可以：生成用于预测当前块的第一运动向量的候选列表；基于当前块的候选索引和候选列表来导出当前块的控制点向量；基于预定的增量运动向量来校正当前块的控制点向量；基于校正的控制点向量来导出当前块的第一运动向量；以及利用当前块的第一运动向量对当前块进行帧间预测。

Description

图像编码/解码方法和装置以及存储比特流的记录介质

技术领域

本公开涉及图像编码/解码方法和装置以及存储比特流的记录介质。

背景技术

近来，在各种应用领域中对诸如HD(高清)图像和UHD(超高清)图像的高分辨率和高质量图像的需求已经不断增加，并且因此，高效的图像压缩技术正在被讨论。

存在多种技术，诸如利用视频压缩技术从当前图片之前或之后的图片预测当前图片中包括的像素值的帧间预测技术、通过使用当前图片中的像素信息对当前图片中包括的像素值进行预测的帧内预测技术、对出现频率高的值分配短符号并且对出现频率低的值分配长符号的熵编译技术等，并且这些图像压缩技术可以被用于有效地压缩图像数据并对其进行发送或存储。

发明内容

技术问题

本公开寻求提供一种用于修改以仿射模式编译的块的控制点向量或运动向量的方法和装置。

本公开寻求提供一种用于自适应地执行以仿射模式编译的块的控制点向量或运动向量的修改的方法和装置。

本公开寻求提供一种用于用信号发送与控制点向量或运动向量的修改有关的信息的方法和装置。

技术方案

根据本公开的图像解码方法和设备可以：生成用于预测当前块的第一运动向量的候选列表，基于当前块的候选索引和候选列表来导出当前块的控制点向量，基于预定的增量运动向量修改当前块的控制点向量，基于修改的控制点向量导出当前块的第一运动向量，并使用当前块的第一运动向量对当前块进行帧间预测。

在根据本公开的图像解码方法和装置中，控制点向量可以包括与当前块的左上角位置对应的第一控制点向量、与当前块的右上角位置对应的第二控制点向量、与当前块的左下角位置对应的第三控制点向量、或与当前块的右下角位置对应的第四控制点向量中的至少一个。

在根据本公开的图像解码方法和装置中，修改当前块的控制点向量可以包括：确定用于修改控制点向量的搜索范围，基于搜索范围确定SAD(绝对差之和)阵列，并且基于属于SAD阵列的多个SAD来确定增量运动向量(delta motion vector)。

在根据本公开的图像解码方法和装置中，确定SAD阵列可以包括通过将预定偏移应用于当前块的控制点向量之一来导出修改的控制点向量，基于修改的控制点向量和控制点向量中的另一个以当前块的子块为单位导出第二运动向量，以及计算基于导出的第二运动向量指定的L0块和L1块之间的SAD。

在根据本公开的图像解码方法和装置中，L0块和L1块可以分别由与属于当前块的子块相对应的L0子块和L1子块组成。

在根据本公开的图像解码方法和装置中，可以基于当前块中的子块当中的与修改的控制点向量的位置相对应的子块来指定L0块和L1块。

在根据本公开的图像解码方法和装置中，可以基于当前块中的子块中的与修改的控制点向量的位置相对应的子块以及与该子块邻近的至少一个邻近子块来指定L0块和L1块。

在根据本公开的图像解码方法和装置中，确定SAD阵列可以包括通过将预定偏移应用于当前块的控制点向量之一来导出修改的控制点向量，以及计算基于修改的控制点向量指定的L0块和L1块之间的SAD。

在根据本公开的图像解码方法和装置中，确定SAD阵列可以包括：基于当前块的控制点向量导出当前块的运动向量，通过向当前块的运动向量应用预定偏移来导出修改的运动向量，以及计算基于修改的运动向量指定的L0块和L1块之间的SAD。

在根据本公开的图像解码方法和装置中，可以通过考虑属于候选列表的多个候选之中由候选索引指示的候选的类型来自适应地执行控制点向量的修改。

在根据本公开的图像解码方法和装置中，可以基于指示是否允许对以仿射模式编码的块的控制点向量进行修改的第一标志或指示修改是否应用于控制点向量的第二标志中的至少一个来自适应地执行控制点向量的修改。

在根据本公开的图像解码方法和装置中，可以基于以仿射模式编译的邻近块的位置或当前块的仿射模型的类型的至少一个来确定当前块的控制点向量中的要修改的控制点向量。

在根据本公开的图像解码方法和装置中，当前块的控制点向量之一可以与当前块的控制点向量的另一个共享相同的增量运动向量。

在根据本公开的图像解码方法和装置中，可以基于修改的控制点向量的数量来改变当前块的仿射模型的类型。

根据本公开的图像解码方法和装置还可以生成用于预测当前块的第一运动向量的候选列表，基于候选列表确定当前块的控制点向量，基于预定的增量运动向量修改当前块的控制点向量，基于修改的控制点向量导出当前块的第一运动向量，并使用当前块的第一运动向量对当前块执行帧间预测。

提供了一种计算机可读数字存储介质，其存储经编码的视频/图像信息，从而导致执行由于根据本公开的解码设备而产生的图像解码方法。

提供了一种根据本公开的存储根据图像编码方法生成的视频/图像信息的计算机可读数字存储介质。

有益效果

根据本公开，可以通过修改以仿射模式编译的块的控制点向量或运动向量来提高帧间预测的准确度。

根据本公开，通过自适应地执行以仿射模式编译的块的控制点向量或运动向量的修改，可以降低计算的复杂度并且可以提高图像编译的效率。

根据本公开，可以有效地用信号发送与控制点向量或运动向量的修改相关的信息。

附图说明

图1示出根据本公开的视频/图像编译系统。

图2示出可以应用本公开的实施例并且执行视频/图像信号的编码的编码设备的粗略框图。

图3示出可以应用本公开的实施例并且执行视频/图像信号的解码的解码设备的粗略框图。

图4示出了作为根据本公开的实施例的由解码设备执行的基于仿射模型的帧间预测方法。

图5涉及根据本公开的实施例的从空间/时间邻近块的控制点向量导出仿射候选的方法。

图6示出了根据本公开的实施例的基于空间/时间邻近块的运动向量的组合来导出所构造的候选的方法。

图7示出了作为根据本公开的实施例的用于确定增量运动向量的方法。

图8示出了作为根据本公开的实施例的以当前块的子块为单位导出运动向量的方法。

图9示出了作为根据本公开的实施例的基于仿射模型执行帧间预测的帧间预测器332的示意性配置。

图10示出由作为根据本公开的实施例的编码装置执行的基于仿射模型的帧间预测方法。

图11示出了作为根据本公开的实施例的基于仿射模型执行帧间预测的帧间预测器221的示意性配置。

图12示出可以应用本公开的实施例的内容流传输(streaming)系统的示例。

具体实施方式

因为本公开可以做出各种改变并且具有数个实施例，所以将在附图中图示具体实施例并在详细描述中详细描述具体实施例。然而，并不旨在将本公开限制于特定实施例，并且应当理解为包括被包括在本公开的精神和技术范围内的所有变化、等效物和替代物。在描述每个附图的同时，相似的附图标记被用于相似的组件。

诸如第一、第二等的术语可以被用于描述各种组件，但是组件不应受到这些术语的限制。这些术语仅用于区分一个组件与其他组件。例如，在不脱离本公开的权利范围的情况下，第一组件可以被称为第二组件，并且类似地，第二组件也可以被称为第一组件。术语和/或包括多个相关陈述项目中的任意一个或多个相关陈述项目的组合。

当组件被称为“连接”或“链接”到另一组件时，应当理解，其可以直接连接或链接到另一组件，但是中间也可以存在另一组件。另一方面，当一个组件被称为“直接连接”或“直接链接”到另一个组件时，应当理解在中间不存在另一个组件。

此申请中使用的术语仅用于描述具体实施例，并不旨在限制本公开。除非上下文另有明确指示，否则单数表达包括复数表达。在此申请中，应当理解，诸如“包括”或“具有”的术语旨在指派(designate)说明书中所描述的特征、数字、步骤、操作、组件、部分或其组合的存在，但是并不事先排除存在或添加一个或多个其他特征、数字、步骤、操作、组件、部分或其组合的可能性。

本公开涉及视频/图像编译。例如，这里公开的方法/实施例可以被应用于通用视频编译(VVC)标准中公开的方法。另外，本文公开的方法/实施例可以被应用于基本视频编译(EVC)标准、AOMedia视频1(AV1)标准、第二代音频视频编译标准(AVS2)或下一代视频/图像编译标准(例如H.267或H.268等)中公开的方法。

此说明书提出视频/图像编译的各种实施例，并且除非另有说明，否则这些实施例可以彼此组合来执行。

这里，视频可以指代随时间推移的一系列图像的集合。图片一般指代表示特定时间段内的一幅图像的单元，并且切片/图块是在编译中形成图片的一部分的单元。切片/图块可以包括至少一个编译树单元(CTU)。一个图片可以由至少一个切片/图块组成。一个图块是由一个图片的特定图块列和特定图块行内的多个CTU组成的矩形区域。图块列是具有与图片相同的高度和由图片参数集的语法要求指派的宽度的CTU的矩形区域。图块行是具有由图片参数集指派的高度和与图片的宽度相同的宽度的CTU的矩形区域。一个图块内的CTU可以根据CTU光栅扫描被连续排列，而一个图片内的图块可以根据图块的光栅扫描被连续排列。一个切片可以包括可以排他地包括在单个NAL单元中的图片的图块内的整数个完整的图块或者整数个连续的完整CTU行。同时，一个图片可以被划分为至少两个子图片。子图片可以是图片内的至少一个切片的矩形区域。

像素、像素或像元可以指代构成一个图片(或图像)的最小单位。另外，“样本”可以被用作与像素相对应的术语。样本通常可以表示像素或像素值，并且可以仅表示亮度分量的像素/像素值，或者仅表示色度分量的像素/像素值。

单元可以表示图像处理的基本单元。单元可以包括图片的特定区域和与相应区域相关的信息中的至少一个。一个单元可以包括一个亮度块和两个色度(例如，cb、cr)块。在一些情况下，单位可以与诸如块或区域等的术语互换使用。在一般情况下，MxN块可以包括由M列和N行组成的变换系数或样本(或样本阵列)的集合(或阵列)。

这里，“A或B”可以指代“仅A”、“仅B”或“A和B这两者”。换句话说，在此，“A或B”可以被解释为“A和/或B”。例如，在此，“A、B或C”可以指代“仅A”、“仅B”、“仅C”或“A、B和C的任意组合”。

本文使用的斜杠(/)或逗号可以指代“和/或”。例如，“A/B”可以指代“A和/或B”。因此，“A/B”可以指代“仅A”、“仅B”或“A和B这两者”。例如，“A、B、C”可以指代“A、B或C”。

在此，“A和B中的至少一个”可以指代“仅A”、“仅B”或“A和B这两者”。另外，本文中，诸如“A或B中的至少一个”或“A和/或B中的至少一个”的表述能够以与“A和B中的至少一个”相同的方式解释。

另外，在此，“A、B和C中的至少一个”可以指代“仅A”、“仅B”、“仅C”或“A、B和C的任意组合”。另外，“A、B或C中的至少一个”或“A、B和/或C中的至少一个”可以指代“A、B和C中的至少一个”。

另外，本文中使用的括号可以指代“例如”。具体地，当指示为“预测(帧内预测)”时，可以提出“帧内预测”作为“预测”的示例。换句话说，这里的“预测”不限于“帧内预测”，并且“帧内预测”可以被提出作为“预测”的示例。另外，即使当指示为“预测(即，帧内预测)”时，也可以提出“帧内预测”作为“预测”的示例。

这里，在一张附图中单独描述的技术特征可以被单独地或同时地实现。

图1示出根据本公开的视频/图像编译系统。

参考图1，视频/图像编译系统可以包括第一设备(源设备)和第二设备(接收设备)。

源设备可以通过数字存储介质或网络将经编码的视频/图像信息或数据以文件或流传输的形式发送到接收设备。源设备可以包括视频源、编码设备和发送单元。接收设备可以包括接收单元、解码设备和渲染器。编码设备可以被称为视频/图像编码设备，并且解码设备可以被称为视频/图像解码设备。发射器可以被包括在编码设备中。接收器可以被包括在解码设备中。渲染器可以包括显示单元，并且显示单元可以由单独的设备或外部组件组成。

视频源可以通过捕获、合成或生成视频/图像的过程来获取视频/图像。视频源可以包括捕获视频/图像的设备和生成视频/图像的设备。捕获视频/图像的设备可以包括至少一个相机、包括先前捕获的视频/图像的视频/图像档案等。生成视频/图像的设备可以包括计算机、平板电脑、智能手机等等，并且可以(电子地)生成视频/图像。例如，可以通过计算机等生成虚拟视频/图像，并且在这种情况下，捕获视频/图像的过程可以被生成相关数据的过程取代。

编码设备可以对输入视频/图像进行编码。编码设备可以为了压缩和编译效率而执行诸如预测、变换、量化等的一系列过程。编码的数据(编码的视频/图像信息)能够以比特流的形式输出。

发送单元可以通过数字存储介质或网络以文件或流传输的形式向接收设备的接收单元发送以比特流的形式输出的经编码的视频/图像信息或数据。数字存储介质可以包括各种存储介质，诸如USB、SD、CD、DVD、蓝光、HDD、SSD等。发送单元可以包括用于通过预先确定的文件格式生成媒体文件的元件并且可以包括用于通过广播/通信网络进行传输的元件。接收单元可以接收/提取比特流并将其发送到解码设备。

解码设备可以通过执行与编码设备的操作相对应的诸如反量化、逆变换、预测等的一系列过程来对视频/图像进行解码。

渲染器可以渲染经解码的视频/图像。可以通过显示单元显示经渲染的视频/图像。

参考图2，编码设备200可以由图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250、滤波器260和存储器270组成。预测器220可以包括帧间预测器221和帧内预测器222。残差处理器230可以包括变换器232、量化器233、反量化器234和逆变换器235。残差处理器230可以进一步包括减法器231。加法器250可以被称为重构器或重构块生成器。根据实施例，上述图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可以由至少一个硬件组件(例如，编码器芯片组或处理器)配置。另外，存储器270可以包括解码图片缓冲器(DPB)并且可以由数字存储介质配置。硬件组件可以进一步包括存储器270作为内部/外部组件。

图像分割器210可以将输入到编码设备200的输入图像(或图片、帧)分割(partition)成至少一个处理单元。作为示例，处理单元可以被称为编译单元(CU)。在这种情况下，可以根据四叉树二叉树三叉树(QTBTTT)结构从编译树单元(CTU)或最大编译单元(LCU)递归地分割编译单元。

例如，一个编译单元可以基于四叉树结构、二叉树结构和/或三元结构被分割为具有更深深度的多个编译单元。在这种情况下，例如，可以首先应用四叉树结构，并且稍后可以应用二叉树结构和/或三元结构。可替选地，可以在四叉树结构之前应用二叉树结构。根据此说明书的编译过程可以基于不再被分割的最终编译单元来执行。在这种情况下，基于根据图像特性的编译效率等，可以直接使用最大编译单元作为最终编译单元，或者如果有必要，可以将编译单元递归地分割为更深深度的编译单元，并且可以将具有最佳大小的编译单元作为最终的编译单元。这里，编译过程可以包括稍后描述的诸如预测、变换和重构等的过程。

作为另一示例，处理单元可以进一步包括预测单元(PU)或变换单元(TU)。在这种情况下，预测单元和变换单元可以分别从上述最终编译单元划分或分割。预测单元可以是样本预测的单元，并且变换单元可以是用于导出变换系数的单元和/或用于从变换系数导出残差信号的单元。

在一些情况下，单元可以与诸如块或区域等的术语互换使用。在一般情况下，MxN块可以表示由M列和N行组成的变换系数或样本的集合。样本通常可以表示像素或像素值，并且可以仅表示亮度分量的像素/像素值，或者仅表示色度分量的像素/像素值。样本可以被用作使一个图片(或图像)对应于像素或像元的术语。

编码设备200可以从输入的图像信号(原始块、原始样本阵列)中减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本阵列)以生成残差信号(残差信号、残差样本阵列)，并且所生成的残差信号被发送到变换器232。在这种情况下，在编码设备200内从输入的图像信号(原始块、原始样本阵列)减去预测信号(预测块、预测样本阵列)的单元可以被称为减法器231。

预测器220可以对要处理的块(在下文中，称为当前块)执行预测，并且生成包括用于当前块的预测样本的预测的块。预测器220可以确定以当前块或CU为单位是否应用帧内预测或者帧间预测。预测器220可以生成关于预测的各种信息，诸如预测模式信息等，并将其发送到熵编码器240，如在每个预测模式的描述中稍后所描述的。关于预测的信息可以在熵编码器240中被编码并且以比特流的形式输出。

帧内预测器222可以通过参考当前图片内的样本来预测当前块。根据预测模式，所参考的样本可以被定位在当前块的附近或者可以被定位在远离当前块一定距离。在帧内预测中，预测模式可以包括至少一种非定向模式和多种定向模式。非定向模式可以包括DC模式或平面模式中的至少一个。根据预测方向的细节级别，定向模式可以包括33个定向模式或65个定向模式。然而，这只是示例，并且可以根据配置来使用更多或更少的定向模式。帧内预测器222可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。

帧间预测器221可以基于由参考图片上的运动向量指定的参考块(参考样本阵列)来导出用于当前块的预测块。在这种情况下，为了减少在帧间预测模式中发送的运动信息量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位来预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息可以进一步包括帧间预测方向信息(L0预测、L1预测、Bi预测等)。对于帧间预测，邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可以相同或不同。时间邻近块可以被称为并置参考块、并置CU(colCU)等，并且包括时间邻近块的参考图片可以被称为并置图片(colPic)。例如，帧间预测器221可以基于邻近块配置运动信息候选列表，并生成指示哪个候选被用于导出当前块的运动向量和/或参考图片索引的信息。可以基于各种预测模式来执行帧间预测，并且例如，对于跳过模式和合并模式，帧间预测器221可以使用邻近块的运动信息作为当前块的运动信息。对于跳过模式，与合并模式不同，可以不发送残差信号。对于运动向量预测(MVP)模式，周围块的运动向量被用作运动向量预测器，并且用信号发送运动向量差以指示当前块的运动向量。

预测器220可以基于稍后描述的各种预测方法来生成预测信号。例如，预测器不仅可以应用帧内预测或帧间预测来对一个块进行预测，而且还可以同时应用帧内预测和帧间预测。它可以被称为组合的帧间和帧内预测(CIIP)模式。另外，预测器可以基于帧内块复制(IBC)预测模式或者可以基于用于针对块的预测的调色板模式。IBC预测模式或调色板模式可以被用于游戏等的内容图像/视频编译，诸如屏幕内容编译(SCC)等。IBC基本上执行当前图片内的预测，但是其可以类似于帧间预测被执行，因为它导出当前图片内的参考块。换言之，IBC可以使用本文描述的帧间预测技术中的至少一个。调色板模式可以被认为是帧内编译或帧内预测的示例。当应用调色板模式时，可以基于关于调色板表和调色板索引的信息来用信号发送图片内的样本值。通过预测器220生成的预测信号可以被用于生成重构信号或残差信号。

变换器232可以通过将变换技术应用于残差信号来生成变换系数。例如，变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、Karhunen-Loève变换(KLT)、基于图形的变换(GBT)或条件非线性变换(CNT)中的至少一个。这里，GBT指代当像素之间的关系信息被表达为图形时从此图形获得的变换。CNT指代基于通过使用所有先前重构的像素生成预测信号而获得的变换。另外，变换过程可以被应用于相同大小的正方形像素块或者可以被应用于可变大小的非正方形块。

量化器233可以对变换系数进行量化并将它们发送到熵编码器240，并且熵编码器240可以对量化的信号(关于量化的变换系数的信息)进行编码并将其输出为比特流。关于量化的变换系数的信息可以被称为残差信息。量化器233可以基于系数扫描顺序将以块形式的量化的变换系数重新布置为一维向量形式，并且可以基于一维向量形式的量化的变换系数来生成关于量化的变换系数的信息。

熵编码器240可以执行各种编码方法，诸如指数哥伦布、上下文自适应可变长度编译(CAVLC)、上下文自适应二进制算术编译(CABAC)等。熵编码器240可以对除了一起或单独量化的变换系数之外的对于视频/视频图像重构(例如，语法元素的值等)所必要的信息进行编码。

编码的信息(例如，编码的视频/图像信息)能够以比特流形式以网络抽象层(NAL)单元为单位来发送或存储。视频/图像信息可以进一步包括关于诸如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)等的各种参数集的信息。另外，视频/图像信息可以进一步包括一般约束信息。这里，从编码设备发送/用信号发送给解码设备的信息和/或语法元素可以被包括在视频/图像信息中。视频/图像信息可以通过上述编码过程被编码并且被包括在比特流中。比特流可以通过网络发送或者可以存储在数字存储介质中。这里，网络可以包括广播网络和/或通信网络等，并且数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。用于发送的发送单元(未示出)和/或用于存储从熵编码器240输出的信号的存储单元(未示出)可以被配置为编码设备200的内部/外部元件，或者发送单元还可以被包括在熵编码器240中。

从量化器233输出的量化的变换系数可以被用于生成预测信号。例如，可以通过反量化器234和逆变换器235将去量化和逆变换应用于量化的变换系数来重构残差信号(残差块或残差样本)。加法器250可以将重构的残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加以生成重构信号(重构图片、重构块、重构样本阵列)。当不存在要处理的块的残差时，如当应用跳过模式时，预测块可以被用作重构块。加法器250可以被称为重构器或重构块生成器。生成的重构信号可以被用于当前图片内要处理的下一个块的帧内预测，并且还可以通过稍后描述的滤波被用于下一个图片的帧间预测。同时，具有色度缩放的亮度映射(LMCS)可以在图片编码和/或重构过程中被应用。

滤波器260可以通过对重构信号应用滤波来改进主观/客观图像质量。例如，滤波器260可以通过将各种滤波方法应用于重构图片来生成修改的重构图片，并且可将经修改的重构图片存储在存储器270中，具体地存储在存储器270的DPB中。各种滤波方法可以包括去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器260可以生成关于滤波的各种信息并且将其发送到熵编码器240。关于滤波的信息可以在熵编码器240中被编码并且以比特流的形式输出。

发送到存储器270的经修改的重构图片可以被用作帧间预测器221中的参考图片。当通过其应用帧间预测时，编码设备可以避免编码设备200和解码设备中的预测失配，并且还可以改进编码效率。

存储器270的DPB可以存储修改的重构图片以将其用作帧间预测器221中的参考图片。存储器270可以存储从其中导出(或者编码)当前图片中的运动信息的块的运动信息和/或预重构图片中的块的运动信息。存储的运动信息可以被发送到帧间预测器221以被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器270可以存储当前图片中的重构块的重构样本并将它们发送到帧内预测器222。

参考图3，解码设备300可以通过包括熵解码器310、残差处理器320、预测器330、加法器340、滤波器350和存储器360来配置。预测器330可以包括帧间预测器331和帧内预测器332。残差处理器320可以包括反量化器321和逆变换器321。

根据实施例，上述熵解码器310、残差处理器320、预测器330、加法器340和滤波器350可以由一个硬件组件(例如，解码器芯片组或处理器)配置。另外，存储器360可以包括解码图片缓冲器(DPB)并且可以由数字存储介质配置。硬件组件可以进一步包括存储器360作为内部/外部组件。

当输入包括视频/图像信息的比特流时，解码设备300可以响应于在图2的编码设备中处理视频/图像信息的过程来重构图像。例如，解码设备300可以基于从比特流获得的块分割的相关信息来导出单元/块。解码设备300可以通过使用在编码设备中应用的处理单元来执行解码。因此，解码的处理单元可以是编译单元，并且编译单元可以根据四叉树结构、二叉树结构和/或三叉树结构从编译树单元或最大编译单元分割。至少一个变换单元可以从编译单元导出。并且，通过解码设备300解码并输出的重构图像信号可以通过回放设备来播放。

解码设备300可以接收以比特流的形式从图2的编码设备输出的信号，并且接收到的信号可以通过熵解码器310解码。例如，熵解码器310可以解析比特流以导出对于图像重构(或图片重构)所必需的信息(例如，视频/图像信息)。视频/图像信息可以进一步包括关于诸如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)等的各种参数集的信息。另外，视频/图像信息可以进一步包括一般约束信息。解码设备可以进一步基于关于参数集的信息和/或一般约束信息来对图片进行解码。可以通过解码过程对用信号发送的/接收到的信息和/或本文稍后描述的语法元素进行解码并且从比特流获得。例如，熵解码器310可以基于诸如指数哥伦布编码、CAVLC、CABAC等的编译方法对比特流中的信息进行解码，并输出对于图像重构所必需的语法元素的值和关于残差的变换系数的量化值。更详细地，CABAC熵解码方法可以从比特流接收与每个语法元素相对应的bin，通过使用要解码的语法元素信息、周围块和要解码的块的解码信息或者前一步骤中解码的符号/bin的信息来确定上下文模型，通过根据确定的上下文模型预测bin的出现概率来对bin执行算术解码，并生成与每个语法元素的值相对应的符号。在这种情况下，在确定上下文模型之后，CABAC熵解码方法可以通过使用关于用于下一个符号/bin的上下文模型的已解码的符号/bin的信息来更新上下文模型。在熵解码器310中解码的信息当中，关于预测的信息被提供给预测器(帧间预测器332和帧内预测器331)，并且在熵解码器310中对其执行熵解码的残差值，即，量化的变换系数和相关参数信息可以被输入到残差处理器320。残差处理器320可以导出残差信号(残差块、残差样本、残差样本阵列)。另外，在熵解码器310中解码的信息当中的关于滤波的信息可以被提供给滤波器350。同时，接收从编码设备输出的信号的接收单元(未示出)可以进一步被配置为解码设备300的内部/外部元件或接收单元可以是熵解码器310的组件。

同时，根据此说明书的解码设备可以被称为视频/图像/图片解码设备，并且解码设备可以被划分为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可以包括熵解码器310，并且样本解码器可以包括反量化器321、逆变换器322、加法器340、滤波器350、存储器360、帧间预测器332和帧内预测器331中的至少一个。

反量化器321可以对量化的变换系数进行反量化并输出变换系数。反量化器321可以将量化的变换系数重新排列成二维块形式。在这种情况下，可以基于在编码设备中执行的系数扫描顺序来执行重新排列。反量化器321可以通过使用量化参数(例如，量化步长信息)对量化的变换系数执行反量化并获得变换系数。

逆变换器322对变换系数进行逆变换以获得残差信号(残差块、残差样本阵列)。

预测器320可以对当前块执行预测并且生成包括用于当前块的预测样本的预测块。预测器320可以基于从熵解码器310输出的关于预测的信息来确定是否对当前块应用帧内预测或者帧间预测，并且确定特定的帧内/帧间预测模式。

预测器320可以基于稍后描述的各种预测方法来生成预测信号。例如，预测器320不仅可以应用帧内预测或帧间预测来对一个块进行预测，而且还可以同时应用帧内预测和帧间预测。它可以被称为组合的帧间和帧内预测(CIIP)模式。另外，预测器可以基于帧内块复制(IBC)预测模式或者可以基于用于块的预测的调色板模式。IBC预测模式或调色板模式可以被用于游戏等的内容图像/视频编译，诸如屏幕内容编译(SCC)等。IBC基本上执行当前图片内的预测，但是其可以类似于帧间预测执行，因为它导出当前图片内的参考块。换言之，IBC可以使用本文描述的帧间预测技术中的至少一个。调色板模式可以被认为是帧内编译或帧内预测的示例。当应用调色板模式时，关于调色板表和调色板索引的信息可以被包括在视频/图像信息中并且用信号发送。

帧内预测器331可以通过参考当前图片内的样本来预测当前块。根据预测模式，所参考的样本可以被定位在当前块的附近或者可以被定位在远离当前块的一定距离。在帧内预测中，预测模式可以包括至少一种非定向模式和多种定向模式。帧内预测器331可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。

帧间预测器332可以基于由参考图片上的运动向量指定的参考块(参考样本阵列)来导出用于当前块的预测块。在这种情况下，为了减少在帧间预测模式中发送的运动信息量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位来预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息可以进一步包括帧间预测方向信息(L0预测、L1预测、Bi预测等)。对于帧间预测，邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。例如，帧间预测器332可以基于邻近块配置运动信息候选列表，并且基于接收到的候选选择信息来导出当前块的运动向量和/或参考图片索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示用于当前块的帧间预测模式的信息。

加法器340可以将获得的残差信号与从预测器(包括帧间预测器332和/或帧内预测器331)输出的预测信号(预测块、预测样本阵列)相加以生成重构信号(重构图片、重构块、重构样本阵列)。当不存在要处理的块的残差时，如当应用跳过模式时，预测块可以被用作重构块。

加法器340可以被称为重构器或重构块生成器。生成的重构信号可以被用于当前图片中要处理的下一个块的帧内预测，可以通过稍后描述的滤波来输出，或者可以被用于下一个图片的帧间预测。同时，具有色度缩放(LMCS)的亮度映射可以在图片解码过程中被应用。

滤波器350可以通过对重构信号应用滤波来改进主观/客观图像质量。例如，滤波器350可以通过将各种滤波方法应用于重构图片来生成修改的重构图片，并将修改的重构图片发送到存储器360，具体地是存储器360的DPB。各种滤波方法可以包括去块滤波、采样自适应偏移、自适应环路滤波器、双边滤波器等。

存储在存储器360的DPB中的(修改的)重构图片能够被用作帧间预测单元332中的参考图片。存储器360可以将从其当前图片中的运动信息被导出(或者被解码)的块的运动信息和/或预重构的图片中的块的运动信息。存储的运动信息可以被发送到帧间预测器260以用作空间邻近块的运动信息或时间邻近块的运动信息。存储器360可以存储当前图片中的重构块的重构样本并将它们发送到帧内预测器331。

这里，在编码设备200的滤波器260、帧间预测器221和帧内预测器222中描述的实施例也可以分别同等地或相应地应用于解码设备300的滤波器350、帧间预测器332和帧内预测器331。

参考图4，可以产生用于预测当前块的运动信息的候选列表(S400)。

这里，运动信息可以包括运动向量、参考图片索引或帧间预测方向信息中的至少一个。可替选地，运动信息可以意指运动向量、参考图片索引或帧间预测方向信息中的任意一个。

候选列表可以包括一个或多个基于仿射模型的候选(下文中称为仿射候选)。仿射候选可以指具有控制点向量的候选。控制点向量可以指仿射模型的控制点的运动向量，并且可以针对块的每个角位置(例如，左上、右上、左下或右下角中的至少一个的位置)来定义。

仿射候选可以包括空间候选、时间候选或构造候选中的至少一个。这里，可以从在空间上与当前块邻近的邻近块(下文中称为空间邻近块)的向量导出空间候选，并且可以从在时间上与当前块邻近的邻近块(以下称为时间邻近块)的向量导出时间候选。这里，邻近块可以指的是以仿射模式编译的块。向量可以指控制点向量或运动向量。

通过参考图5详细地描述基于空间/时间邻近块的向量导出空间/时间候选的方法。

同时，可以基于当前块的空间/时间邻近块的运动向量的组合来导出所构造的候选，其中，邻近块可以不是以仿射模式编译的块。可替选地，至少一个邻近块可以是以仿射模式编译的块。将参考图6详细描述这一点。

上述多个仿射候选可以基于预先确定的优先级被排列在候选列表中。例如，多个仿射候选可以按照空间候选、时间候选和构造的候选的顺序排列在候选列表中。可替选地，多个仿射候选可以按照时间候选、空间候选和构造的候选的顺序排列在候选列表中。然而，其不限于此，并且时间候选可以排列在构造的候选之后。可替选地，所构造的候选中的一些可以排列在空间候选之前，而其他的可以排列在空间候选之后。

候选列表还可以包括基于子块的时间候选。这里，可以从与当前块相对应的并置块导出时间候选的运动信息，并且能够以子块为单位导出运动信息。并置块可以是属于与当前块不同的图片的块(即，并置图片)，并且可以是与当前块处于相同位置的块或者处于从当前块的位置移动了时间向量的位置的块。可以基于当前块的空间邻近块的运动向量来确定时间向量。空间邻近块可以指与当前块的左侧、左下、顶部、右上或左上中的至少一个邻近的块。可以仅使用在编码/解码装置中预定义的位置的邻近块来确定时间向量。例如，预定义位置可以是当前块的左侧或顶部，也可以是左侧和顶部。当左侧存在多个邻近块时，可以使用位于多个邻近块中的最底部、最顶部或中心中的任意一个的块。当在顶部存在多个邻近块时，可以使用位于多个邻近块中的最左边、最右边或中心中的任意一个的块。

在导出基于子块的时间候选中，当前块和/或并置块可以被划分为多个子块。这里，子块可以具有编码/解码装置中预定义的大小/形状。例如，子块可以被表达为NxM块，并且N和M值可以是4、8或更大的整数。子块可以是正方形(N＝M)或非正方形(N>M，N<M)。可替选地，编码装置可以对关于子块的大小/形状的信息进行编码并用信号发送，并且解码装置可以基于用信号发送的信息来确定子块的大小/形状。可替选地，当前块和/或并置块可以基于预定数量被划分为多个子块。这里，该数量可以是编码/解码装置中的预定义数量，或者可以基于块大小/形状可变地确定。可替选地，可以基于从编码装置用信号发送的数量信息来确定该数量。

下面，将详细描述以子块为单位导出时间候选的运动信息的方法。时间候选的运动向量可以被设置为针对并置块的每个子块存储的运动向量。时间候选的参考图片索引可以在编码/解码装置中被设置为预定义值(例如，0)。可替选地，时间候选的参考图片索引可以被设置为并置块的参考图片索引或者子块之中的左上子块的参考图片索引。可替选地，与运动向量类似，时间候选的参考图片索引也可以被设置为针对每个子块存储的参考图片索引。

然而，当属于并置块的子块之中存在不可用子块时，可用并置块内的可用子块的运动向量来替换不可用子块的运动向量。这里，可用子块可以指与不可用子块的左侧、右侧、顶部或底部中的任一个邻近的块。可替选地，可用子块可以指在编码/解码装置中预定义的位置的块。例如，预定义位置可以是并置块内右下子块的位置，或者包括并置块的中心位置的子块的位置。仅当存在可用子块时，上述基于子块的时间候选可以被添加到候选列表。可替选地，仅当预定义位置的子块可用时，上述基于子块的时间候选可以被添加到候选列表。

候选列表还可以包括具有零运动向量的候选。在仿射候选的上述重新排列之后，具有零运动向量的候选可以被添加到候选列表。可替选地，可以在将具有零运动向量的候选添加到候选列表之后执行重新排列。

另外，可以基于预定优先级来重新排列候选列表中的多个候选。

为此，多个候选可以被分组成一个或多个子组。在这种情况下，可以对多个候选执行分组，或者可以对排除基于子块的时间候选或具有零运动向量的候选中的至少一个的剩余候选执行分组。

重新排列可以对所有一个或多个子组执行，或者可以仅对一些子组执行。例如，可以不对包括基于子块的时间候选或具有零运动向量的候选中的至少一个的子组执行重新排列。可替选地，可以不对具有最小索引(即，0)的候选所属的子组执行重新排列，而是可以对具有最大索引的候选所属的子组执行重新排列。相反，可以对具有最小索引(即，0)的候选所属的子组执行重新排列，并且可以不对具有最大索引的候选所属的子组执行重新排列。

可以基于由每个候选的运动信息指定的L0参考区域和L1参考区域之间的样本差来确定重新排列的优先级。也就是说，子组内的候选可以从最小样本差到最大样本差重新排列。这里，L0/L1参考区域可以包括由每个候选的运动信息指定的L0/L1参考块或其邻近区域中的至少一个。邻近区域可以是位于L0/L1参考块的左侧或顶部的一个或多个样本行。

参考图4，可以基于候选列表和候选索引来导出当前块的控制点向量(S410)。

候选索引可以指的是被编码以导出当前块的控制点向量的索引。候选索引可以指定属于候选列表的多个候选之一。当通过候选索引指定仿射候选时，可以使用仿射候选的控制点向量来导出当前块的控制点向量。

例如，假设当前块的仿射模型的类型是4参数(即，当前块被确定为使用两个控制点向量)。在这种情况下，当候选索引指定的仿射候选具有三个控制点向量时，三个控制点向量中的两个(例如，Idx＝0、1的控制点向量，或者Idx＝0、2的控制点向量)可以被选择并设置为当前块的控制点向量。可替选地，可以将指定的仿射候选的三个控制点向量设置为当前块的控制点向量。在这种情况下，当前块的仿射模型的类型可以更新为6参数。

相反，假设当前块的仿射模型的类型是6参数(即，当前块被确定为使用三个控制点向量)。在这种情况下，当候选索引指定的仿射候选具有两个控制点向量时，可以生成一个附加控制点向量，并且可以将仿射候选的两个控制点向量和附加控制点向量设置为当前块的控制点向量。可以基于仿射候选的两个控制点向量、与两个控制点向量相对应的块角的位置、或者当前/邻近块的大小/位置信息中的至少一个来导出附加控制点向量。可替选地，可以将指定的仿射候选的两个控制点向量设置为当前块的控制点向量。此时，当前块的仿射模型的类型可以更新为4参数。

参考图4，可以基于预定的增量运动向量(deltaMV)来修改控制点向量(S420)。

可以确定使当前块的L0块和L1块之间的样本差最小化的增量运动向量，并且可以基于所确定的增量运动向量来修改控制点向量。

当前块的多个控制点向量可以共享所确定的增量运动向量。即，可以基于相同的增量运动向量来修改多个控制点向量。可替选地，可以针对当前块的多个控制点向量中的每个来确定增量运动向量。在这种情况下，多个控制点向量之一可以具有与另一控制点向量不同的增量运动向量。

将参考图7详细描述确定增量运动向量的方法。

可以基于候选列表中包括的多个候选之中由候选索引指定的候选的类型来选择性地执行控制点向量的修改。例如，可以仅当候选的类型是空间候选时才执行控制点向量的修改。仅当候选的类型是时间候选时才可以执行控制点向量的修改。仅当候选的类型是构造的候选时，才可以执行控制点向量的修改。仅当候选的类型是空间候选或构造候选时，才可以执行控制点向量的修改。仅当候选的类型是空间候选或时间候选时，才可以执行控制点向量的修改。即使当候选的类型是具有零运动向量的候选时，也可以执行控制点向量的修改。可替选地，可以限制控制点向量的修改，使得当候选的类型是具有零运动向量的候选时不执行控制点向量的修改。

控制点向量的修改可以总是被执行，而不管候选的类型。

可以对当前块的全部或部分控制点向量执行控制点向量的修改。

具体地，可以根据当前块的仿射模型的类型来确定进行修改的控制点向量。也就是说，在当前块的仿射模型的类型为4参数时，可以对当前块的第一控制点向量和第二控制点向量进行修改。在当前块的仿射模型类型为6参数时，可以对当前块的第一、第二和第三控制点向量进行修改。

可替选地，可以将进行修改的控制点向量确定为编码/解码装置中预定义的角位置的控制点向量。这里，预定义的角位置可以指左上角位置、右上角位置、左下角位置或右下角位置中的至少一个。预定义角位置的数量可以是一个、两个或更多个。

可替选地，可以基于以仿射模式编译的邻近块的位置来确定是否修改每个控制点向量。例如，在当前块的左邻近块是以仿射方式编码的块时，可以不对与左邻近块邻近的第一控制点向量或第三控制点向量中的至少一个进行修改，并且可以对第二控制点向量或第四控制点向量中的至少一个执行修改。在当前块的顶部邻近块是以仿射模式编译的块时，可以不对与顶部邻近块邻近的第一控制点向量或第二控制点向量中的至少一个进行修改，可以对第三控制点向量或第四控制点向量中的至少一个执行修改。

可替选地，可以与当前块的仿射模型的类型无关地确定进行修改的控制点向量。例如，即使在当前块的仿射模型的类型为4参数时，也可以对第一控制点向量、第二控制点向量、第三控制点向量或第四个控制点向量中的至少三个控制点向量执行修改。可替选地，在这种情况下，当前块的仿射模型的类型可以改变为6参数或8参数。同样，即使在当前块的仿射模型的类型为6参数时，也可以对第一控制点向量、第二控制点向量、第三控制点向量和第四控制点向量进行修改。在这种情况下，当前块的仿射模型的类型可以改为8参数。

根据改变的仿射模型的类型的当前块的控制点向量可以被存储在解码装置中，并且这可以被用来确定下一个块的仿射模型。可替选地，根据改变的仿射模型的类型的当前块的控制点向量仅用于以当前块的子块为单位导出运动向量，并且可以不被传播以确定下一个块的仿射模型。

当然，进行修改的控制点向量可以基于上述实施例中的任意一个来确定，或者可以基于两个或更多个实施例的组合来确定。

同时，可以仅当满足以下条件中的至少一个时才执行控制点向量的修改，或者可以仅当满足所有以下条件时执行控制点向量的修改。

[条件1]在当前图片的L0参考图片和L1参考图片处于不同方向时

[条件2]在当前图片与L0参考图片之间的距离与当前图片与L1参考图片之间的距离相同时

[条件3]当应用于L0/L1参考块以用于当前块的加权预测的权重相同时

[条件4]当不应用基于仿射模型的MMVD(具有运动向量差的合并模式)时

[条件5]当应用合并模式时(即，当merge_flag为1时)

[条件6]当通过候选索引指定基于子块的时间候选(STMVP)时

[条件7]当不应用CIIP模式和/或几何分区模式时

[条件8]当不应用参考图片重采样时

MMVD可以指的是通过根据基于仿射模型的合并模式将预定的运动向量差(MVD)应用到预先导出的运动向量来修改运动向量的模式。CIIP模式可以是指通过对当前块分别进行帧间预测和帧内预测来生成帧间预测块和帧内预测块，并通过帧间预测块和帧内预测块的加权和来生成当前块的最终预测块的模式。参考图片重采样可以意味着改变用于帧间预测的参考图片的空间分辨率。这允许当前图片参考具有不同空间分辨率的参考图片。

可替选地，可以基于第一标志或者第二标志中的至少一个自适应地执行当前块的控制点向量的修改，第一标志指示是否允许对以仿射模式编译的块的控制点向量或运动向量进行修改，第二标志指示是否对控制点向量或运动向量应用修改。这里，可以从视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、图片报头(PH)、切片报头(SH)、编译树单元(CTU)或编译单元(CU)的至少一个级别用信号发送第一标志和第二标志中的每个。

可替选地，可以基于第三标志或第四标志中的至少一个自适应地执行当前块的控制点向量的修改，该第三标志指示是否允许对以预定帧间预测模式(例如，跳过模式、合并模式、AMVP模式、MMVD、CIIP、GPM等)编译的块的运动向量进行修改，第四标志指示是否对运动向量应用修改。这里，可以从视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、图片报头(PH)、切片报头中(SH)、编译树单元(CTU)或编译单元(CU)的至少一个级别用信号发送第三标志和第四标志中的每个。

可以基于上述第一至第四标志中的至少两个的组合来自适应地执行控制点向量的修改。

基于修改的控制点向量，可以导出当前块的运动向量(S430)。

能够以当前块的子块为单位导出运动向量。为此，当前块可以被划分为多个NxM子块。这里，NxM子块可以是非正方形的(N>M或N<M)或正方形的(N＝M)。N和M值可以是2、4、8、16、32或更大。将参考图8详细描述以子块为单位导出运动向量的方法。

在S420中描述的控制点向量修改方法能够以相同/相似的方式应用于对基于当前块的原始控制点向量导出的运动向量的修改。在这种情况下，在S420中可以省略控制点向量的修改。

参考图4，可以使用导出的运动向量对当前块执行帧间预测(S440)。

具体地，可以使用当前块的运动向量来指定参考块。可以为当前块的每个子块单独指定参考块。每个子块的参考块可以属于一个参考图片。也就是说，属于当前块的子块可以共享一个参考图片。可替选地，可以针对当前块的每个子块独立地设置参考图片索引。指定的参考块可以被设置为当前块的预测块。

同时，上述实施例描述了修改以仿射模式编译的块的控制点向量的方法，但不限于此。也就是说，上述实施例中的控制点向量修改方法可以等同地/类似地应用于根据在编码/解码装置中预定义的另一帧间预测模式(例如，跳过模式、合并模式、AMVP模式、CIIP模式等)导出的运动向量。

图5是根据本公开的实施例并且涉及从空间/时间邻近块的控制点向量导出仿射候选的方法。

当前块500的宽度和高度分别是cbW和cbH，并且当前块的位置是(xCb，yCb)。空间邻近块510-550的宽度和高度分别是nbW和nbH，并且空间邻近块的位置是(xNb，yNb)。空间邻近块可以包括当前块的左块510、左下块540、右上块430、上块420或左上块450中的至少一个。可替选地，空间邻近块可以进一步包括与左上块450的右侧相邻的块或与左上块450的底部相邻的块中的至少一个。

空间候选可以具有N个控制点向量(cpMV)。这里，N可以是1、2、3或更大的整数。可以基于关于块是否以子块为单位被解码的信息、关于块是否以仿射模式被编码的信息、或者关于仿射模型的类型(4参数或6参数)的信息中的至少一个来确定N值。

例如，当块根据以上信息以子块为单位被解码或者是以仿射模式编译的块时，块可以具有两个控制点向量。另一方面，否则，该块可以不执行基于仿射模型的预测。

可替选地，根据上述信息，当块是以仿射模式编译的块并且仿射模型的类型是6参数时，块可以具有三个控制点向量。另一方面，否则，该块可以不执行基于仿射模型的预测。

上述信息可以在编码装置中被编码并且可以被用信号发送。可替选地，可以在解码装置中基于块的属性导出全部或部分信息。这里，块可以指当前块或者当前块的空间/时间邻近块。这些属性可以是指大小、形状、位置、划分类型、帧间模式、与残差系数相关的参数等。帧间模式可以是解码装置中预定义的模式，并且可以指合并模式、跳过模式、AMVP模式、仿射模式、帧内/帧间组合模式、当前图片参考模式等。可替选地，可以在解码装置中基于块的属性来导出N值。

在此实施例中，n个控制点向量可以被表达为第一控制点向量(cpMV[0])、第二控制点向量(cpMV[1])、第三控制点向量(cpMV[2])、...第n控制点向量(cpMV[n-1])。

作为示例，第一控制点向量(cpMV[0])、第二控制点向量(cpMV[1])、第三控制点向量(cpMV[2])和第四控制点向量(cpMV[3])可以是分别与块的左上样本、右上样本、左下样本和右下样本的位置相对应的向量。这里，假定空间候选具有三个控制点向量，并且三个控制点向量可以是从第一至第n控制点向量中选择的任意控制点向量。然而，其不限于此，并且空间候选可以具有两个控制点向量，并且两个控制点向量可以是从第一至第n控制点向量中选择的任意控制点向量。

在下文中，描述导出空间候选的控制点向量的方法。

1.在当前块的边界不与CTU边界接壤时

可以基于空间邻近块的第一控制点向量、预先确定的差值、当前块的位置信息(xCb，yCb)或空间邻近块的位置信息(xNb，yNb)中的至少一个来导出第一控制点向量。

差值的数量可以是1、2、3或更多。差值的数量可以基于块的上述属性可变地确定，或者可以是编码/解码装置中的预定义值。差值可以被定义为多个控制点向量之一与另一个控制点向量之间的差值。

例如，差值可以包括第二控制点向量与第一控制点向量之间的第一差值、第三控制点向量与第一控制点向量之间的第二差值、第四控制点向量与第三控制点向量之间的第三差值或第四控制点向量与第二控制点向量之间的第四差值中的至少一个。

具体地，可以如下面的等式1导出第一控制点向量。

[等式1]

cpMvLX[0][0]＝(mvScaleHor+dHorX*(xCb-xNb)+dHorY*(yCb-yNb))

cpMvLX[0][1]＝(mvScaleVer+dVerX*(xCb-xNb)+dVerY*(yCb-yNb))

在等式1中，变量mvScaleHor和mvScaleVer可以指代空间邻近块的第一控制点向量，或者可以指代通过对第一控制点向量应用移位运算乘以k而导出的值。这里，k可以是1、2、3、4、5、6、7、8、9或更大的整数。变量dHorX和dVerX分别对应于第二控制点向量和第一控制点向量之间的第一差值的x分量和y分量。变量dHorY和dVerY分别对应于第三控制点向量和第一控制点向量之间的第二差值的x分量和y分量。上述变量可以如下面的等式2那样导出。

[等式2]

mvScaleHor＝CpMvLX[xNb][yNb][0][0]<<7

mvScaleVer＝CpMvLX[xNb][yNb][0][1]<<7

dHorX＝(CpMvLX[xNb+nNbW-1][yNb][1][0]-CpMvLX[xNb][yNb][0][0])<<(7-log2NbW)

dVerX＝(CpMvLX[xNb+nNbW-1][yNb][1][1]-CpMvLX[xNb][yNb][0][1])<<(7-log2NbW)

dHorY＝(CpMvLX[xNb][yNb+nNbH-1][2][0]-CpMvLX[xNb][yNb][2][0])<<(7-log2NbH)

dVerY＝(CpMvLX[xNb][yNb+nNbH-1][2][1]-CpMvLX[xNb][yNb][2][1])<<(7-log2NbH)

可以基于空间邻近块的第一控制点向量、预先确定的差值、当前块的位置信息(xCb，yCb)、块大小(宽度或高度)或空间邻近块的位置信息(xNb，yNb)中的至少一个来导出第二控制点向量。这里，块大小可以指代当前块和/或空间邻近块的大小。该差值与第一控制点向量中描述的相同，因此在此省略详细描述。然而，在导出第二控制点向量的过程中使用的差值的范围和/或数量可以与第一控制点向量的不同。

具体地，可以如下面的等式3导出第二控制点向量。

[等式3]

cpMvLX[1][0]＝(mvScaleHor+dHorX*(xCb+cbWidth-xNb)+dHorY*(yCb-yNb))

cpMvLX[1][1]＝(mvScaleVer+dVerX*(xCb+cbWidth-xNb)+dVerY*(yCb-yNb))

在等式3中，变量mvScaleHor、mvScaleVer、dHorX、dVerX、dHorY和dVerY与等式1中描述的相同，并且这里省略详细描述。

可以基于空间邻近块的第一控制点向量、预先确定的差值、当前块的位置信息(xCb，yCb)、块大小(宽度或高度)或空间邻近块的位置信息(xNb，yNb)中的至少一个来导出第三控制点向量。这里，块大小可以指代当前块和/或空间邻近块的大小。该差值与第一控制点向量中描述的相同，因此此处省略详细描述。然而，在导出第三控制点向量的过程中使用的差值的范围和/或数量可以与第一控制点向量或第二控制点向量的不同。

具体地，可以如下面的等式4导出第三控制点向量。

[等式4]

cpMvLX[2][0]＝(mvScaleHor+dHorX*(xCb-xNb)+dHorY*(yCb+cbHeight-yNb))

cpMvLX[2][1]＝(mvScaleVer+dVerX*(xCb-xNb)+dVerY*(yCb+cbHeight-yNb))

在等式4中，变量mvScaleHor、mvScaleVer、dHorX、dVerX、dHorY和dVerY与等式1中描述的相同，并且这里省略详细描述。同时，通过上述过程，可以导出空间候选的第n控制点向量。

2.在当前块的边界与CTU边界接壤时

可以基于空间邻近块的运动向量(MV)、预先确定的差值、当前块的位置信息(xCb，yCb)或空间邻近块的位置信息(xNb，yNb)中的至少一个来导出第一控制点向量。

运动向量可以是被定位在空间邻近块的最下处的子块的运动向量。子块可以被定位在被定位在空间邻近块的最低处的多个子块当中的最左侧、中央或最右侧处。可替选地，运动向量可以指代子块的运动向量的平均值、最大值或最小值。

差值的数量可以是1、2、3或更多。差值的数量可以基于块的上述属性可变地确定，或者可以是编码/解码装置中的预定义值。差值可以被定义为空间邻近块中的以子块为单位存储的多个运动向量之一与另一运动向量之间的差值。例如，差值可以意指空间邻近块的右下子块的运动向量与空间邻近块的左下子块的运动向量之间的差值。

例如，可以如下面的等式5导出第一控制点向量。

[等式5]

cpMvLX[0][0]＝(mvScaleHor+dHorX*(xCb-xNb)+dHorY*(yCb-yNb))

cpMvLX[0][1]＝(mvScaleVer+dVerX*(xCb-xNb)+dVerY*(yCb-yNb))

在等式5中，变量mvScaleHor和mvScaleVer可以指代通过对运动向量(MV)或上述空间邻近块的运动向量(MV)应用移位运算乘以k而导出的值。这里，k可以是1、2、3、4、5、6、7、8、9或更大的整数。

变量dHorX和dVerX分别对应于预先确定的差值的x分量和y分量。这里，差值指代空间邻近块内的右下子块的运动向量与左下子块的运动向量之间的差值。可以基于变量dHorX和dVerX导出变量dHorY和dVerY。可以如下面的等式6导出上述变量。

[等式6]

mvScaleHor＝MvLX[xNb][yNb+nNbH-1][0]<<7

mvScaleVer＝MvLX[xNb][yNb+nNbH-1][1]<<7

dHorX＝(MvLX[xNb+nNbW-1][yNb+nNbH-1][0]-MvLX[xNb][yNb+nNbH-1][0])<<(7-log2NbW)

dVerX＝(MvLX[xNb+nNbW-1][yNb+nNbH-1][1]-MvLX[xNb][yNb+nNbH-1][1])<<(7-log2NbW)

dHorY＝-dVerX

dVerY＝dHorX

可以基于空间邻近块的运动向量(MV)、预先确定的差值、当前块的位置信息(xCb，yCb)、块大小(宽度或高度)或空间邻近块的位置信息(xNb，yNb)中的至少一个来导出第二控制点向量。这里，块大小可以指代当前块和/或空间邻近块的大小。对于运动向量和差值，如第一控制点向量中，在此详细描述被省略。然而，在导出第二控制点向量的过程中使用的运动向量的差值的位置、范围和/或数量可以与第一控制点向量的位置、范围和/或差值的数量不同。

例如，可以如下面的等式7导出第二控制点向量。

[等式7]

cpMvLX[1][0]＝(mvScaleHor+dHorX*(xCb+cbWidth-xNb)+dHorY*(yCb-yNb))

cpMvLX[1][1]＝(mvScaleVer+dVerX*(xCb+cbWidth-xNb)+dVerY*(yCb-yNb))

在等式7中，变量mvScaleHor、mvScaleVer、dHorX、dVerX、dHorY和dVerY与等式5中描述的相同，并且这里省略详细描述。

可以基于空间邻近块的运动向量(MV)、预先确定的差值、当前块的位置信息(xCb，yCb)、块大小(宽度或高度)或空间邻近块的位置信息(xNb，yNb)来导出第三控制点向量。这里，块大小可以指代当前块和/或空间邻近块的大小。对于运动向量和差值，如在第一控制点向量中所描述的，这里省略详细描述。然而，在导出第三控制点向量的过程中使用的运动向量的差值的位置、范围和/或数量可以不同于第一控制点向量或第二控制点向量的位置、范围和/或差值的数量。

例如，可以如下面的等式8导出第三控制点向量。

[等式8]

cpMvLX[2][0]＝(mvScaleHor+dHorX*(xCb-xNb)+dHorY*(yCb+cbHeight-yNb))

cpMvLX[2][1]＝(mvScaleVer+dVerX*(xCb-xNb)+dVerY*(yCb+cbHeight-yNb))

在等式8中，变量mvScaleHor、mvScaleVer、dHorX、dVerX、dHorY和dVerY与等式5中描述的相同，并且这里将省略详细描述。同时，通过上述过程，可以导出空间候选的第一至第N控制点向量。

可以针对每个预定义的空间邻近块执行上述导出仿射候选的过程。预定义的空间邻近块可以包括当前块的左块、左下块、右上块、顶块或左上块中的至少一个。

可替选地，可以对每组空间邻近块分别执行导出仿射候选的过程。这里，空间邻近块可以被分类为包括左块和左下块的第一组以及包括右上块、顶块和左上块的第二组。

例如，一个仿射候选可以从属于第一组的空间邻近块导出。可以基于预先确定的优先级来执行导出，直到找到可用的仿射候选。优先级可以是左块->左下块的顺序或者相反的顺序。可以根据优先级来确定第一组中的相应空间邻近块是否是通过基于仿射模型的预测解码的块，并且可以选择首先通过基于仿射模型的预测解码的块作为仿射候选。

同样，一个仿射候选可以从属于第二组的空间邻近块导出。可以基于预先确定的优先级来执行导出，直到找到可用的仿射候选。优先级可以是右上块->顶块->左上块的顺序或者相反的顺序。可以根据优先级来确定第二组中的相应空间邻近块是否是通过基于仿射模型的预测解码的块，并且可以选择首先通过基于仿射模型的预测解码的块作为仿射候选。

上述实施例可以等同地/类似地应用于时间邻近块。这里，时间邻近块属于与当前块不同的图片，但是可以是与当前块处于相同位置的块。相同位置的块可以是包括当前块的左上样本的位置、中心位置或者与当前块的右下样本相邻的样本的位置的块。

可替选地，时间邻近块可以指代与相同位置的块移位了预先确定的视差向量的位置的块。这里，可以基于上述当前块的空间邻近块中的任意一个的运动向量来确定视差向量。

图6示出了根据本公开的实施例的基于空间/时间邻近块的运动向量的组合来导出构造的候选的方法。

可以基于与当前块的每个角位置相对应的控制点向量(下文中称为控制点向量(cpMVCorner[n])的至少两个的组合来导出本公开的构造的候选。这里，n可以是0、1、2或3。

可以基于空间邻近块和/或时间邻近块的运动向量来导出控制点向量(cpMVCorner[n])。这里，空间邻近块可以包括与当前块的左上样本相邻的第一邻近块(A、B或C)、与当前块的右上样本相邻的第二邻近块(D或E)或与当前块的左下样本相邻的第三邻近块(F或G)中的至少一个。因为时间邻近块是属于与当前块不同的图片的块，所以它可以指代与当前块处于相同位置的块(在下文中，称为第四邻近块(Col))。这里，第四邻近块可以指代包括当前块的左上样本、右上样本或左下样本的位置的块(H、I或J)或者与当前块的右下样本的位置相邻的块。

第一邻近块可以指代当前块的左上(A)、顶部(B)或左侧(C)处的邻近块。可以根据预先确定的优先级来确定邻近块A、B和C的运动向量是否可用，并且可以通过使用可用的邻近块的运动向量来确定控制点向量。可以执行可用性确定，直到找到具有可用运动向量的邻近块。这里，优先级可以是A->B->C的顺序。但是，其不限于此，并且可以是A->C->B、C->A->B、B->A->C的顺序。

第二邻近块可以指代当前块的顶部(D)或右上(E)的邻近块。同样地，可以根据预先确定的优先级来确定邻近块D和E的运动向量是否可用，并且可以通过使用可用的邻近块的运动向量来确定控制点向量。可以执行可用性确定，直到找到具有可用运动向量的邻近块。这里，优先级可以是D->E或E->D的顺序。

第三邻近块可以指代当前块的左侧(F)或左下(G)的邻近块。同样地，可以根据预先确定的优先级来确定邻近块的运动向量是否可用，并且可以通过使用可用的邻近块的运动向量来确定控制点向量。可以执行可用性确定，直到找到具有可用运动向量的邻近块。这里，优先级可以是G->F或F->G的顺序。

例如，第一控制点向量(cpMVCorner[0])可以被配置为第一邻近块的运动向量，第二控制点向量(cpMVCorner[1])可以被配置为第二邻近块的运动向量并且第三控制点向量(cpMVCorner[2])可以被配置为第三邻近块的运动向量。第四控制点向量(cpMVCorner[3])可以被配置为第四邻近块的运动向量。

可替选地，可以通过使用第一邻近块或第四邻近块中的至少一个的运动向量来导出第一控制点向量，并且这里，第四邻近块可以是包括左上样本的位置的块(H)。可以通过使用第二邻近块或第四邻近块中的至少一个的运动向量来导出第二控制点向量。这里，第四邻近块可以是包括右上样本的位置的块(I)。可以通过使用第三邻近块或第四邻近块中的至少一个的运动向量来导出第三控制点向量。这里，第四邻近块可以是包括左下样本的位置的块(J)。

可替选地，第一至第四控制点向量中的任何一个可以基于另一个来导出。例如，可以通过将预先确定的偏移向量应用于第一控制点向量来导出第二控制点向量。偏移向量可以是第三控制点向量与第一控制点向量之间的差向量，或者可以通过将预先确定的缩放因子应用于差向量来导出。缩放因子可以基于当前块和/或邻近块的宽度或高度中的至少一个来确定。

通过上述第一至第四控制点向量中的至少两个的组合，可以确定根据本公开的K个构造的候选(ConstK)。K的值可以是1、2、3、4、5、6、7或更大的整数。K的值可以基于从编码设备用信号发送的信息来导出或者可以是解码设备中的预先承诺的值。该信息可以包括指示候选列表中包括的构建的候选的最大数量的信息。

具体地，可以通过组合第一至第三控制点向量来导出第一构造的候选(Const1)。例如，第一构造的候选(Const1)可以具有如下表1中的控制点向量。同时，仅当第一邻近块的参考图片信息与第二和第三邻近块的参考图片信息相同时，可以存在如表1中构造控制点向量的限制。这里，参考图片信息可以指代示出参考图片列表中的相应参考图片的位置的参考图片索引，或者可以指代示出输出顺序的图片顺序计数(POC)值。

[表1]

Idx	控制点向量
		0	cpMvCorner[0]
1	cpMvCorner[1]
		2	cpMvCorner[2]

第二构造的候选(Const2)可以通过组合第一、第二和第四控制点向量来导出。例如，第二构造的候选(Const2)可以具有如下表2中的控制点向量。同时，仅当第一邻近块的参考图片信息与第二和第四邻近块的参考图片信息相同时，可以存在如表2中构造控制点向量的限制。这里，参考图片信息如上所述。

[表2]

第三构造的候选(Const3)可以通过组合第一、第三和第四控制点向量来导出。例如，第三构造的候选(Const3)可以具有如下表4中的控制点向量。同时，仅当第一邻近块的参考图片信息与第三和第四邻近块的参考图片信息相同时，可以存在如表4中构造控制点向量的限制。这里，参考图片信息如上所述。

[表3]

第四构造的候选(Const4)可以通过组合第二、第三和第四控制点向量来导出。例如，第四构造的候选(Const4)可以具有如下表4中的控制点向量。同时，仅当第二邻近块的参考图片信息与第三和第四邻近块的参考图片信息相同时，可以存在如表4中构造控制点向量的限制。这里，参考图片信息如上所述。

[表4]

第五构造的候选(Const5)可以通过组合第一和第二控制点向量来导出。例如，第五构造的候选(Const4)可以具有如下表5中的控制点向量。同时，仅当第一邻近块的参考图片信息与第二邻近块的参考图片信息相同时，可以存在如表5中构造控制点向量的限制。这里，参考图片信息如上所述。

[表5]

Idx	控制点向量
		1	cpMvCorner[0]
2	cpMvCorner[1]

第六构造的候选(Const6)可以通过组合第一和第三控制点向量来导出。例如，第六构造的候选(Const6)可以具有如下表7中的控制点向量。同时，仅当第一邻近块的参考图片信息与第三邻近块的参考图片信息相同时，可以存在如表7中构造控制点向量的限制。这里，参考图片信息如上所述。

[表6]

Idx	控制点向量	控制点向量
			1	cpMvCorner[0]	cpMvCorner[0]
2	cpMvCorner[2]	cpMvCorner[1]

在表6中，cpMvCorner[1]可以是基于第一和第三控制点向量导出的第二控制点向量。可以基于第一控制点向量、预先确定的差值或当前/邻近块的大小中的至少一个来导出第二控制点向量。例如，可以如下面的等式9导出第二控制点向量。

[等式9]

cpMvCorner[1][0]＝(cpMvCorner[0][0]<<7)+((cpMvCorner[2][1]-cpMvCorner[0][1])<<(7+Log2(cbHeight/cbWidth)))

cpMvCorner[1][1]＝(cpMvCorner[0][1]<<7)+((cpMvCorner[2][0]-cpMvCorner[0][0])<<(7+Log2(cbHeight/cbWidth)))

在上述K个构造的候选(ConstK)中，K的值不限制排列在候选列表中的构造的候选的位置或优先级。

另外，所有的第一至第六构造的候选可以被包括在候选列表中或者仅它们中的一些可以被包括在候选列表中。

例如，当确定当前块使用三个控制点向量时，可以仅使用通过第一控制点向量至第四控制点向量中的三个的组合生成的构造的候选。当确定当前块使用两个控制点向量时，可以使用通过第一至第四控制点向量中的至少两个的组合生成的构造的候选，或者可以使用仅通过第一至第四控制点向量中的两个的组合生成的构造的候选。

可替选地，通过考虑候选列表中包括的仿射候选的最大数量，可以仅将一些构造的候选包括在候选列表中。这里，最大数量可以基于从编码设备用信号发送的最大数量信息来确定，或者可以通过考虑上述当前块的属性来可变地确定。在这种情况下，构造的候选的K值(ConstK)可以指代插入到候选列表中的优先级。

同时，当属于构造的候选的两个控制点向量之间的差值小于预先确定的阈值时，相应的构造的候选可以不被插入到候选列表中。两个控制点向量之间的差值可以被划分为水平方向上的差值和垂直方向上的差值。这里，水平方向上的差值可以指代第一控制点向量710和第二控制点向量720之间的差值，并且垂直方向上的差值可以指代第一控制点向量710与第三控制点向量730之间的差值。阈值可以指代0或编码/解码设备中预先承诺的大小的向量。

在本实施例中，假设增量运动向量的初始值为0。

参考图7，可以确定控制点向量的修改的搜索范围(S700)。

搜索范围可以被确定为包括参考图片中的大小为WxH的块(下文中称为参考块)或参考块的邻近区域中的至少一个的区域。在这种情况下，参考块的左上样本的位置可以是用于搜索的参考位置。可以分别针对L0方向和L1方向确定搜索范围。参考块可以指由当前块的控制点向量指示的块或者由当前块的运动向量指示的块。邻近区域可以指的是从参考块的边界延伸K条样本行的区域。这里，K可以是1、2、3或更大的整数。

邻近区域可以位于参考块的左、上、右、下、左上、左下、右上或右下的至少一个方向上。然而，为了降低搜索过程的复杂度，邻近区域可以仅位于上述方向的一些上。例如，可以限制为与参考块的左侧和顶部邻近的区域，或者可以限制为与参考块的右侧和底部邻近的区域。

属于邻近区域的样本行的数量(K)可以是编码/解码装置中的预定义值，或者可以基于块属性可变地确定。这里，块属性可以表示块大小/形状、块位置、帧间预测模式、分量类型等。块位置可以表示参考块是否位于图片的边界上或预定片段区域上。片段区域可以指图块、编译树块列/行、或者编译树块。例如，基于块属性，可以选择性地使用0、1、2、3或更多个样本行中的任意一个。

可以针对当前块的所有控制点向量同等地确定搜索范围。可替选地，可以根据控制点向量的位置来不同地确定搜索范围。在这种情况下，可以基于以仿射模式编译的邻近块的位置和/或大小来自适应地确定根据控制点向量的位置的搜索范围。例如，在当前块的左邻近块是以仿射模式编译的块时，与左邻近块邻近的第一控制点向量或第三控制点向量中的至少一个的搜索范围可以小于第二控制点向量或第四控制点向量中的至少一个的搜索范围。在当前块的顶部邻近块是以仿射模式编译的块时，与顶部邻近块邻近的第一控制点向量或第二控制点向量中的至少一个的搜索范围可以小于第三控制点向量或第四控制点向量中的至少一个的搜索范围。

搜索范围内的搜索位置可以是从参考位置沿x轴方向偏移p且沿y轴方向偏移q的位置。例如，当p和q是-1到1范围内的整数时，搜索范围内以整数像素为单位的搜索位置的数量可以最多为9。可替选地，当p和q是-2至2范围内的整数时，搜索范围内以整数像素为单位的搜索位置的数量最多可以为25。然而，不限于此，p和q可以在大小(绝对值)大于2的整数之间，并且能够以分数像素为单位执行搜索。

无论控制点向量的位置如何，都可以使用相同的搜索精度。可替选地，可以根据控制点向量的位置来使用不同的搜索精度。例如，可用的搜索精度可以是1/16、1/8、1/4、1/2、1、2、4、8、16等。诸如1/16、1/8的高搜索精度用于第一个控制点向量。对于第二控制点向量、第三控制点向量或第四控制点向量，可以使用比第一控制点向量低的搜索精度，例如1/8或1/4。可替选地，可以基于以仿射模式编译的邻近块的位置和/或大小来自适应地确定每个控制点向量的搜索精度。例如，在当前块的左邻近块是以仿射模式编译的块时，与左邻近块邻近的第一控制点向量或第三控制点向量中的至少一个的搜索精度可以高于第二控制点向量或第四控制点向量中的至少一个的搜索精度。在当前块的顶部邻近块是以仿射模式编译的块时，与顶部邻近块邻近的第一控制点向量或第二控制点向量中的至少一个的搜索精度可以高于对于第三控制点向量或第四控制点向量中的至少一个的搜索精度。

下面，为了便于解释，假设当前块具有两个控制点向量(即，第一和第二控制点向量)，以整数像素为单位执行搜索，并且p和q是为-1到1范围中的整数。

参考图7，可以基于搜索范围来确定SAD(绝对差之和)阵列(S710)。

SAD阵列(sadArray)可以包括针对搜索范围内的每个搜索位置计算的多个SAD。每个SAD可以被确定为在两个方向上搜索的至少两个块之间的样本差。在这种情况下，在L0方向上搜索的块被称为L0块，并且在L1方向上搜索的块被称为L1块。

SAD可以基于属于L0/L1块的所有样本来计算，或者可以基于L0/L1块内的一些样本来计算。

这里，一些样本可以指的是L0/L1块的子块，并且子块的宽度或高度中的至少一个可以是L0/L1块的宽度或高度的一半。也就是说，L0和L1块可以具有WxH的大小，并且一些样本可以是具有WxH/2、W/2xH或W/2xH/2的大小的子块。在这种情况下，当一些样本是WxH/2时，一些样本可以是L0/L1块内的顶部子块(或底部子块)。当一些样本是W/2xH时，一些样本可以是L0/L1块内的左子块(或右子块)。当一些样本是W/2xH/2时，一些样本可以是L0/L1块内的左上子块，但不限于此。

可替选地，一些样本可被定义为L0/L1块的偶数编号样本行中的至少一个或奇数编号样本行中的至少一个。在这种情况下，样本行可以是垂直样本行或水平样本行。

可替选地，一些样本可以表示编码/解码装置中的预定义位置的样本。例如，预定义位置的样本可以表示L0/L1块内的左上样本、右上样本、左下样本、右下样本、中心样本中的至少一个，与当前块边界邻近的样本列/行的中心样本、或者位于当前块中对角线上的样本。

下面，对确定SAD阵列的方法进行详细描述。

实施例1

SAD阵列可以包括通过基于第一控制点向量的搜索计算的一个或多个SAD。

具体地，可以基于预定偏移来修改当前块的第一控制点向量。修改的第一控制点向量可以指示从第一控制点向量指示的位置移位预定偏移的位置，即，搜索位置。修改的第一控制点向量可以被定义为基于偏移确定的搜索位置与当前块的位置之间的视差向量。

可以基于修改的第一控制点向量和第二控制点向量来导出当前块的运动向量。在这种情况下，当前块可以被划分为一个或多个子块，并且能够以子块为单位导出运动向量。属于当前块的一个或多个子块中的每个可以具有与子块的中心位置相对应的L0/L1运动向量。然而，不限于此，并且可以导出与每个子块的左上位置、左下位置、右上位置或右下位置之一相对应的L0/L1运动向量。

在下文中，将详细描述基于修改的第一控制点向量和第二控制点向量以子块为单位导出运动向量的方法。

子块单位运动向量导出方法Ⅰ

在本实施例中，能够以相同/相似的方式应用稍后参考图8描述的子块单位运动向量导出方法。也就是说，可以使用修改的第一控制点向量、第二控制点向量、子块的位置或当前块的宽度中的至少一个来导出当前块中的每个子块的运动向量。

例如，可以如等式11中那样导每个子块的运动向量出。在等式11中，v0可以指修改后的第一控制点向量，并且vl可以指第二控制点向量。(x，y)可以表示子块的位置，w可以表示当前块的宽度。

子块单位运动向量导出方法Ⅱ

与子块单位运动向量导出方法I不同，当前块的原始第一控制点向量可用于导出以当前块的子块单位的运动向量。即，基于先前针对当前块导出的第一控制点向量和第二控制点向量，能够以当前块的子块为单位导出运动向量。为此，可以同样地应用稍后参考图8描述的子块单位运动向量导出方法。

可以基于修改的第一控制点向量与第一控制点向量之间的差(即，偏移)来修改每个子块的运动向量。例如，可以通过将偏移添加到每个子块的运动向量来导出每个子块的修改的运动向量。在这种情况下，与上述子块单位运动向量导出方法I不同，可以省略基于修改的第一控制点向量和第二控制点向量来确定以子块为单位的运动向量的处理，并且进一步，可以简化子块单位运动向量导出过程。

当前块的子块可以是4x4或8x8正方形块。可替选地，当前块的子块可以是非正方形块，例如2x8或8x2，或者大于8x8的正方形或非正方形块。可以在编码/解码装置中预定义子块的单位。可替选地，可以基于大小/形状、块位置、帧间预测模式、分量类型、当前块的仿射模型的类型或者控制点向量的大小来自适应地确定子块的单位。

这里，划分为一个或多个子块是为了确定SAD，但这可以被设置为与在步骤S430中用于导出当前块的运动向量的子块的单位相同。在这种情况下，能够以相同/相似的方式应用稍后将参考图8描述的子块确定方法，并且这里将省略详细描述。可替选地，用于确定SAD的子块的单位可以独立于步骤S430中的子块的单位来确定，并且因此可以具有与步骤S430中的子块不同的大小和/或形状。

可以基于以子块为单位的运动向量来指定L0块和L1块。可以基于指定的L0块和L1块之间的样本差来计算SAD。

通过上述过程，可以分别计算与在解码装置中预定义的偏移相对应的SAD，并且计算出的SAD中的至少一个可以被包括在SAD阵列中。

另外，SAD阵列还可以包括通过基于第二控制点向量的搜索计算出的一个或多个SAD。

如在基于第一控制点向量的搜索过程中看到的，可以基于预定偏移来修改当前块的第二控制点向量。基于修改的第二控制点向量和第一控制点向量，能够以当前块的子块为单位导出运动向量。可以基于以子块为单位的运动向量来指定L0块和L1块。可以基于指定的L0块和L1块之间的样本差来计算SAD。

下面，将详细描述用于指定L0/L1块的方法。

基于以属于当前块的子块为单位的运动向量，可以指定与属于当前块的子块中的每个相对应的L0/L1子块。在这种情况下，L0块可以被指定为指定的L0子块的组，并且L1块可以被指定为指定的L1子块的组。

可替选地，可以基于属于当前块的子块之中的与要搜索的控制点向量的位置相对应的子块来指定L0/L1块。

例如，当执行上述基于第一控制点向量的搜索时，L0/L1块可以被指定为由当前块中的左上子块的运动向量指定的L0/L1子块。可替选地，当执行上述第二基于控制点向量的搜索时，L0/L1块可以被指定为由当前块中的右上子块的运动向量指定的L0/L1子块。

可替选地，可以基于属于当前块的子块以及与该子块邻近的至少一个邻近子块之中的与要搜索的控制点向量的位置相对应的子块来指定L0/L1块。

例如，当执行上述基于第一控制点向量的搜索时，L0/L1块可以被指定为一组L0/L1子块，每个L0/L1子块由当前块中的左上子块和与左上子块邻近的至少一个邻近子块的运动向量指定。这里，邻近子块可以包括与当前块的左上子块邻近的右子块、底部子块或右下子块中的至少一个。同时，与左上子块相对应的L0/L1子块可以由修改的第一控制点向量或原始第一控制点向量而不是与左上子块的中心位置相对应的运动向量来指定。

当执行上述基于第二控制点向量的搜索时，L0/L1块可以被指定为各自由当前块中的右上子块以及至少一个与右上子块邻近的邻近子块的运动向量指定的一组L0/L1子块。这里，邻近子块可以包括与当前块的右上子块邻近的左子块、底部子块或左下子块中的至少一个。同时，与右上子块相对应的L0/L1子块可以由修改的第二控制点向量或原始第二控制点向量来指定，而不是由与右上子块的中心位置相对应的运动向量来指定。

实施例2

SAD阵列可以包括通过基于第一控制点向量的搜索计算出的一个或多个SAD。

可以基于修改的第一控制点向量来指定用于计算SAD的L0/L1块。可以基于指定的L0块和L1块之间的样本差来计算SAD。

同样，可以基于预定偏移来修改当前块的第二控制点向量。可以基于修改的第二控制点向量来指定用于计算SAD的L0/L1块。可以基于指定的L0块和L1块之间的样本差来计算SAD。通过上述过程，可以分别计算与在解码装置中预定义的偏移相对应的SAD，并且计算出的SAD中的至少一个可以被包括在SAD阵列中。

下面，将详细描述指定L0/L1块的方法。

L0/L1块可以具有与当前块相同的宽度和高度。

可替选地，可以基于属于当前块的子块当中与要搜索的控制点向量的位置相对应的子块的大小来确定L0/L1块的大小。

例如，当执行基于第一控制点向量的搜索时(即，当要搜索的控制点向量是第一控制点向量时)，L0/L1块可以具有与当前块的左上角子块相同的宽度和高度。可替选地，当执行基于第二控制点向量的搜索时(即，当要搜索的控制点向量是第二控制点向量时)，L0/L1块可以具有与当前块的右上子块相同的宽度和高度。

同时，如示例1所示，当前块可以被划分为一个或多个子块，这同样可以适用于示例2。

可替选地，L0/L1块可以具有与当前块中的一些子块组成的子区域相同的大小和/或形状。这里，子区域可以包括与待搜索的控制点向量的位置相对应的当前块的子块和至少一个邻近子块。

例如，当执行基于第一控制点向量的搜索时，子区域可以包括当前块的左上子块和至少一个邻近子块。这里，邻近子块可以包括与当前块的左上子块邻近的右子块、底部子块或右下子块中的至少一个。另外，邻近子块还可以包括与当前块的左上子块不邻近的至少一个块。可替选地，当执行基于第二控制点向量的搜索时，子区域可以包括当前块的右上子块和至少一个邻近子块。这里，邻近子块可以包括与当前块的右上子块邻近的左子块、底部子块或左下子块中的至少一个。另外，邻近子块还可以包括与右上子块不邻近的至少一个块。

如上所述，多个控制点向量之一的子区域可以被配置为不与另一控制点向量的子区域重叠，或者可以被配置为允许子区域之间的重叠。

实施例3

SAD阵列可以包括通过基于以子块为单位的运动向量的搜索计算的一个或多个SAD。

可以基于当前块的第一控制点向量和第二控制点向量来导出当前块的运动向量。在这种情况下，当前块可以被划分为一个或多个子块，并且能够以子块为单位导出运动向量。这与实施例1相同，在此省略重复的说明。

具体地，可以基于预定偏移来修改当前块的运动向量。修改的运动向量可以指示从由当前块的运动向量指示的位置(或者当前块的L0/L1参考块的位置)移位预定偏移的位置，即，搜索位置。修改的运动向量可以被定义为基于偏移确定的搜索位置与当前块的位置之间的视差向量。

可以基于修改的运动向量来指定用于计算SAD的L0/L1块。可以基于指定的L0块和L1块之间的样本差来计算SAD。

下面，将详细描述指定L0/L1块的方法。

可以基于以当前块的子块为单位的运动向量来指定与属于当前块的子块相对应的L0/L1子块。在这种情况下，L0块可以被指定为指定的L0子块的组，并且L1块可以被指定为指定的L1子块的组。

可替选地，可以基于属于当前块的子块之中与当前块的控制点向量的位置相对应的子块来指定L0/L1块。

例如，当针对当前块导出第一控制点向量时，L0/L1块可以被指定为由当前块的左上子块的运动向量指定的L0/L1子块。当针对当前块导出第二控制点向量时，L0/L1块可以被指定为由当前块的右上子块的运动向量指定的L0/L1子块。

可替选地，可以基于属于当前块的子块和至少一个邻近块中的与当前块的控制点向量的位置相对应的子块来指定L0/L1块。

例如，当针对当前块导出第一控制点向量时，L0/L1块可以被指定为由当前块的左上子块和至少一个邻近子块的运动向量指定的一组L0/L1子块。这里，邻近子块可以包括与当前块的左上子块邻近的右子块、底部子块或右下子块中的至少一个。可替选地，邻近子块还可以包括与左上子块不邻近的块。

当针对当前块导出第二控制点向量时，L0/L1块可以被指定为由当前块的右上子块和至少一个邻近子块的运动向量指定的一组L0/L1子块。这里，邻近子块可以包括与当前块的右上子块邻近的左子块、底部子块或左下子块中的至少一个。可替选地，邻近子块还可以包括与右上子块不邻近的块。

下面，将描述可适用于实施例1至3的偏移。

如上所见，根据本公开的偏移可以被定义为由当前块的控制点向量指示的位置与搜索位置之间的视差向量。可替选地，偏移可以被定义为由当前块的运动向量指示的位置(或者参考块的位置)与搜索位置之间的视差向量。

偏移可以包括(0，0)的非方向偏移或方向偏移中的至少一个。方向偏移可以包括左、右、上、下、左上、右上、左下或右下的至少一个方向的偏移。例如，方向偏移可以包括(-1，0)、(0，1)、(0，-1)、(0，1)、(-1，-1)、(-1，1)、(1，-1)或(1，1)中的至少一个。

关于上述偏移的大小和/或方向的信息可以同样地在编码/解码装置中预定义，或者可以在编码装置中编码并且用信号发送给解码装置。可以基于上述块属性来可变地确定该信息。可以分别针对L0方向和L1方向定义偏移。当L0方向上的偏移是(p，q)时，L1方向上的偏移可以被设置为(-p，-q)。

例如，当p和q是-1至1范围内的整数时，偏移可以如下表7所示来定义。

【表7】

i	0	1	2	3	4	5	6	7	8
										dX[i]	-1	0	1	-1	0	1	-1	0	1
dY[i]	-1	-1	-1	0	0	0	1	1	1

表7定义了用于确定每个索引的搜索位置的偏移。但表7中的索引仅用于区分偏移，并不限制该索引对应的偏移的位置。根据表7的偏移可以包括上述非方向偏移和八个方向偏移。

在这种情况下，可以基于由当前块的控制点向量指示的位置(或者参考块的位置)和(-1，-1)的偏移来确定与索引0相对应的SAD。具体地，可以将从当前块的L0控制点向量指示的位置(或者L0参考块的位置)移位(-1，-1)的偏移的位置设置为搜索位置，并且L0块可以根据实施例1至实施例3中任一实施例基于搜索位置来确定。同样，从由当前块的L1控制点向量指示的位置(或L1参考块的位置)移位(-1，-1)的偏移的位置可以被设置为搜索位置，并且可以基于搜索位置来确定L1块。索引0的SAD可以通过计算L0块和L1块之间的SAD来确定。通过上述过程，可以确定具有索引1至8的SAD，并且可以确定包括具有索引0至9的SAD的SAD阵列。

可替选地，在解码装置中预定义的九个偏移之中，可以选择性地仅使用K个偏移。这里，K可以是从2到8的任意值。例如，在表1中，可以使用三个偏移，例如[0，4，8]，[1，4，7]，[2，4，6]，[3，4，5]，可以使用五个偏移，例如[1，3，4，5，7]，[0，1，3，4，6，7]，[0，1，2，3，4，5]，或者可以使用6个偏移，例如，[0，1，3，4，6，7]，[0，1，2，3，4，5]。

另外，上述基于第一控制点向量的搜索和基于第二控制点向量的搜索可以顺序地执行或者可以同时并行地执行。通过基于第一控制点向量的搜索计算的一个或多个SAD和通过基于第二控制点向量的搜索计算的一个或多个SAD可以被包括在同一SAD阵列中。

可以通过仅执行基于当前块的一些控制点向量的搜索来确定SAD阵列。在这种情况下，剩余的控制点向量可以共享通过基于一些控制点向量的搜索确定的SAD阵列。

例如，可以限于通过仅执行基于第一控制点向量的搜索来计算SAD。可替选地，可以限于通过仅执行基于第一和第二控制点向量的搜索来计算SAD。可替选地，可以限于通过仅执行基于第一和第三控制点向量的搜索来计算SAD。

可以基于当前块的每个控制点向量来执行搜索，并且可以针对每个控制点向量确定SAD阵列。

此外，上述实施例1至3使用了双向搜索的块之间的SAD，但是该方法不限于此，并且可以将其替换为MR-SAD(均值移除SAD)，如下面的等式10中所示。

[等式10]

MR-SAD＝∑|P0–P1–diff|,diff＝(∑|P0|–∑|P1|)/(WxH)

在等式10中，P0可以表示L0块的样本值，P1可以表示L1块的样本值，并且变量diff可以表示L0块的样本值与L1块的样本值之间的差的平均值。

参考图7，可以基于属于SAD阵列的一个或多个SAD来确定增量运动向量(S720)。

可以在属于SAD阵列的SAD中识别具有最小值的SAD。可以基于与所识别的SAD相对应的偏移来更新增量运动向量。然而，当具有最小值的SAD不是与(0，0)的非方向性偏移对应的SAD时，可以更新增量运动向量。

可替选地，即使当具有最小值的SAD不是与(0，0)的非方向性偏移相对应的SAD时，也可以仅当具有最小值的SAD和与非方向偏移对应的SAD之间的差大于预定阈值时更新增量运动向量。这里，阈值可以是编码/解码装置中的预定义值，并且可以根据大小/形状、帧间预测模式、分量类型、当前块的仿射模型的类型、控制点向量的大小、L0/L1块的大小、L0/L1块中用于计算SAD的样本数等来自适应地确定。

另外，可以使用属于SAD阵列的全部或部分SAD来计算预定参数，并且可以基于所计算的参数来重新更新增量运动向量。

这里，重新更新可以是将以整数像素为单位的增量运动向量更新为分数像素为单位的增量运动向量。仅当与所识别的SAD(即，最小值的SAD)相对应的偏移的x分量或y分量中的至少一个的大小小于预定阈值时，才可以执行重新更新。这里，阈值可以是1、2、3或更大的整数。

参数可以包括与x轴方向相关的参数(dMvX)或与y轴方向相关的参数(dMvY)中的至少一个。例如，可以如下计算参数，并且为了便于解释，将基于上述表7进行描述。

可以基于sadArray[3]、sadArray[4]或sadArrays[5]中的至少一个来确定dMvX。这里，sadArray[3]可以是与偏移(-1，0)相对应的SAD，sadAlley[5]可以是与偏移(1，0)相对应的SAD，并且sadAlley[4]可以是与偏移(0，0)相对应的SAD。

可以基于sadArray[1]、sadArray[4]或sadArrays[7]中的至少一个来确定dMvY。这里，sadArray[1]可以是对应于偏移(0，-1)的SAD，并且sadArray[7]可以是对应于偏移(0，1)的SAD。

可替选地，在修改控制点向量时，可以限制以分数像素为单位的增量运动向量的重新更新处理，使得不执行该重新更新处理。

图8示出了作为本公开的实施例的以当前块的子块为单位导出运动向量的方法。

如上所述，可以通过使用当前块的控制点向量来导出当前块的运动向量。在这种情况下，当前块可以被分割为多个子块，并且能够以子块为单位导出运动向量。

子块可以具有编码/解码装置中的预定义的大小/形状。例如，子块的大小/形状可以是正方形，例如4x4、8x8、16x16等，或者是非正方形，例如2x4、2x8、4x8、4x16等。可替选地，子块可以被定义为宽度和高度之和为8、12、16或更大整数的块。可替选地，子块可以被定义为宽度和高度的乘积是16、32、64或更大的整数的块。

可替选地，可以基于上述块的属性来可变地导出子块的大小/形状。例如，在当前块的大小等于或大于预先确定的阈值大小时，能够以第一子块(例如，8x8、16x16)为单位来分割当前块，并且否则，能够以第二子块(例如，4x4)为单位来分割当前块。

可替选地，关于子块的大小/形状的信息可以在编码装置中被编码并且用信号发送给解码装置。该信息可以指示子块的大小或形状中的至少一个，并且可以在序列、图片、切片、图块、编译树单元(CTU)或编译单元的至少一级处用信号发送。

如图8所示，表示当前块800的控制点可以包括左上角位置811和右上角位置821。然而，控制点不限于此，控制点可以包括三个点：左角位置811、右上角位置821和左下角位置831，或者还可以包括多个附加点。

当使用两个控制点811和821时，可以通过使用与第一控制点811相对应的第一控制点向量810、与第一控制点811相对应的第二控制点向量810、与第二控制点821相对应的第二控制点向量820、子块的位置(x，y)或当前块的大小(w或h)中的至少一个来导出用于当前块的每个子块的运动向量。例如，可以如下面的等式10来导出每个子块的运动向量。

[等式11]

同时，在当前块具有修改的第一控制点向量和第三控制点向量时，可以使用修改的第一控制点向量、第三控制点向量、子块的位置或当前块的高度中的至少一个来导出当前块中的每个子块的运动向量。

当使用三个控制点时，可以通过使用与第一控制点911相对应的第一控制点向量910、对应于第二控制点921的第二控制点向量920、对应于第三控制点931的第三控制点向量930、子块的位置(x，y)或当前块的大小(w或h)中的至少一个来导出用于当前块的每个子块的运动向量。在这种情况下，可以使用第二控制点向量与第一控制点向量之间的差向量，并且可以使用第三控制点向量与第一控制点向量之间的差向量。可以针对水平方向(x轴方向)和垂直方向(y轴方向)中的每个来计算差向量。

参考图4，已经描述了在解码装置中执行的基于仿射模型的帧间预测方法，并且这可以等同地在解码装置的帧间预测器332中执行。因此，这里将省略多余的描述。

参考图9，帧间预测器单元332可以包括控制点向量导出器900、运动向量导出器910和预测样本生成器920。

控制点向量导出器900可以生成用于预测当前块的运动信息的候选列表。候选列表可以由多个候选组成，包括仿射候选、基于子块的时间候选或零运动向量候选中的至少一个。另外，控制点向量导出器900可以基于预定优先级重新排列多个候选的全部或部分。

控制点向量导出器900可以基于候选列表和候选索引导出当前块的控制点向量。

另外，控制点向量导出器900可确定用于修改当前块的控制点向量的增量运动向量，并且可以基于所确定的增量运动向量来修改当前块的控制点向量。已经参考图7详细描述了用于确定增量运动向量的方法，这里省略详细说明。

控制点向量导出器900可以修改所有预先导出的控制点向量或者可以选择性地仅修改一些控制点向量。其中，一些进行修改的控制点向量可以根据编解码装置中预定义的角位置来确定，或可以根据当前块的仿射模型的类型、以仿射模式编译的邻近块的位置等来确定。

控制点向量导出器900可以基于上述条件1至8中的至少一个来自适应地执行控制点向量的修改。控制点向量导出器900可以基于上述第一至第四标志中的至少一个自适应地执行控制点向量的修改。

运动向量导出器910可以基于修改的控制点向量导出当前块的运动向量。能够以当前块的子块为单位导出运动向量，并且为此目的，可以将当前块划分为多个子块。以当前块的子块为单位导出运动向量的方法如参考图8所描述的，这里省略详细说明。

可替选地，运动向量导出器910可以基于原始控制点向量导出当前块的运动向量，并且可以通过将上述增量运动向量应用到导出的运动向量来修改运动向量。在这种情况下，控制点向量导出器900可以不执行基于增量运动向量修改控制点向量的过程。

预测样本生成器920可以使用导出的(或修改的)运动向量对当前块执行帧间预测。

图10示出作为根据本公开的实施例的由编码装置执行的基于仿射模型的帧间预测方法。

在下文中，参考图4，已经描述了在解码装置中执行的基于仿射模型的帧间预测方法，其可以等同地/类似地应用于在编码装置中执行的基于仿射模型的帧间预测方法。因此，这里将省略多余的描述。

参考图10，可以生成用于预测当前块的运动信息的候选列表(S1000)。

候选列表可以由包括仿射候选、基于子块的时间候选或零运动向量候选中的至少一个的多个候选组成。另外，候选列表中的多个候选的全部或部分可以基于预定优先级被重新排列。

参考图10，可以基于候选列表来确定当前块的控制点向量(S1010)。

可以在属于候选列表的多个候选之中确定最佳候选，并且可以基于所确定的最佳候选来确定当前块的控制点向量。在这种情况下，可以对指定用于确定当前块的控制点向量的最佳候选的候选索引进行编码。

参考图10，可以基于预定的增量运动向量来修改控制点向量(S1020)。

可以确定用于修改当前块的控制点向量的增量运动向量，并且可以基于所确定的增量运动向量来修改当前块的控制点向量。已经参考图7详细描述了用于确定增量运动向量的方法，这里省略详细说明。

可以修改在步骤S1010中导出的所有控制点向量，或者可以选择性地修改仅一些控制点向量。其中一些进行修改的控制点向量可以根据编码/解码装置中预定义的角点位置来确定，也可以根据当前块的仿射模型的类型、以仿射模式编译的邻近块的位置等来确定。

可以通过考虑由候选索引指定的候选的类型来自适应地执行控制点向量的修改。可以基于上述条件1至8中的至少一个来自适应地执行控制点向量的修改。为了自适应地执行控制点向量的修改，上述第一至第四标志中的至少一个可以被编码。

参考图10，可以基于修改的控制点向量来导出当前块的运动向量(S1030)。

能够以当前块的子块为单位导出运动向量，并且为此，当前块可以被划分为多个子块。以当前块的子块为单位导出运动向量的方法如参考图8所描述的，这里省略详细说明。

步骤S1020中描述的控制点向量修改方法能够以相同/相似的方式应用于修改基于当前块的原始控制点向量导出的运动向量。在这种情况下，可以省略步骤S1020中的控制点向量修改过程。

参考图10，可以使用导出的(或修改的)运动向量对当前块执行帧间预测(S1040)。

可以基于运动向量来指定与当前块的每个子块相对应的参考子块，并且可以基于指定的参考子块来获得当前块内的子块的预测块。可以通过基于当前块的预测块对当前块进行编码来生成比特流。

参考图10，已经描述了在编码装置中执行的基于仿射模型的帧间预测方法，并且这可以等同地在编码装置的帧间预测器221中执行。因此，这里将省略多余的描述。

参考图11，帧间预测器221可以包括控制点向量确定器1100、运动向量导出器1110和预测样本生成器1120。

控制点向量确定器1100可以生成用于预测当前块的运动信息的候选列表。候选列表可以由多个候选组成，包括仿射候选、基于子块的时间候选和零运动向量候选中的至少一个。另外，控制点向量确定器1100可以基于预定优先级对多个候选的全部或部分重新排序。

控制点向量确定器1100可以确定候选列表中包括的多个候选之中的最佳候选，并且可以基于所确定的最佳候选来确定当前块的控制点向量。在这种情况下，熵编码器240可以对指定用于确定当前块的控制点向量的最佳候选的候选索引进行编码，并将其插入比特流中。

另外，控制点向量确定器1100可以确定用于修改当前块的控制点向量的增量运动向量，并且可以基于所确定的增量运动向量来修改当前块的控制点向量。已经参考图7详细描述了用于确定增量运动向量的方法，这里省略详细说明。

控制点向量确定器1100可以修改所有先前导出的控制点向量或者可以选择性地仅修改一些控制点向量。其中，一些进行修改的控制点向量可以根据编码/解码装置中预定义的角位置来确定，也可以根据当前块的仿射模型的类型、以仿射模式的编码邻近块的位置等来确定。

控制点向量确定器1100可以通过考虑由候选索引指定的候选的类型来自适应地执行控制点向量的修改。控制点向量确定器1100可以基于上述条件1至8中的至少一个来自适应地执行控制点向量的修改。控制点向量确定器1100可确定上述第一至第四标志中的至少一个。以便自适应地执行控制点向量的修改。在这种情况下，熵编码器240可以对确定的第一至第四标志中的至少一个进行编码并将其插入比特流中。

运动向量导出器1110可以基于修改的控制点向量导出当前块的运动向量。能够以当前块的子块为单位导出运动向量，为此，可以将当前块划分为多个子块。以当前块的子块为单位导出运动向量的方法如参考图8所描述的，这里省略详细说明。

可替选地，运动向量导出器1110可以基于原始控制点向量导出当前块的运动向量，并且可以通过将上述增量运动向量应用到导出的运动向量来修改运动向量。在这种情况下，控制点向量确定器1100可以不执行基于增量运动向量修改控制点向量的处理。

预测样本生成器1120可以使用导出的(或修改的)运动向量对当前块执行帧间预测。

在上述实施例中，基于流程图将方法描述为一系列步骤或框，但是相应的实施例不限于步骤的顺序，并且一些步骤可以同时发生或者以与如上所述的其他步骤不同的顺序发生。另外，本领域的技术人员可以理解，流程图所示的步骤并不是排他性的，并且在不影响本公开的实施例的范围的情况下可以包括其他步骤或者可以删除流程图中的一个或多个步骤。

根据本公开的实施例的上述方法能够以软件的形式实现，并且根据本公开的编码设备和/或解码设备可以被包括在执行图像处理的设备中，诸如TV、电脑、智能手机、机顶盒、显示设备等。

在本公开中，当实施例被实现为软件时，上述方法可以被实现为执行上述功能的模块(进程、功能等)。模块可以存储在存储器中并且可以由处理器执行。存储器可以位于处理器内部或外部，并且可以通过各种众所周知的手段连接到处理器。处理器可以包括专用集成电路(ASIC)、另一芯片组、逻辑电路和/或数据处理设备。存储器可以包括只读存储器(ROM)、随机存取存储器(RAM)、闪存、存储器卡、存储介质和/或其他存储设备。换句话说，本文描述的实施例可以通过在处理器、微处理器、控制器或芯片上实现来执行。例如，每个附图中所示的功能单元可以通过在计算机、处理器、微处理器、控制器或芯片上实现来执行。在这种情况下，用于实现的信息(例如，关于指令的信息)或算法可以被存储在数字存储介质中。

另外，应用本公开的实施例的解码设备和编码设备可以被包括在多媒体广播发送和接收设备、移动通信终端、家庭影院视频设备、数字影院视频设备、监控摄像头、视频会话设备、如视频通信的实时通信设备、移动流传输设备、存储介质、摄像机、用于提供视频点播(VoD)服务的设备、顶置视频(OTT)设备、用于提供互联网流传输服务的设备、三维(3D)视频设备、虚拟现实(VR)设备、增强现实(AR)设备、可视电话视频设备、运输工具终端(例如，车辆(包括自动驾驶车辆)终端、飞机终端、轮船终端等)和医疗视频设备等，可以被用于处理视频信号或数据信号。例如，顶置视频(OTT)设备可以包括游戏控制台、蓝光播放器、联网的TV、家庭影院系统、智能手机、平板电脑、数字录像机(DVR)等等。

另外，应用本公开的实施例的处理方法能够以由计算机执行的程序的形式产生，并且可以被存储在计算机可读记录介质中。具有根据本公开的实施例的数据结构的多媒体数据也可以存储在计算机可读记录介质中。计算机可读记录介质包括存储计算机可读数据的所有类型的存储设备和分布式存储设备。计算机可读记录介质可以包括例如蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘以及光学媒体存储设备。另外，计算机可读记录介质包括以载波形式实现的介质(例如，经由互联网传输)。另外，通过编码方法生成的比特流可以被存储在计算机可读记录介质中或者可以通过有线或无线通信网络来发送。

另外，本公开的实施例可以通过程序代码由计算机程序产品来实现，并且该程序代码可以由本公开的实施例在计算机上执行。该程序代码可以存储在计算机可读载体上。

图12示出可以应用本公开的实施例的内容流传输系统的示例。

参考图12，应用本公开的实施例的内容流传输系统可以主要包括编码服务器、流传输服务器、web服务器、媒体存储、用户设备和多媒体输入设备。

编码服务器通过将从诸如智能手机、相机、摄像机等的多媒体输入设备输入的内容压缩成数字数据来生成比特流，并将其发送到流传输服务器。作为另一示例，当诸如智能手机、相机、摄像机等的多媒体输入设备直接生成比特流时，可以省略编码服务器。

可以通过应用本公开的实施例的编码方法或比特流生成方法来生成比特流，并且流传输服务器可以在发送或接收比特流的过程中临时存储比特流。

流传输服务器基于用户的请求通过web服务器将多媒体数据发送到用户设备，并且web服务器用作通知用户什么服务可用的媒介。当用户向web服务器请求所需的服务时，web服务器将其递送到流传输服务器，并且流传输服务器将多媒体数据发送给用户。在这种情况下，内容流传输系统可以包括单独的控制服务器，并且在这种情况下，控制服务器控制内容流传输系统中的每个设备之间的命令/响应。

流传输服务器可以从媒体存储和/或编码服务器接收内容。例如，当从编码服务器接收内容时，可以实时接收内容。在这种情况下，为了提供平滑的流媒体服务，流传输服务器可以在某个时间段内存储比特流。

用户设备的示例可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航、平板PC、平板电脑、超级本、可穿戴设备(例如，智能手表、智能眼镜、头戴式显示器(HMD)、数字电视、台式机、数字标牌等)。

内容流传输系统中的每个服务器可以被操作为分布式服务器，并且在这种情况下，从每个服务器接收到的数据可以被分发和处理。

本文阐述的权利要求能够以各种方式组合。例如，本公开的方法权利要求的技术特征可以组合并实现为设备，并且本公开的设备权利要求的技术特性可以被组合并实现为方法。另外，本公开的方法权利要求的技术特性和设备权利要求的技术特性可以组合并实现为设备，并且本公开的方法权利要求的技术特性和设备权利要求的技术特性可以被组合并实现为方法。

Claims

1.一种图像解码方法，包括：

生成用于预测当前块的第一运动向量的候选列表；

基于所述当前块的候选索引和搜索候选列表来导出所述当前块的控制点向量，所述控制点向量包括与所述当前块的左上角位置相对应的第一控制点向量、与所述当前块的右上角位置相对应的第二控制点向量、与所述当前块的左下角位置相对应的第三控制点向量、或与所述当前块的右下角位置相对应的第四控制点向量中的至少两个；

基于预定的增量运动向量来修改所述当前块的所述控制点向量；

基于修改的控制点向量来导出所述当前块的所述第一运动向量；以及

使用所述当前块的所述第一运动向量对所述当前块执行帧间预测。

2.根据权利要求1所述的方法，其中，修改所述当前块的所述控制点向量包括：

确定用于修改所述控制点向量的搜索范围；

基于所述搜索范围来确定绝对差的和(SAD)阵列，所述SAD阵列包括针对所述搜索范围内的每个搜索位置计算的多个SAD；以及

基于属于所述SAD阵列的所述多个SAD来确定所述增量运动向量。

3.根据权利要求2所述的方法，其中，确定所述SAD阵列包括：

通过将预定偏移应用于所述当前块的所述控制点向量之一来导出修改的控制点向量；

基于所述修改的控制点向量和任何其他所述控制点向量，以所述当前块的子块为单位导出第二运动向量；以及

计算基于所述导出的第二运动向量指定的L0块和L1块之间的SAD。

4.根据权利要求3所述的方法，其中，所述L0块和所述L1块由分别与属于所述当前块的子块相对应的L0子块和L1子块组成。

5.根据权利要求3所述的方法，其中，基于所述当前块中的子块之中的与所述修改的控制点向量的位置相对应的子块来指定所述L0块和所述L1块。

6.根据权利要求3所述的方法，其中，基于所述当前块中的子块当中的与所述修改的控制点向量的位置相对应的子块以及与所述子块邻近的至少一个邻近子块来指定所述L0块和所述L1块。

7.根据权利要求2所述的方法，其中，确定所述SAD阵列包括：

通过将预定偏移应用于所述当前块的所述控制点向量之一来导出修改的控制点向量；以及

计算基于所述修改的控制点向量指定的L0块和L1块之间的SAD。

8.根据权利要求2所述的方法，其中，确定所述SAD阵列包括：

基于所述当前块的所述控制点向量来导出所述当前块的第二运动向量；

通过将预定偏移应用于所述当前块的所述第二运动向量来导出修改的第二运动向量；以及

计算基于所述修改的第二运动向量指定的L0块和L1块之间的SAD。

9.根据权利要求1所述的方法，其中，通过考虑属于所述候选列表的多个候选之中的由所述候选索引指示的候选的类型来自适应地执行修改所述控制点向量。

10.根据权利要求1所述的方法，其中，基于指示是否允许对以仿射模式编译的块的控制点向量进行修改的第一标志或指示是否允许对所述控制点向量应用修改的第二标志中的至少一个，来自适应地执行修改所述控制点向量。

11.根据权利要求1所述的方法，其中，通过考虑以仿射模式编译的邻近块的位置或者所述当前块的仿射模型的类型中的至少一个来确定所述当前块的所述控制点向量当中的要修改的控制点向量。

12.根据权利要求1所述的方法，其中，所述当前块的所述控制点向量之一与所述当前块的所述控制点向量中的另一个共享相同的所述增量运动向量。

13.根据权利要求1所述的方法，其中，基于所述修改的控制点向量的数量来改变所述当前块的仿射模型的类型。

14.一种图像编码方法，包括：

生成用于预测当前块的第一运动向量的候选列表；

基于所述候选列表来确定所述当前块的控制点向量，所述控制点向量包括与所述当前块的左上角位置相对应的第一控制点向量或与所述当前块右上角位置相对应的第二控制点向量中的至少一个。

15.一种计算机可读存储介质，所述计算机可读存储介质存储通过根据权利要求14所述的图像编码方法生成的比特流。

16.一种传输用于图像信息的数据的方法，所述方法包括：

生成用于预测当前块的第一运动向量的候选列表；

基于所述候选列表来确定所述当前块的控制点向量，所述控制点向量包括与所述当前块的左上角位置相对应的第一控制点向量或与所述当前块的右上角位置相对应的第二控制点向量中的至少一个；

基于修改的控制点向量来导出所述当前块的所述第一运动向量；

使用所述当前块的所述第一运动向量对所述当前块进行帧间预测；

通过基于通过所述帧间预测生成的所述当前块的预测块对所述当前块进行编码来生成比特流；以及

传输包括所述比特流的数据。