CN111903123A

CN111903123A - 基于帧间预测模式的图像处理方法和用于该方法的装置

Info

Publication number: CN111903123A
Application number: CN201980021678.9A
Authority: CN
Inventors: 张炯文
Original assignee: LG Electronics Inc
Current assignee: Nokia Technologies Oy
Priority date: 2018-07-02
Filing date: 2019-07-02
Publication date: 2020-11-06
Anticipated expiration: 2039-07-02
Also published as: KR102496711B1; US11095905B2; US20240121409A1; CN117812256A; KR102720689B1; CN117812258A; KR102720689B9; WO2020009447A1; US12418664B2; KR20200078647A; EP3737092A1; US11711524B2; CN111903123B; JP2021516006A; KR20240154102A; US20200389653A1; US20210360265A1; EP3737092A4; CN117812257A; KR20230022267A

Abstract

公开了对视频信号进行解码的方法和用于该方法的装置。具体地，一种基于帧间预测模式对图像进行解码的方法包括以下步骤：通过使用当前块的空间合并候选和时间合并候选来生成合并候选列表的步骤；获取指示来自所述合并候选列表的特定合并候选的合并索引的步骤；以及通过使用所述特定合并候选的运动信息来生成所述当前块的预测块的步骤，其中，生成所述合并候选列表的步骤可以包括当所述空间合并候选的参考图片与预定图片相同时将指示由所述空间合并候选的运动信息指定的并置块的第一合并候选添加到所述合并候选列表的步骤。

Description

基于帧间预测模式的图像处理方法和用于该方法的装置

技术领域

本公开涉及静止图像或运动图像处理方法，并且更具体地，涉及基于帧间预测模式对静止图像或运动图像进行编码/解码的方法和支持该方法的设备。

背景技术

压缩编码意指用于通过通信线路传输数字化信息的一系列信号处理技术或用于以适于存储介质的形式存储信息的技术。包括图片、图像、音频等的媒体可以是压缩编码的目标，并且具体地，执行以图片为目标的压缩编码的技术被称为视频图像压缩。

下一代视频内容应该具有高空间分辨率、高帧频和高维度场景呈现的特性。为了处理这些内容，将导致存储器存储、存储器访问速率和处理能力急剧增加。

因此，需要设计用于高效处理下一代视频内容的编码工具。

发明内容

技术问题

本公开的实施方式提供了基于时间运动信息的相似性来减少执行帧间预测(或帧间的预测)时的硬件资源使用的方法和装置。

本公开的技术目的不限于以上提到的技术目的，并且本领域的普通技术人员将根据下面的描述而清楚地理解以上未提到的其它技术目的。

技术方案

在本公开的一方面，一种基于帧间预测模式对图像进行解码的方法包括以下步骤：通过使用当前块的空间合并候选和时间合并候选来生成合并候选列表；获得指示所述合并候选列表中的特定合并候选的合并索引；以及通过使用所述特定合并候选的运动信息来生成所述当前块的预测块，其中，所述合并候选列表的生成可以包括：如果所述空间合并候选的参考图片与预定图片相同，则将指示由所述空间合并候选的所述运动信息指定的并置块的第一合并候选添加到所述合并候选列表中。

作为实施方式，所述合并候选列表的生成还可以包括确定先前添加到所述合并候选列表的空间合并候选的搜索顺序，其中，可以基于所述搜索顺序在所述合并候选列表中选择所述空间合并候选。

作为实施方式，可以基于所述当前块的切片类型、由高级语法定义的特定参考图片列表以及所述当前块的参考图片列表中所包括的所有参考图片的图片顺序号POC是否等于或小于所述当前块的POC中的至少一个来确定所述搜索顺序。

作为实施方式，如果所述合并索引指示所述第一合并候选，则可以通过使用所述第一合并候选的子块的运动信息来生成所述预测块。

作为实施方式，所述合并候选列表的生成可以包括如果所述空间合并候选的参考图片与所述预定图片不同，则将指示通过缩放所述空间合并候选的所述运动信息而指定的另一并置块的第二合并候选添加到所述合并候选列表。

在本公开的另一方面，一种基于帧间预测模式对图像进行解码的设备包括：合并候选列表生成单元，该合并候选列表生成单元被配置为通过使用当前块的空间合并候选和时间合并候选来生成合并候选列表；合并索引获得单元，该合并索引获得单元被配置为获得指示所述合并候选列表中的特定合并候选的合并索引；以及预测块生成单元，该预测块生成单元被配置为通过使用所述特定合并候选的运动信息来生成所述当前块的预测块，其中，所述合并候选列表生成单元可以被配置为如果所述空间合并候选的参考图片与预定图片相同，则将指示由所述空间合并候选的所述运动信息指定的并置块的第一合并候选添加到所述合并候选列表中。

作为实施方式，所述合并候选列表生成单元可以被配置为确定先前添加到所述合并候选列表的所述空间合并候选的搜索顺序，其中，可以基于所述搜索顺序在所述合并候选列表中选择所述空间合并候选。

作为实施方式，如果所述合并候选索引指示所述第一合并候选，则可以通过使用所述第一合并候选的子块的运动信息来生成所述预测块。

作为实施方式，所述合并候选列表生成单元被配置为如果所述空间合并候选的参考图片与所述预定图片不同，则添加指示通过缩放所述空间合并候选的所述运动信息而指定的另一并置块的第二合并候选。

有益效果

根据本公开的实施方式，通过使用已经解码的图片的运动信息，可以在执行预测块时增加存储器高速缓存命中率。

此外，根据本公开的实施方式，通过使用已经解码的图片的运动信息，可以在使执行帧间预测时最小化存储器使用的同时增加计算速度。

本公开中能获得的效果不限于以上提到的效果，并且本领域的技术人员将根据以下描述清楚地理解其它未提到的效果。

附图说明

为了帮助理解本公开，被包括作为具体实施方式的一部分的附图提供了本公开的实施方式并且与具体实施方式一起描述本公开的技术特征。

图1是作为应用本公开的实施方式的执行视频/图像信号的编码的编码装置的示意性框图。

图2是作为应用本公开的实施方式的执行视频/图像信号的解码的解码装置的示意性框图。

图3是例示了作为可以应用本公开的实施方式的多类型树结构的示例的示图。

图4是例示了作为可以应用本公开的实施方式的具有嵌套的多类型树结构的四叉树的分区分割信息的信令机制的示图。

图5是例示了作为可以应用本公开的实施方式的基于四叉树和嵌套的多类型树结构将CTU分割成多个CU的方法的示图。

图6是例示了作为可以应用本公开的实施方式的用于限制三叉树分割的方法的示图。

图7是例示了作为可以应用本公开的实施方式的在二叉树分割和三叉树分割时可能出现的冗余分割模式的示图。

图8和图9是例示了根据本公开的实施方式的基于帧间预测的视频/图像编码方法和根据本公开的实施方式的编码装置中的帧间预测单元的示图。

图10和图11是例示了根据本公开的实施方式的基于帧间预测的视频/图像解码方法和根据本公开的实施方式的解码装置中的帧间预测单元的示图。

图12是用于描述作为应用本公开的实施方式的在合并模式或跳过模式下使用的邻近块的示图。

图13是例示了根据应用本公开的实施方式的配置合并候选列表的方法的流程图。

图14是例示了根据应用本公开的实施方式的配置合并候选列表的方法的流程图。

图15和图16是用于描述作为应用本公开的实施方式的推导高级时间运动矢量预测(ATMVP)候选的方法的示图。

图17是用于描述作为应用本公开的实施方式的推导高级时间运动矢量预测(ATMVP)候选的方法的示图。

图18例示了根据应用本公开的实施方式的为了对当前图片进行解码而预先定义参考图片获取运动信息的方法的示例。

图19例示了作为应用本公开的实施方式的当前图片的参考列表的配置的示例。

图20例示了作为应用本公开的实施方式的针对与当前块相邻的邻近块的每种预测模式和每个预测方向的参考图片的配置的示例。

图21例示了根据应用本公开的实施方式的用于生成空间候选列表的搜索顺序的示例。

图22是例示了根据应用本公开的实施方式的用于生成空间候选列表的搜索顺序的另一示例。

图23例示了作为应用本公开的实施方式的当前图片的参考图片列表的配置的另一示例。

图24例示了作为应用本公开的实施方式的针对与当前块相邻的邻近块的每种预测模式和每个预测方向的参考图片的配置的另一示例。

图25是例示了根据应用本公开的实施方式的作为用于生成空间候选列表的搜索顺序的示例的基于参考图片是否具有比当前图片的图片顺序号(POC)低的POC来确定的搜索顺序的示例。

图26和图27分别例示了根据应用本公开的实施方式的作为用于生成空间候选列表的搜索顺序的通过考虑以较高级语法定义的优先方向而配置的搜索顺序的示例。

图28和图29例示了作为应用本公开的实施方式的通过考虑当前图片的图片顺序号(POC)和参考图片的POC而预先定义的参考图片的示例。

图30和图31例示了作为应用本公开的实施方式的选择针对ATMVP的空间候选的方法的示例。

图32例示了作为应用本公开的实施方式的通过缩放一个空间候选的运动矢量推导时间运动矢量的方法的示例。

图33和图34例示了作为应用本公开的实施方式的基于后向映射来推导空间运动矢量的方法的示例。

图35是根据应用本公开的实施方式的产生预测块的流程图。

图36是例示了根据应用本公开的实施方式的帧间预测装置的示图。

图37例示了应用本公开的视频编码系统。

图38是作为应用本公开的实施方式的内容流传输系统的结构示图。

具体实施方式

下文中，将参照附图来描述本公开的优选实施方式。下面将利用附图描述的说明书是为了描述本公开的示例性实施方式，而不旨在描述能实现本公开的唯一实施方式。下面的描述包括特定细节，以便提供对本公开的完全理解。然而，要理解，本领域的技术人员可以在没有特定细节的情况下实施本公开。

在一些情况下，为了防止本公开的技术构思不清楚，可以省略公知的结构或器件，或者可以将这些结构或器件描绘为侧重于结构或器件的核心功能的框图。

另外，尽管当前广泛使用的常用术语被尽可能地选择为本公开中的术语，但是在特定情况下使用由申请人任意选择的术语。由于在这种情况下将在说明书的对应部分中清楚地描述该术语的含义，因此要理解，本公开不会简单地通过仅在本公开的说明书中使用的术语来解释，而是应该弄清术语的含义。

可以提供用于以下描述的特定术语，以有助于理解本公开。此外，可以在本公开的技术构思的范围内，将特定术语修改为其它形式。例如，可以在每个编码处理中适当地替代和解释信号、数据、样本、图片、帧、块等。

下文中，在本公开中，“处理单元”意指执行诸如预测、变换和/或量化这样的编码/解码处理过程的单元。下文中，为了便于描述，处理单元也可以被称为“处理块”或“块”。

处理单元可以被解释为包括用于亮度分量的单元和用于色度分量的单元的含义。例如，处理单元可以对应于编码树单元(CTU)、编码单元(CU)、预测单元(PU)或变换单元(TU)。

此外，处理单元可以被解释为用于亮度分量的单元或用于色度分量的单元。例如，处理单元可以对应于用于亮度分量的编码树块(CTB)、编码块(CB)、预测块(PB)或变换块(TB)。另选地，处理单元可以对应于用于色度分量的编码树块(CTB)、编码块(CB)、预测块(PB)或变换块(TB)。此外，本公开不限于此，并且处理单元可以被解释为包括用于亮度分量的单元和用于色度分量的单元的含义。

此外，处理单元本质上不限于方形块，而是可以具有含三个或更多个顶点的多边形。

此外，下文中，在本公开中，像素或像素元素被统称为样本。另外，使用样本可以意味着使用像素值或像素元素值。

参照图1，编码装置100可以被配置为包括图像分割单元110、减法单元115、变换单元120、量化单元130、反量化单元140、逆变换单元150、加法单元155、滤波单元160、存储器170、帧间预测单元180、帧内预测单元185和熵编码单元190。帧间预测单元180和帧内预测单元185可以被统称为预测单元。换句话说，预测单元可以包括帧间预测单元180和帧内预测单元185。变换单元120、量化单元130、反量化单元140和逆变换单元150可以被包括在残差处理单元中。残差处理单元还可以包括减法单元115。作为实施方式，图像分割单元110、减法单元115、变换单元120、量化单元130、反量化单元140、逆变换单元150、加法单元155、滤波单元160、帧间预测单元180、帧内预测单元185和熵编码单元190可以由一个硬件部件(例如，编码器或处理器)配置。另外，存储器170可以包括解码图片缓冲器(DPB)，并且可以由数字存储介质配置。

图像分割单元110将输入到编码装置100中的输入图像(或图片或帧)划分成一个或更多个处理单元。作为一个示例，处理单元可以被称为编码单元(CU)。在这种情况下，可以根据四叉树二叉树结构从编码树单元(CTU)或最大编码单元(LCU)递归地划分出编码单元。例如，可以基于四叉树结构和/或二叉树结构将一个编码单元划分成深度更深的多个编码单元。在这种情况下，例如，可以首先应用四叉树结构，随后可以应用二叉树结构。另选地，还可以首先应用二叉树结构。可以基于没有再被划分的最终编码单元来执行根据本公开的编码过程。在这种情况下，可以基于取决于图像特性的编码效率将最大编码单元直接用作最终编码单元，或者在必要时将编码单元递归地划分成深度更深的编码单元，结果，可以使用具有最佳大小的编码单元作为最终编码单元。这里，编码过程可以包括包含以下将描述的预测、变换和重构的过程。作为另一示例，处理单元还可以包括预测单元(PU)或变换单元(TU)。在这种情况下，可以从上述的最终编码单元划分或分割出预测单元和变换单元中的每一个。预测单元可以是样本预测的单元，并且变换单元可以是推导变换系数的单元和/或用变换系数推导残差信号的单元。

在某些情况下，可以将单元与诸如块或区域这样的术语组合地使用。在常规情况下，M×N块可以指示由M列N行构成的样本或变换系数的集合。样本通常可以指示像素或像素的值，仅指示亮度分量的像素/像素值，或仅指示色度分量的像素/像素值。在样本的情况下，一张图片(或图像)可以被用作与像素或画素对应的术语。

编码装置100从输入图像信号中减去从帧间预测单元180或帧内预测单元185输出的预测信号(或预测块或预测样本阵列)以生成残差信号(或残差块或残差样本阵列)，并且所生成的残差信号被发送到变换单元120。在这种情况下，如所例示的，在编码器100中，从输入图像信号(原始块或原始样本阵列)中减去预测信号(预测块或预测样本阵列)的单元可以被称为减法单元115。预测单元可以对处理目标块(下文中，被称为当前块)执行预测，并且生成包括当前块的预测样本的预测块。预测单元可以以当前块或CU为单元来确定是应用帧内预测还是应用帧间预测。预测单元可以生成诸如预测模式信息这样的关于预测的各种信息，并且将所生成的各种信息传送到熵编码单元190，如下面在描述每种预测模式时描述的。关于预测的信息可以在熵编码单元190中被编码并且以比特流的形式被输出。

帧内预测单元185可以通过参考当前图片中的样本来预测当前块。根据预测模式，所参考的样本可以处于当前块的附近或与当前块分开。在帧内预测中，预测模式可以包括多种非定向模式和多种定向模式。非定向模式可以包括例如DC模式和平面模式。根据预测方向的精密程度，定向模式可以包括例如33种定向预测模式或65种定向预测模式。然而，这是示例，并且根据配置，可以使用数目或多或少的定向预测模式。帧内预测单元185可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。

帧间预测单元180可以基于参考图片上的运动矢量所指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息的量，可以基于邻近块与当前块之间的运动信息相关性以块、子块或样本为单元来预测运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可以包括当前图片中存在的空间邻近块和参考图片中存在的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可以彼此相同或彼此不同。时间邻近块可以被称为诸如并置参考块、并置CU(colCU)等这样的名称，并且包括时间邻近块的参考图片可以被称为并置图片(colPic)。例如，帧间预测单元180可以基于邻近块来配置运动信息候选列表，并且生成指示为了推导当前块的运动矢量和/或参考图片索引而使用哪个候选的信息。可以基于各种预测模式来执行帧间预测，并且例如，在跳过模式和合并模式的情况下，帧间预测单元180可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式的情况下，可以不像合并模式那样发送残差信号。在运动矢量预测(MVP)模式的情况下，邻近块的运动矢量被用作运动矢量预测子，并且发信号通知运动矢量差，以指示当前块的运动矢量。

通过帧间预测单元180或帧内预测单元185生成的预测信号可以被用于生成重构信号或者被用于生成残差信号。

变换单元120可以通过向残差信号应用变换技术来生成变换系数。例如，变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、Karhunen-Loève变换(KLT)、基于图的变换(GBT)或有条件非线性变换(CNT)中的至少一种。这里，当用曲线图表示像素之间的关系信息时，GBT意指从该曲线图中获得的变换。CNT意指通过使用所有先前重构的像素来生成预测信号并且基于所生成的预测信号而获取的变换。另外，可以向大小相同的正方形像素块应用或者甚至向大小可变的非正方形块应用变换处理。

量化单元130可以对变换系数进行量化并且将量化后的变换系数发送到熵编码单元190，并且熵编码单元190可以对量化后的信号(关于量化后的变换系数的信息)进行编码并且将编码后的量化信号作为比特流输出。关于量化后的变换系数的信息可以被称为残差信息。量化单元130可以基于系数扫描顺序将块型量化后的变换系数重新布置为一维矢量型，并且基于一维矢量型量化后的变换系数来生成关于量化后的变换系数的信息。熵编码单元190可以执行各种编码方法，包括(例如)指数哥伦布(exponential Golomb)、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等。除了量化后的变换系数之外，熵编码单元190还可以一起或分别地对重构视频/图像所需的信息(例如，语法元素的值等)进行编码。编码后的信息(例如，编码后的视频/图像信息)可以以比特流的形式以网络抽象层(NAL)单元为单位进行发送或存储。可以经由网络发送比特流，或者将其存储在数字存储介质中。这里，网络可以包括广播网络和/或通信网络，并且数字存储介质可以包括各种存储介质，包括USB、SD、CD、DVD、蓝光、HDD、SSD等。发送从熵编码单元190输出的信号的发送器(未例示)和/或存储该信号的存储装置(未例示)可以被配置为编码装置100的内部/外部元件，或者发送器可以是熵编码单元190的部件。

从量化单元130输出的量化后的变换系数可以被用于生成预测信号。例如，在循环中通过反量化单元140和逆变换单元150向量化后的变换系数应用反量化和逆变换以重构残差信号。加法单元155可以将重构后的残差信号与从帧间预测单元180或帧内预测单元185输出的预测信号相加，以生成重构信号(重构图片、重构块或重构样本阵列)。如同应用跳过模式的情况，当处理的目标块没有残差时，可以使用预测块作为重构块。加法单元155可以被称为重构单元或重构块生成单元。所生成的重构信号可以用于当前图片中的下一处理目标块的帧内预测，并且用于如下所述的通过滤波进行的下一图片的帧间预测。

滤波单元160可以通过向重构信号应用滤波来增强主观/客观图像质量。例如，滤波单元160可以通过向重构图片应用各种滤波方法来生成修改后的重构图片，并且将修改后的重构图片存储在存储器170中，具体地，存储在存储器170的DPB中。各种滤波方法可以包括例如解块(deblock)滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波单元160可以生成关于滤波的各种信息，并且将所生成的各种信息传送到熵编码单元190，如以下在描述每种滤波方法时描述的。关于滤波的信息可以被熵编码单元190编码并且以比特流的形式被输出。

帧间预测单元180可以使用发送到存储器170的修改后的重构图片作为参考图片。当通过其应用帧间预测时，编码装置可以避免编码装置100与解码装置的预测失配，并且还增强了编码效率。

存储器170的DPB可以存储修改后的重构图片，以便在帧间预测单元180中使用修改后的重构图片作为参考图片。存储器170可以存储在其中推导出(或编码)当前图片中的运动信息的块的运动信息和/或已经重构的图片中的块的运动信息。所存储的运动信息可以被传送到帧间预测单元180，以便被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器170可以存储当前图片中的重构块的重构样本，并且将所存储的重构样本传送到帧内预测单元185。

参照图2，解码装置200可以被配置为包括熵解码单元210、反量化单元220、逆变换单元230、加法单元235、滤波单元240、存储器250、帧间预测单元260和帧内预测单元265。帧间预测单元260和帧内预测单元265可以被统称为预测单元。换句话说，预测单元可以包括帧间预测单元180和帧内预测单元185。反量化单元220和逆变换单元230可以被统称为残差处理单元。换句话说，残差处理单元可以包括反量化单元220和逆变换单元230。根据实施方式，熵解码单元210、反量化单元220、逆变换单元230、加法单元235、滤波单元240、帧间预测单元260和帧内预测单元265可以由一个硬件部件(例如，解码器或处理器)配置。另外，存储器170可以包括解码图片缓冲器(DPB)，并且可以由数字存储介质配置。

当输入包括视频/图像信息的比特流时，解码装置200可以对应于在图1的编码装置中处理视频/图像信息的过程来重构图像。例如，解码装置200可以使用在编码装置中应用的处理单元来执行解码。因此，解码的处理单元可以是例如编码单元，并且可以根据四叉树结构和/或二叉树结构从编码树单元或最大编码单元中分割出编码单元。另外，可以通过再现装置来再现通过解码装置200解码并输出的重构图像信号。

解码装置200可以以比特流的形式接收从图1的编码装置输出的信号，并且可以通过熵解码单元210对接收到的信号进行解码。例如，熵解码单元210可以通过对比特流进行解析来推导图像重构(或图片重构)所需的信息(例如，视频/图像信息)。例如，熵解码单元210可以基于诸如指数哥伦布编码、CABAC或CAVLC这样的编码方法对比特流中的信息进行解码，并且输出图像重构所需的语法元素的值和针对残差的变换系数的量化值。更具体地，在CABAC熵解码方法中，在比特流中接收与每个语法元素对应的bin，通过使用邻近块和解码目标块的解码信息和解码目标语法元素信息或关于在先前步骤中解码的符号/bin的信息来确定上下文模型，并且通过根据所确定的上下文模型预测bin的生成概率来执行bin的算术解码以生成与每个语法元素的值对应的符号。在这种情况下，在CABAC熵解码方法中，在确定上下文模型之后，可以通过将经解码的符号/bin的信息用于下一个符号/bin的上下文模型来更新上下文模型。被熵解码单元2110解码的信息当中的关于预测的信息可以被提供到预测单元(帧间预测单元260和帧内预测单元265)，并且经历熵解码单元210的熵解码的残差值即量化后的变换系数和相关参数信息可以被输入到反量化单元220。另外，被熵解码单元210解码的信息当中的关于滤波的信息可以被提供到滤波单元240。此外，接收从编码装置输出的信号的接收器(未例示)可以另外被配置为解码装置200的内部/外部元件，或者接收器可以是熵解码单元210的部件。

反量化单元220对量化后的变换系数进行反量化，以输出变换系数。反量化单元220可以将量化后的变换系数重新布置为2维块类型。在这种情况下，可以基于由编码装置执行的系数扫描顺序来执行重新布置。反量化单元220可以使用量化参数(例如，量化步长信息)对量化后的变换系数执行反量化，并且获得变换系数。

逆变换单元230对变换系数进行逆变换，以获得残差信号(残差块或残差样本阵列)。

预测单元可以对当前块执行预测，并且生成包括针对当前块的预测样本的预测块。预测单元可以基于从熵解码单元210输出的关于预测的信息来确定是向当前块应用帧内预测还是帧间预测，并且确定特定的帧内/帧间预测模式。

帧内预测单元265可以通过参考当前图片中的样本来预测当前块。根据预测模式，所参考的样本可以处于当前块的附近或与当前块分开。在帧内预测中，预测模式可以包括多种非定向模式和多种定向模式。帧内预测单元265可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。

帧间预测单元260可以基于参考图片上的运动矢量所指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息的量，可以基于邻近块与当前块之间的运动信息相关性以块、子块或样本为单元来预测运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可以包括当前图片中存在的空间邻近块和参考图片中存在的时间邻近块。例如，帧间预测单元260可以基于邻近块来配置运动信息候选列表，并且基于接收到的候选选择信息来推导当前块的运动矢量和/或参考图片索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示针对当前块的帧间预测的模式的信息。

加法单元235将所获得的残差信号与从帧间预测单元260或帧内预测单元265输出的预测信号(预测块或预测样本阵列)相加，以生成重构信号(重构图片、重构块或重构样本阵列)。如同应用跳过模式的情况，当处理目标块没有残差时，可以使用预测块作为重构块。

加法单元235可以被称为重构单元或重构块生成单元。所生成的重构信号可以用于当前图片中的下一处理目标块的帧内预测，并且用于如下所述的通过滤波进行的下一图片的帧间预测。

滤波单元240可以通过向重构信号应用滤波来增强主观/客观图像质量。例如，滤波单元240可以通过向重构图片应用各种滤波方法来生成修改后的重构图片，并且将修改后的重构图片发送到存储器250，具体地，发送到存储器250的DPB。各种滤波方法可以包括例如解块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。

作为参考图片存储在存储器250的DPB中的(修改后的)重构图片可以被用在帧间预测单元260中。存储器250可以存储在其中推导出(或解码)当前图片中的运动信息的块的运动信息和/或已经重构的图片中的块的运动信息。所存储的运动信息可以被传送到帧间预测单元260，以便被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器170可以存储当前图片中的重构块的重构样本，并且将所存储的重构样本传送到帧内预测单元265。

在本公开中，可以分别与解码装置200的滤波单元240、帧间预测单元260和帧内预测单元265类似甚或对应地应用编码装置100的滤波单元160、帧间预测单元180和帧内预测单元185中描述的实施方式。

块分割

可以基于各种详细技术来执行根据本公开的视频/图像编码方法，并且以下示意性描述了相应的详细技术。对于本领域的技术人员显而易见的是，下述技术可以与包括上述和/或下述的视频/图像编码/解码过程中的预测、残差处理((逆)变换、(反)量化等)、语法元素编码、滤波、分割/划分等的相关过程关联。

由上述编码装置的图像分割单元110执行根据本公开的块分割过程，并且分割相关信息可以由熵编码单元190处理(编码)并且被以比特流的形式传送到解码装置。解码装置的熵解码单元210可以基于从比特流获得的分割相关信息来推导当前图片的块分割结构，并且可以基于推导出的块分割结构执行用于图像解码的一系列过程(例如，预测、残差处理、块重构、环路内滤波等)。

将图片分割成CTU

图片可以被划分成一系列编码树单元(CTU)。CTU可以对应于编码树块(CTB)。另选地，CTU可以包括亮度样本的编码树块和对应色度样本的两个编码树块。换句话说，关于包括三个样本阵列的图片，CTU可以包括亮度样本的N×N块和色度样本的两个对应块。

用于编码和预测的CTU的最大支持大小可以不同于用于变换的CTU的最大支持大小。例如，CTU中的亮度块的最大支持大小可以是128×128。

使用树结构分割CTU

CTU可以基于四叉树(QT)结构被分割成CU。四叉树(quadtree)结构可以被称为四元树(quaternary tree)结构。这是为了反映各种本地特性。此外，在本公开中，除了四叉树之外还可以基于包括二叉树(BT)和三叉树(TT)的多类型树结构分割来分割CTU。下文中，QTBT结构可以包括基于四叉树和二叉树的分割结构，并且QTBTTT可以包括基于四叉树、二叉树和三叉树的分割结构。另选地，QTBT结构可以包括基于四叉树、二叉树和三叉树的分割结构。在编码树结构中，CU可以具有正方形或矩形形状。CTU可以首先被分割成四叉树结构。此后，四叉树结构的叶节点可以被按多类型树结构另外地分割。

图3是例示了作为可以应用本公开的多类型树结构的示例的示图。

在本公开的实施方式中，多类型树结构可以包括图3中例示的四种分割类型。四种分割类型可以包括垂直二元分割(SPLIT_BT_VER)、水平二元分割(SPLIT_BT_HOR)、垂直三元分割(SPLIT_TT_VER)和水平三元分割(SPLIT_TT_HOR)。多类型树结构的叶节点可以被称为CU。CU可以被用于预测和变换过程。在本公开中，通常，CU、PU和TU可以具有相同的块大小。然而，当最大支持变换长度小于CU的颜色分量的宽度或高度时，CU和TU可以具有不同的块大小。

这里，CTU被当作四叉树的根处理，并且首先被分割成四叉树结构。此后，每个四叉树叶节点可以被进一步分割成多类型树结构。在多类型树结构中，发信号通知第一标志(例如，mtt_split_cu_flag)来指示是否另外对相应节点进行分割。当另外对相应节点进行分割时，可以发信号通知第二标志(例如，mtt_split_cu_verticla_flag)以指示分割方向。此后，可以发信号通知第三标志(例如，mtt_split_cu_binary_flag)以指示分割类型是二元分割还是三元分割。例如，基于mtt_split_cu_vertical_flag和mtt_split_cu_binary_flag，可以如下表1中所示地推导CU的多类型树分割模式。

[表1]

MttSplitMode	mtt_split_cu_vertical_flag	mtt_split_cu_binary_flag
			SPLIT_TT_HOR	0	0
SPLIT_BT_HOR	0	1
			SPLIT_TT_VER	1	0
SPLIT_BT_VER	1	1

这里，粗体块边缘指示四叉树分割，其余边缘指示多类型树分割。伴随多类型树的四叉树分割可以提供内容适配的编码树结构。CU可以对应于编码块(CB)。另选地，CU可以包括亮度样本的编码块和对应色度样本的两个编码块。CU的大小可以与CTU一样大，或者可以以亮度样本为单元小至4×4。例如，在4:2:0颜色格式(或色度格式)的情况下，最大色度CB大小可以是64×64，并且最小色度CB大小可以是2×2。

在本公开中，例如，最大支持亮度TB大小可以是64×64，并且最大支持色度TB大小可以是32×32。当根据树结构分割的CB的宽度或高度大于最大变换宽度或高度时，可以自动(或隐式)地分割对应的CB，直到水平和垂直TB大小限制得以满足。

此外，对于伴随多类型树的四叉树编码树方案，可以将以下参数定义并标识为SPS语法元素。

-CTU大小：四叉树的根节点大小

-MinQTSize：最小允许四叉树叶节点大小

-MaxBtSize：最大允许二叉树根节点大小

-MaxTtSize：最大允许三叉树根节点大小

-MaxMttDepth：从四叉树叶中分割的多类型树的最大允许分层深度

-MinBtSize：最小允许二叉树叶节点大小

-MinTtSize：最小允许三叉树叶节点大小

作为伴随多类型树的四叉树编码树结构的示例，CTU大小可以被配置为128×128亮度样本和两个对应色度样本的64×64块(以4:2:0色度格式)。在这种情况下，MinOTSize可以被设置为16×16，MaxBtSize可以被设置为128×128，MaxTtSzie可以被设置为64×64，并且(用于宽度和高度二者的)MinBtSize和MinTtSize可以被设置为4×4，并且MaxMttDepth可以被设置为4。可以向CTU应用四叉树分割，并且该四叉树分割可以生成四叉树叶节点。四叉树叶节点可以被称为叶QT节点。四叉树叶节点可以具有从16×16大小(即，MinOTSize)到128×128大小(即，CTU SIZE)。当叶QT节点为128×128时，叶QT节点不能被分割成二叉树/三叉树。原因是在这种情况下，即使叶QT节点被分割，叶QT节点的大小也超过MaxBtsize和MaxTtszie(即，64×64)。在其它情况下，叶QT节点可以另外被分割成多类型树。因此，叶QT节点可以是用于多类型树的根节点，并且叶QT节点的多类型树深度(mttDepth)值可以为0。当多类型树深度达到MaxMttdepth(例如，4)时，可以不再考虑附加分割。当多类型树节点的宽度等于MinBtSize并且等于或小于2×MinTtSize时，可以不再考虑附加水平分割。当多类型树节点的高度等于MinBtSize并且小于或等于2×MinTtSize时，可以不再考虑附加垂直分割。

参照图6，为了允许硬件解码器中的64×64亮度块和32×32色度流水线设计，在特定情况下可以限制TT分割。例如，当亮度编码块的宽度或高度大于预定的特定值(例如，32或64)时，可以限制TT分割，如图6中例示的。

在本公开中，编码树方案能支持亮度块和色度块可以分别具有块树结构。关于P切片和B切片，一个CTU中的亮度和色度CTB可以被限制于具有相同的编码树结构。然而，关于I切片，亮度块和色度块可以具有对于彼此而言分开的块树结构。当应用分开的块树模式时，可以基于特定的编码树结构将亮度CTB分割成CU，并且可以基于另一编码树结构将色度CTB分割成色度CU。这可能意味着，I切片中的CU可以由亮度分量的编码块和两个色度分量的编码块构成，并且P或B切片中的CU可以由三个颜色分量的块构成。

在“使用树结构分割CTU”中描述了伴随多类型树的四叉树编码树结构，但是CU的分割结构不限于此。例如，BT结构和TT结构可以被解释为被包括在多分割树(MPT)结构中的概念，并且CU可以被解释为是通过QT结构和MPT结构分割的。在通过QT结构和MPT结构分割CU的示例中，发信号通知包括关于QT结构的叶节点被分割成多少个块的信息的语法元素(例如，MPT_split_type)和包括关于QT结构的叶节点是在垂直方向和水平方向中的哪一个方向上分割的信息的语法元素(例如，MPT_split_mode)以确定分割结构。

在另一示例中，可以通过与QT结构、BT结构或TT结构不同的方法来分割CU。换句话说，与根据QT结构将深度较低的CU分割成深度较高的CU的1/4大小、根据BT结构将深度较低的CU分割成深度较高的CU的1/2大小、或者根据TT结构将深度较低的CU分割成深度较高的CU的1/4或1/2大小的情况不同，深度较低的CU可以被分割成深度较高的CU的1/5、1/3、3/8、3/5、2/3或5/8大小，并且CU的分割方法不限于此。

如果树节点块的一部分超过底或右图片边界，则可以限制对应的树节点块，使得所有编码CU的所有样本都处于图片边界内。在这种情况下，例如，可以应用以下的分割规则。

-如果树节点块的一部分超过底和右图片边界二者，

-如果块是QT节点并且块的大小大于最小QT大小，则强制以QT分割模式对块进行分割。

-否则，强制以SPLIT_BT_HOR模式对块进行分割

-否则，如果树节点块的一部分超过底图片边界，

-如果块是QT节点并且块的大小大于最小QT大小并且块的大小大于最大BT大小，则强制以QT分割模式对块进行分割。

-否则，如果块是QT节点并且块的大小大于最小QT大小并且块的大小小于或等于最大BT大小，则强制以QT分割模式或SPLIT_BT_HOR模式对块进行分割。

-否则(块是BTT节点或者块的大小小于或等于最小QT大小)，则强制以SPLIT_BT_HOR模式对块进行分割。

-否则，如果树节点块的一部分超过右图片边界，

-否则，如果块是QT节点并且块的大小大于最小QT大小并且块的大小小于或等于最大BT大小，则强制以QT分割模式或SPLIT_BT_VER模式对块进行分割。

-否则(块是BTT节点并且块的大小小于或等于最小QT大小)，则强制以SPLIT_BT_VER模式对块进行分割。

伴随多类型树的四叉树编码块结构可以提供非常灵活的块分割结构。由于多类型树支持的分割类型，在某些情况下，不同的分割模式可能有可能造成相同的编码块结构结果。冗余分割模式的生成受到限制，以减少分割信息的数据量。将参照以下附图来描述冗余分割模式。

如图7中例示的，在一个方向上两级的连续二元分割具有与三元分割之后的中心分割的二元分割相同的编码块结构。在这种情况下，可以限制三叉树分割的中心分割的(给定方向上的)二叉树分割。可以向所有图片的CU应用该限制。当特定分割受到限制时，可以通过反映这种限制情况来修改语法元素的信令，并且可以通过修改后的信令来减少为了分割而发信号通知的比特数。例如，如同图7中例示的示例，当CU的中心分割的二叉树分割受到限制时，可以不发信号通知指示分割是二元分割还是三元分割的语法元素mtt_split_cu_binary_flag，并且该值可以被解码器推断为0。

预测

为了重构在其中执行解码的当前处理单元，可以使用当前图片或包括当前处理单元的其它图片的经解码部分。

仅将当前图片用于重构(即，执行帧内预测)的图片可以被称为帧内图片或I图片(切片)，使用多达一个运动矢量和参考索引以便预测每个单元的图片(切片)可以被称为预测图片或P图片(切片)，并且使用多达两个运动矢量和参考索引的图片(切片)可以被称为双向预测图片或B图片(切片)。

帧内预测意指从同一解码图片(或切片)的数据元素(例如，样本值等)推导当前处理块的预测方法。换句话说，帧内预测意指通过参照当前图片中的重构区域来预测当前处理块的像素值的方法。

下文中，将更详细地描述帧间预测。

帧间预测(或图片间预测)

帧间预测意指基于除了当前图片之外的图片的数据元素(例如，样本值或运动矢量)推导当前处理块的预测方法。换言之，帧间预测意指通过参照除了当前图片之外的其它重构图片中的重构区域预测当前处理块的像素值的方法。

作为消除图片之间存在的冗余的技术的帧间预测(或图片间预测)主要是通过运动估计和运动补偿执行的。

在本公开中，对以上图1和图2中描述的帧间预测方法进行了详细描述，并且解码器可以被表示为以下将描述的图10的基于帧间预测的视频/图像解码方法和图11的解码装置中的帧间预测单元。此外，编码器可以被表示为以下将描述的图8的基于帧间预测的视频/图像编码方法和图9的编码装置中的帧间预测单元。另外，通过图8和图9编码的数据可以被以比特流的形式存储。

编码装置/解码装置的预测单元可以通过以块为单元执行帧间预测来推导预测样本。帧间预测可以表示以取决于除了当前图片之外的图片的数据元素(例如，样本值或运动信息)的方法推导出的预测。当向当前块应用帧间预测时，可以基于参考图片索引所指示的参考图片上的运动矢量所指定的参考块(参考样本阵列)来推导当前块的预测块(预测样本阵列)。

在这种情况下，为了减少在帧间预测模式下发送的运动信息的量，可以基于邻近块与当前块之间的运动信息相关性以块、子块或样本为单元来预测当前块的运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可以包括帧间预测类型(L0预测、L1预测、Bi预测等)信息。

在应用帧间预测的情况下，邻近块可以包括当前图片中存在的空间邻近块和参考图片中存在的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可以彼此相同或彼此不同。时间邻近块可以被称为诸如并置参考块、并置CU(colCU)等这样的名称，并且包括时间邻近块的参考图片可以被称为并置图片(colPic)。例如，可以基于当前块的邻近块来配置运动信息候选列表，并且可以发信号通知指示选择(使用)哪个候选的标志或索引信息以便推导当前块的运动矢量和/或参考图片索引。

可以基于各种预测模式来执行帧间预测，并且例如，在跳过模式和合并模式的情况下，当前块的运动信息可以与所选择的邻近块的运动信息相同。在跳过模式的情况下，可以不像合并模式那样发送残差信号。在运动矢量预测(MVP)模式的情况下，所选择的邻近块的运动矢量可以被用作运动矢量预测子，并且可以发信号通知运动矢量差。在这种情况下，可以使用运动矢量预测子和运动矢量差之和来推导当前块的运动矢量。

参照图8和图9，S801可以由编码装置的帧间预测单元180执行，并且S802可以由编码装置的残差处理单元执行。具体地，可以由编码装置的减法单元115执行S802。在S803中，预测信息可以由帧间预测单元180推导并且由熵编码单元190进行编码。在S803中，残差信息可以由残差处理单元推导并且由熵编码单元190进行编码。残差信息是关于残差样本的信息。残差信息可以包括关于针对残差样本的量化变换系数的信息。

如上所述，可以通过编码装置的变换单元120将残差样本推导为变换系数，并且可以通过量化单元130将变换系数推导为量化变换系数。可以通过熵编码单元190利用残差编码过程对关于量化变换系数的信息进行编码。

编码装置对当前块执行帧间预测(S801)。编码装置可以推导当前块的帧间预测模式和运动信息，并且生成当前块的预测样本。这里，可以同时执行帧间预测模式确定过程、运动信息推导过程和预测样本的生成过程，并且可以比其它过程更早地执行任何一个过程。例如，编码装置的帧间预测单元180可以包括预测模式确定单元181、运动信息推导单元182和预测样本推导单元183，并且预测模式确定单元181可以确定当前块的预测模式，运动信息推导单元182可以推导当前块的运动信息，并且预测样本推导单元183可以推导当前块的运动样本。

例如，编码装置的帧间预测单元180可以通过运动估计在参考图片的预定区域(搜索区域)中搜索与当前块相近的块，并且推导与当前块的差异最小或等于或小于预定标准的参考块。可以基于此推导指示参考块所处于的参考图片的参考图片索引，并且可以基于参考块与当前块之间的位置差异来推导运动矢量。编码装置可以确定各种预测模式当中的应用于当前块的模式。编码装置可以将各种预测模式下的RD成本进行比较，并且确定当前块的最佳预测模式。

例如，当向当前块应用跳过模式或合并模式时，编码装置可以配置下面将描述的合并候选列表，并且推导合并候选列表中所包括的合并候选所指示的参考块当中的与当前块的差异最小或等于或小于预定标准的参考块。在这种情况下，可以选择与推导的参考块关联的合并候选，并且可以生成并向解码装置发信号通知指示所选择的合并候选的合并索引信息。可以通过使用所选择的合并候选的运动信息来推导当前块的运动信息。

作为另一示例，当向当前块应用(A)MVP模式时，编码装置可以配置以下将描述的(A)MVP候选列表，并且使用在(A)MVP候选列表中所包括的运动矢量预测子(MVP)候选当中选择的MVP候选的运动矢量作为当前块的MVP。在这种情况下，例如，指示通过运动估计推导的参考块的运动矢量可以被用作当前块的运动矢量，并且在MVP候选当中的具有与当前块的运动矢量的差异最小的运动矢量的MVP候选可以成为被选择的MVP候选。可以推导作为通过从当前块的运动矢量中减去MVP而获得的差异的运动矢量差(MVD)。在这种情况下，可以将关于MVD的信息发信号通知给解码装置。另外，当应用(A)MVP模式时，参考图片索引的值可以被配置为参考图片索引信息并且被单独发信号通知给解码装置。

编码装置可以基于预测样本来推导残差样本(S802)。编码装置可以通过比较当前块的原始样本与预测样本来推导残差样本。

编码装置对包括预测信息和残差信息的图像信息进行编码(S803)。编码装置可以以比特流形式输出编码后的图像信息。预测信息可以包括关于预测模式信息的信息(例如，跳过标志、合并标志或模式索引等)和关于运动信息的信息作为与预测过程相关的信息。关于运动信息的信息可以包括作为用于推导运动矢量的信息的候选选择信息(例如，合并索引、MVP标志或MVP索引)。另外，关于运动信息的信息可以包括关于MVD的信息和/或参考图片索引信息。

另外，关于运动信息的信息可以包括指示是否应用了L0预测、L1预测或双向预测的信息。残差信息是关于残差样本的信息。残差信息可以包括关于针对残差样本的量化变换系数的信息。

输出比特流可以被存储在(数字)存储介质中并且被传送到解码装置，或者经由网络被传送到解码装置。

此外，如上所述，编码装置可以基于参考样本和残差样本来生成重构图片(包括重构样本和重构块)。这是为了推导与解码装置执行的预测结果相同的预测结果，结果，能提高编码效率。因此，编码装置可以将重构图片(或重构样本或重构块)存储在存储器中，并且利用重构图片作为参考图片。还可以向如上所述的重构图片应用环路内滤波过程。

参照图10和图11，解码装置可以执行与由编码装置执行的操作对应的操作。解码装置可以基于接收到的预测信息对当前块执行预测，并且推导预测样本。

S1001至S1003可以由解码装置的帧间预测单元260执行，并且S1004的残差信息可以由解码装置的熵解码单元210从比特流中获得。解码装置的残差处理单元可以基于残差信息来推导当前块的残差样本。具体地，残差处理单元的反量化单元220可以通过基于以残差信息为基础推导的量化变换系数执行反量化来推导变换系数，并且残差处理单元的逆变换单元230可以通过对变换系数执行逆变换来推导当前块的残差样本。可以由解码装置的加法单元235或重构单元来执行S1005。

具体地，解码装置可以基于接收到的预测信息来确定当前块的预测模式(S1001)。解码装置可以基于预测信息中的预测模式信息来确定向当前块应用哪种帧间预测模式。

例如，可以基于合并标记来确定是向当前块应用合并模式还是(A)MVP模式。另选地，可以基于模式索引来选择各种帧间预测模式候选中的一个。帧间预测模式候选可以包括跳过模式、合并模式和/或(A)MVP模式，或者可以包括以下将描述的各种帧间预测模式。

解码装置基于所确定的帧间预测模式来推导当前块的运动信息(S1002)。例如，当向当前块应用跳过模式或合并模式时，解码装置可以配置以下将描述的合并候选列表，并且选择合并候选列表中所包括的合并候选当中的一个合并候选。可以基于选择信息(合并索引)来执行选择。可以通过使用所选择的合并候选的运动信息来推导当前块的运动信息。所选择的合并候选的运动信息可以被用作当前块的运动信息。

作为另一示例，当向当前块应用(A)MVP模式时，解码装置可以配置以下将描述的(A)MVP候选列表，并且使用在(A)MVP候选列表中所包括的运动矢量预测子(MVP)候选当中选择的MVP候选的运动矢量作为当前块的MVP。可以基于选择信息(MVP标志或MVP索引)来执行选择。在这种情况下，可以基于关于MVD的信息来推导当前块的MVD，并且可以基于当前块的MVP和MVD来推导当前块的运动矢量。另外，可以基于参考图片索引信息来推导当前块的参考图片索引。可以将当前块的参考图片列表中的参考图片索引所指示的图片推导为当前块的帧间预测所参考的参考图片。

此外，可以在没有如下所述的候选列表配置的情况下推导当前块的运动信息，并且在这种情况下，可以根据以下将描述的预测模式下公开的过程来推导当前块的运动信息。在这种情况下，可以省略候选列表配置。

解码装置可以基于当前块的运动信息来生成当前块的预测样本(S1003)。在这种情况下，可以基于当前块的参考图片索引来推导参考图片，并且可以通过使用参考图片上的当前块的运动矢量所指示的参考块的样本来推导当前块的预测样本。在这种情况下，如下所述，在某些情况下，还可以执行针对当前块的预测样本中的全部或一些的预测样本滤波过程。

例如，解码装置的帧间预测单元260可以包括预测模式确定单元261、运动信息推导单元262和预测样本推导单元263，并且预测模式确定单元261可以基于接收到的预测模式信息来确定当前块的预测模式，运动信息推导单元262可以基于关于接收到的运动信息的信息来推导当前块的运动信息(运动矢量和/或参考图片索引)，并且预测样本推导单元263可以推导当前块的预测样本。

解码装置基于接收到的残差信息来生成当前块的残差样本(S1004)。解码装置可以基于预测样本和残差样本来生成当前块的重构样本，并且基于所生成的重构样本来生成重构图片(S1005)。此后，还可以向如上所述的重构图片应用环路内滤波过程。

如上所述，帧间预测过程可以包括帧间预测模式确定步骤、取决于所确定的预测模式的运动信息推导步骤以及基于所推导的运动信息的预测执行(预测样本生成)步骤。

确定帧间预测模式

可以使用各种帧间预测模式来预测图片中的当前块。例如，可以使用各种模式，包括合并模式、跳过模式、MVP模式、仿射模式等。解码器侧运动矢量修正(DMVR)模式、自适应运动矢量分辨率(AMVR)模式等还可以被用作辅助模式。仿射模式可以被称为仿射运动预测模式。MVP模式可以被称为高级运动矢量预测(AMVP)模式。

可以从编码装置向解码装置发信号通知指示当前块的帧间预测模式的预测模式信息。预测模式信息可以被包括在比特流中并且被解码装置接收。预测模式信息可以包括指示多种候选模式中的一种的索引信息。另选地，可以通过标志信息的分层信令来指示帧间预测模式。在这种情况下，预测模式信息可以包括一个或更多个标志。

例如，可以通过发信号通知跳过标志来指示是否应用跳过模式，当不应用跳过模式时可以通过发信号通知合并标志来指示是否应用合并模式，并且当不应用合并模式时指示应用MVP模式或者还可以发信号通知用于附加区分的标志。仿射模式可以被作为独立模式发信号通知或者被作为从属于合并模式或MVP模式的从属模式发信号通知。例如，仿射模式可以被配置为如下所述的合并候选列表或MVP候选列表中的一个候选。

根据帧间预测模式推导运动信息

可以通过使用当前块的运动信息来执行帧间预测。编码装置可以通过运动估计过程来推导当前块的最佳运动信息。例如，编码装置可以通过使用当前块的原始图片中的原始块来在参考图片中的预定搜索范围内以分数像素为单元搜索具有高相关性的相似参考块，并且通过搜索到的参考块来推导运动信息。可以以基于相位的样本值之间的差异为基础来推导块的相似度。例如，可以基于当前块(或当前块的模板)与参考块(或参考块的模板)之间的SAD来计算块的相似度。在这种情况下，可以基于在搜索区域中具有最小SAD的参考块来推导运动信息。可以基于帧间预测模式根据各种方法将推导出的运动信息发信号通知给解码装置。

合并模式和跳过模式

当应用合并模式时，不直接发送当前预测块的运动信息，并且通过使用邻近预测块的运动信息来推导当前预测块的运动信息。因此，发送指示使用了合并模式的标志信息和指示使用了哪个邻近预测块的合并索引，以指示当前预测块的运动信息。

编码器可以搜索用于推导当前预测块的运动信息的合并候选块，以便执行合并模式。例如，可以使用多达五个合并候选块，但是本公开不限于此。另外，可以在切片头(或瓦片组头)中传输合并候选块的最大数目，并且本公开不限于此。在找到合并候选块之后，编码器可以生成合并候选列表，并且在合并候选块当中选择具有最小成本的合并候选块作为最终合并候选块。

本公开提供了用于构成合并候选列表的合并候选块的各种实施方式。

作为合并候选列表，例如，可以使用五个合并候选块。例如，可以使用四个空间合并候选和一个时间合并候选。作为具体示例，在空间合并候选的情况下，图12中例示的块可以被用作空间合并候选。

参照图13，编码装置(编码器/解码器)将通过搜索当前块的空间邻近块而推导的空间合并候选插入到合并候选列表中(S1301)。例如，空间邻近块可以包括当前块的左下角邻近块、左邻近块、右上角邻近块、上邻近块和左上角邻近块。然而，这是示例，并且除了空间邻近块之外，还可以使用包括右邻近块、下邻近块、右下邻近块等的附加邻近块作为空间邻近块。编码装置可通过基于优先级搜索空间邻近块来推导可用块，并且将检测到的块的运动信息导出为空间合并候选。例如，编码器和解码器可以按A1、B1、B0、A0和B2的顺序搜索图12中例示的五个块，并且将可用候选顺序地加索引并且将带索引的候选配置为合并候选列表。

编码装置将通过搜索当前块的时间邻近块而推导的时间合并候选插入到合并候选列表中(S1302)。时间邻近块可以处于参考图片上，即，与当前块所处的当前图片不同的图片上。时间邻近块所处的参考图片可以被称为并置图片或col图片。可以按col图片上的当前块的同位块的右下角邻近块和右下中心块的顺序搜索时间邻近块。

此外，当应用运动数据压缩时，针对每个预定存储单元，特定运动信息可以被存储为col图片中的代表性运动信息。在这种情况下，不需要在预定存储单元中存储所有块的运动信息，结果，可以获得运动数据压缩效果。在这种情况下，预定存储单元可以是针对每个16×16样本单元或8×8样本单元预定的，或者可以将预定存储单元的大小信息从编码器发信号通知给解码器。当应用运动数据压缩时，可以用时间邻近块所处的预定存储单元的代表性运动信息来替换时间邻近块的运动信息。

换句话说，在这种情况下，就实现方式而言，可以基于覆盖以时间邻近块(而非处于时间邻近块的坐标的预测块)的坐标(左上样本位置)为基础按预定值进行算术右移然后算术左移后的位置的预测块的运动信息来推导时间合并候选。例如，当预定存储单元是2n×2n样本单元时，如果时间邻近块的坐标是(xTnb，yTnb)，则处于((xTnb>>n)<<n),(yTnb>>n)<<n))即修改后位置的预测块的运动信息可以被用于时间合并候选。

具体地，例如，当预定存储单元是16×16样本单元时，如果时间邻近块的坐标是(xTnb，yTnb)，则处于((xTnb>>4)<<4),(yTnb>>4)<<4))即修改后位置的预测块的运动信息可以被用于时间合并候选。另选地，例如，当预定存储单元是8×8样本单元时，如果时间邻近块的坐标是(xTnb，yTnb)，则处于(xTnb>>3)<<3),(yTnb>>3)<<3))即修改后位置的预测块的运动信息可以被用于时间合并候选。

编码装置可以检查当前合并候选数目是否小于最大合并候选目(S1303)。最大合并候选数目可以是预先定义的，或者被从编码器发信号通知给解码器。例如，编码器可以生成关于最大合并候选数目的信息，并且对所生成的信息进行编码，并且以比特流的形式将编码后的信息传送到解码器。当最大合并候选数目已满时，可以不执行后续的候选添加过程。

作为检查结果，当当前合并候选数目小于最大合并候选数目时，编码装置将附加合并候选插入到合并候选列表中(S1304)。例如，附加合并候选可以包括ATMVP、组合的双向预测合并候选(当当前切片的切片类型为B型时)和/或零矢量合并候选。

作为检查结果，当当前合并候选数目不小于最大合并候选数目时，编码装置可以终止合并候选列表的配置。在这种情况下，编码器可以基于速率失真(RD)成本在构成合并候选列表的合并候选当中选择最佳合并候选，并且可以将指示所选择的合并候选的选择信息(例如，合并索引)发信号通知给解码器。解码器可以基于合并候选列表和选择信息来选择最佳合并候选。

所选择的合并候选的运动信息可以被用作当前块的运动信息，并且可以基于当前块的运动信息来推导当前块的预测样本，如上所述。编码器可以基于预测样本来推导当前块的残差样本，并且将残差样本的残差信息发信号通知给解码器。解码器可以基于以残差信息为基础推导的残差样本和预测样本来产生重构样本，并且基于如上所述生成的重构样本来生成重构图片。

当应用跳过模式时，可以用与如上应用合并模式的情况相同的方法来推导当前块的运动信息。然而，当应用跳过模式时，省略了对应块的残差信号，结果，预测样本可以被直接用作重构样本。

MVP模式

当应用运动矢量预测(MVP)模式时，可以通过使用重构的空间邻近块(例如，可以是以上图12中描述的邻近块)的运动矢量和/或与时间邻近块(或Col块)对应的运动矢量来生成运动矢量预测子(mvp)候选列表。换句话说，可以使用重构的空间邻近块的运动矢量和/或与时间邻近块对应的运动矢量作为运动矢量预测子候选。

关于预测的信息可以包括指示在列表中所包括的运动矢量预测子候选当中选择的最佳运动矢量预测子候选的选择信息(例如，MVP标志或MVP索引)。在这种情况下，预测单元可以通过使用选择信息从运动矢量候选列表中所包括的运动矢量预测子候选当中选择当前块的运动矢量预测子。编码装置的预测单元可以获得当前块的运动矢量与运动矢量预测子之间的运动矢量差(MVD)，并且对所获得的MVD进行编码并以比特流的形式输出编码后的MVD。换句话说，可以由通过从当前块的运动矢量中减去运动矢量预测子而获得的值来获得MVD。在这种情况下，解码装置的预测单元可以获得关于预测的信息中所包括的运动矢量差，并且通过将运动矢量差与运动矢量预测子相加来推导当前块的运动矢量。解码装置的预测单元可以从关于预测的信息来获得或推导指示参考图片的参考图片索引。例如，可以如图14中例示地配置运动矢量预测子候选列表。

高级时间运动矢量预测(ATMVP)

参照图15，ATMVP是基于时间邻近图片的并置块的运动信息来推导编码单元的子块的运动信息的方法。因此，能增强时间运动矢量预测(TMVP)的性能，并且能降低一般或最差情况下的复杂度。在本公开中，ATMVP可以被称为基于子块的时间合并候选SbTMVP。

根据本公开的实施方式，可以用以下过程来推导ATMVP。

首先，当邻近编码单元可用并且可用编码单元的运动矢量与当前候选列表中的运动矢量不同时，编码器/解码器可以添加来自空间邻近编码单元的运动矢量。作为一个示例，参照图16，该处理可以按A1、B1、B0、A0和B2的顺序执行。作为另一示例，为了改善复杂度，在该处理中，可以通过仅使用固定位置(例如，A1位置)处的块的运动矢量来推导ATMVP。

编码器/解码器可以使用N0个可用空间候选当中的第一运动矢量候选，以便确定用于推导并置图片和每个子块的运动信息的位置。这里，N0表示可用空间候选的数目。如果N0为0，则可以使用并置图片和运动为0的并置位置来推导每个子块的运动信息。

当使用多个参考图片时，在ATMVP中，不同编码单元的并置图片可能彼此不同。当前图片中的不同编码单元具有用于推导ATMVP的不同并置图片的事实意味着，应该推导多个参考图片的运动信息字段，并且这并不是优选的，因为增加了存储带宽。

因此，本公开提供了在推导ATMVP时使用相同并置图片的更简单设计。例如，可以在切片(或瓦片组)头中定义使用相同并置图片的方法，但是本公开不限于此。作为一个示例，以块级别，当邻近块A的参考图片与并置图片不同时，可以基于时间运动矢量缩放方法来缩放邻近块A的运动矢量。另外，可以在ATMVP中使用缩放后的邻近块A的运动矢量。

参照图17，在本公开的实施方式中，由于使用当前块的右下块或在当前块的中心位置处的时间邻近块(或colPB)的运动矢量的TMVP不反映图片内运动，因此编码器/解码器可以使用邻近块的运动矢量指示的位置处的colPB的运动矢量作为MVP。

例如，编码器/解码器可以在如同图17中例示的合并候选配置顺序一样检查块的同时，找到第一可用空间邻近块的运动矢量。另外，参考图片中的由运动矢量指示的位置可以被导出为col-PB(即，ATMVP候选)。

另外，运动矢量可以以每个子块为单元被用作对应块的运动矢量。在这种情况下，当在特定子块中没有运动矢量时，处于对应块中心处的中心块的运动矢量可以被用作不可用子块的运动矢量并且被作为代表性运动矢量存储。

时间运动矢量数据存储减少

本公开的实施方式提出了仅参照固定参考图片的运动信息以便在应用ATMVP的过程中获取存储在存储器(例如，DRAM)中的运动信息的过程中增加硬件高速缓存命中率的方法。

以下实施方式例示了推导基于子块的时间合并基础运动数据的处理的一个示例。下文中，空间候选或时间候选可以被称为空间合并候选或时间合并候选。

图18例示了根据应用本公开的实施方式的预先定义参考图片获取运动信息以便对当前图片进行解码的方法的示例。

仅使用如图18中例示地预先定义的参考图片以在参考如图17中例示的当前块的空间候选位置的过程中根据对应空间候选的运动信息是否参考预先定义的参考图片来以硬件友好的方式改变ATMVP。

图19例示了作为应用本公开的实施方式的当前图片的参考列表的配置的示例。参照图19，当在随机访问结构中在图片组(GOP)为16的结构中当前图片的图片顺序号(POC)为4时，当前图片的参考列表将被作为一个示例进行描述。

当当前图片(POC 4)是B切片时，当前图片的空间参考候选可以通过参考最大列表0(L0)和列表1(L1)二者的双向预测来解码，或者通过仅参考L0的单向预测或仅参考L1的单向预测来解码。

参照图20，通过帧间预测(双向预测)对候选0(cand0)进行编码/解码，并且在L0方向上参考POC(8)，并且在L1方向上参考POC(0)。另外，在图20中，通过帧内预测对候选1(cand1)进行编码/解码，通过帧间预测(单向预测)对候选2(cand2)进行编码/解码，在L1方向上参考POC(8)，通过帧内预测对候选3(cand3)进行编码/解码，通过帧间预测(单向预测)对候选4(cand4)进行编码/解码，并且在L0方向上参考POC(0)。

在这种情况下，当遍历参考候选时，如果在按L0和L1的顺序遍历参考候选时参考候选的对应方向上的参考图片是预先定义的参考图片，则本公开的实施方式提出了基于参考候选的运动信息来推导ColPB的方法。换句话说，当如图19中例示地对当前块的邻近信息进行解码时，如果预先定义的图片的POC是8，则POC-#8图片存在于列表0和列表1中。换句话说，在通过检查邻近空间候选的运动信息以便将ATMVP应用于当前块而使用参考预先定义的图片的第一候选作为运动信息来确定并置预测块(ColPB)的过程中，需要用于高效确定列表方向的顺序或搜索顺序的方法。

换句话说，当由空间合并候选参考的参考图片与预先定义的参考图片相同时，指示由空间合并候选的运动信息指定的并置块的第一合并候选可以被添加到空间合并候选列表。

此后，对指示合并候选列表中的特定合并候选的合并索引进行解码，并且使用由合并索引指示的特定合并候选的运动信息来生成当前块的预测块。这里，当合并索引指示第一合并候选时，可以通过使用第一合并候选的子块的运动信息来生成预测块。

另外，可以基于搜索顺序在合并候选列表中选择空间合并候选。这里，确定搜索顺序可以意味着确定先前添加到合并候选列表的空间合并候选的搜索顺序。

本公开的实施方式提出了在遍历预先定义的参考候选时按L0和L1的顺序检查参考图片以便生成用于当前块的帧间预测的空间候选列表的方法。

图21是例示了根据应用本公开的实施方式的用于生成空间候选列表的搜索顺序的一个示例。图21例示了用于通过使用如图20中的关于解码后的邻近块的信息来生成空间候选列表的搜索顺序的示例。

下文中，将描述根据本公开的实施方式的选择空间候选的顺序。

如图20中例示的，由于在帧内模式下对候选1和候选3进行解码，因此从该顺序中排除候选1和候选3，并且当按图21中例示的顺序搜索候选1和候选3时，如果预先定义的图片的POC为8，则基于顺序0的候选0的列表0的运动矢量(MV)来推导并置预测块(ColPb)。该实施方式可以以表2中示出的代码的形式实现。

[表2]

本公开的实施方式提供了以下的方法：当在遍历参考候选时按参考方向L0和L1的顺序遍历参考候选的同时特定参考候选的特定方向参考图片是预先定义的参考图片时，基于参考预先定义的参考图片的参考候选的运动信息来推导ColPB。

在本公开的实施方式中，可以基于当前图片的切片类型来确定空间候选块的搜索顺序。例如，顺序搜索条件可以包括当前图片是否是B切片。

图22例示了根据应用本公开的实施方式的用于生成空间候选列表的搜索顺序的另一示例。图22例示了用于通过使用如图20中配置的关于邻近块的信息来生成空间候选列表的搜索顺序的示例。

参照图22，由于优先按参考方向(L0和L1)的顺序执行搜索，因此按具有预测方向L0的候选0和候选1的L0的顺序执行搜索，此后，按具有预测方向L1的候选0和候选2的L1的顺序执行搜索。

参照图20，由于在帧内模式下对候选1和候选3进行解码，因此从该顺序中排除候选1和候选3，并且当按图22中例示的顺序搜索候选1和候选3时，如果预先定义的图片的POC为8，则基于顺序0的候选0的列表0的运动矢量(MV)来推导并置预测块(ColPb)。该实施方式可以以表3中示出的代码的形式实现。

[表3]

在本公开的实施方式中，当当前图片是B切片时，当前图片的空间参考候选可以通过参考最大列表0(L0)和列表1(L1)二者的双向预测来解码，或者通过仅参考L0的单向预测或仅参考L1的单向预测来解码。

本公开的实施方式提出了在遍历参考候选时通过参考针对当前切片配置的参考图片列表来确定顺序的方法。如图23中例示的，可以使用首先通过考虑在当前图片的参考列表中配置的POC的值等于或小于低延迟情况下或随机访问中当前图片的值的情况(即，仅由在当前图片之前显示的图片配置列表的情况)来检查特定方向的方法。

参考图23，当前图片(POC(3))的L0方向参考图片(与L0方向对应的参考列表)可以包括POC(0)和POC(1)，并且当前图片(POC(3))的L1方向参考图片(与L1方向对应的参考列表)可以包括POC(0)。

该实施方式可以通过表4和表5中示出的代码来实现。

[表4]

在表4的代码中，可以以表5中示出的形式实现函数getCheckLDC()，并且这基于当前图片的参考图片列表的POC来确定是否做出低延迟条件。

[表5]

参照图24，通过帧间预测(双向预测)对候选0(cand0)进行编码/解码，并且在L0方向上参考POC(0)，并且在L1方向上参考POC(0)。另外，在图20中，通过帧内预测对候选1(cand1)进行编码/解码，通过帧间预测(单向预测)对候选2(cand2)进行编码/解码，在L1方向上参考POC(0)，通过帧内预测对候选3(cand3)进行编码/解码，通过帧间预测(单向预测)对候选4(cand4)进行编码/解码，并且在L0方向上参考POC(1)。

图25例示了根据应用本公开的实施方式的作为用于生成空间候选列表的搜索顺序的示例的基于参考图片是否具有比当前图片的图片顺序号(POC)低的POC而确定的搜索顺序的示例。

根据本公开的实施方式，尽管在图23中例示的条件下按图25中例示的顺序遍历如图24中例示地配置的邻近块，但当特定参考候选的特定方向参考图片是预先定义的参考图片时，可以基于对应特定参考候选的运动信息来推导ColPB。

本公开的实施方式提出了当遍历参考候选时通过考虑按L0还是L1推导由高级语法定义的参考图片来自适应地选择从L0到L1的顺序或从L1到L0的顺序的方法。例如，检查切片参数集(SPS)、图片参数集(PPS)或切片头中预先定义的列表图片信息在哪个方向上生成，以从对应方向执行搜索。例如，用于在空间候选列表中选择空间候选的搜索顺序可以基于由高级语法定义的特定参考图片列表。

当如图20中例示地配置邻近块时，如果列表0是预先定义的图片列表，则可以按图26中例示的顺序执行搜索。由于列表0是预先定义的图片列表，因此首先搜索作为具有L0方向参考图片的候选的候选0的L0方向和候选4的L0方向，此后，搜索作为具有L1方向参考图片的候选的候选0的L1方向和候选2的L1方向。

相反，当L1是预先定义的图片列表时，可以按图27中例示的顺序执行搜索。由于列表1是预先定义的图片列表，因此首先搜索作为具有L1方向参考图片的候选的候选0的L1方向和候选2的L1方向，此后，搜索作为具有L0方向参考图片的候选的候选0的L0方向和候选4的L0方向。

在本公开的实施方式中，所有以上提到的实施方式被组合，以确定搜索顺序。换句话说，可以基于包括以下的条件来确定搜索顺序：当前块的切片类型、由高级语法定义的参考图片列表或当前图片的参考图片列表中所包括的所有参考图片的POC是否等于或小于当前图片的POC。例如，用于在空间候选列表中选择空间候选的搜索顺序可以是基于当前图片的参考图片列表中所包括的所有参考图片的POC是否等于或小于当前图片的POC的。

考虑条件的搜索顺序的确定可以由下表6中示出的代码来实现。

[表6]

另外，换句话说，可以基于以下中的至少一个来确定搜索顺序：当前块的切片类型、由高级语法定义的参考图片列表或当前图片的参考图片列表中所包括的所有参考图片的POC是否等于或小于当前图片的POC。

在实施方式中，可以从一个参考图片推导时间运动矢量。除了编码器之外，还可以从已经被解码器解码的所有参考图片推导时间运动矢量。然而，用于推导所有参考图片的方法可能造成使用时间存储结构来存储当前图切片、图片和瓦片的参考图片的运动数据的硬件中的存储使用问题和存储带宽增加问题。作为在本公开的实施方式中提出的方法，提出了从预先定义的图片推导时间运动矢量的方法。在图18中例示了用于参考一个参考图片来推导时间运动矢量的方法。

如图18中例示的，尽管存在用于推导时间运动矢量的替代参考图片，但是参考通过特定方法预先定义的参考图片来推导时间运动数据。

本公开的实施方式可以提供用于选择一个参考图片以便通过发信号通知的语法推导时间运动矢量的方法。可以从编码器发信号通知语法，以便在参考图片列表中所包括的图片当中选择一个特定的参考图片。表7示出了提议的语法。

[表7]

	描述符
		if(temporal_motion_verctor_prediction_enable)
ref_idx_for_termporal_motion_vector_prediction	u(1)

特别地，可以如表8中所示地表示提议的语法。表8示出了用于在高效视频编码(HEVC)中推导并置图片以便推导时间运动矢量的语法。

[表8]

图28和图29例示了作为应用本公开的实施方式的考虑当前图片和参考图片的图片顺序号(POC)而预先定义的参考图片的示例。

在本公开的实施方式中，可以通过解码器以及编码器按图片顺序号(POC)来定义用于推导时间运动矢量的参考图片。参考图片可以被定义为参考图片列表中最接近当前图片的参考图片。参考图片列表中最接近的图片可以与当前图片的POC差值最小。

在图28中，例示了具有最小POC的图片被配置为预先定义的参考图片的情况的示例。参照图28，L0参考列表中所包括的参考图片(POC(2)、POC(3)和POC(4))当中的具有最接近当前图片(POC(6))的POC的参考图片(POC(4))被确定为预先定义的参考图片。

当列表中存在具有相同POC距离的参考图片时，选择具有最小时间ID(TID)的参考图片，如图29中例示的。

参照图29，在L0参考列表中所包括的参考图片(POC(2)、POC(3)和POC(4))当中，参考图片(POC(4))具有与当前图片(POC(6))的最接近POC距离2，并且L1参考列表中所包括的参考图片(POC(8))也具有与当前图片(POC(6))的最接近POC距离2。在当前图片(具有与POC(6)的最接近POC距离2的L0参考列表的参考块(POC(4))和参考块(L1参考列表的POC(8)))当中，具有较小TID(0)的POC(8)可以取代具有TID(3)的POC(4)被确定为预先定义的参考图片。

在本公开的实施方式中，可以应用用于自适应时间运动矢量预测(ATMVP)的空间候选选择方法。ATMVP是使用来自参考图片的时间运动数据的工具之一。一般的ATMVP从对应的块推导时间运动数据。对应块的位置由空间邻近候选的运动数据来确定。原因在于，一般的ATMVP是指空间候选列表顺序中的第一可用空间候选，以便推导具有时间运动数据和随机运动数据的参考空间候选的运动数据。

因此，通过所选择的候选的运动数据来定义用于推导时间运动矢量推导方法的参考图片。在最差的情况下，参考图片的数目由用于图片解码的压缩标准的级别能力来定义。

在本公开的实施方式中，如图30和图31中例示的，可以应用使用一个参考图片的改进的ATMVP方法。在本公开的实施方式中，候选顺序可以被定义为从A到E的顺序，如图30中例示的。如图30中例示的，空间候选具有一个或更多个参考图片。

参照图30，除了不可用块E之外，与当前块相邻的空间候选A、B、C和D中的每一个都参考一个或更多个参考图片。

从本公开的实施方式中，可以选择参考与预先定义的参考图片相同的参考图片的空间候选作为用于ATMVP的候选，并且可以如图31中例示地推导时间运动数据。

参照图31，可以选择参考作为预先定义的参考图片的与ref_idx(0)对应的参考图片的空间候选B作为ATMVP的候选，并且可以推导空间候选B的时间运动数据(MV_x ^b,MV_y ^b)。

另外，针对没有参考与预先定义的参考图片相同的参考图片的候选的情况，可以使用以下三种方法。

1)零运动矢量用于确定对应的块位置，并且以子块为单元推导时间运动矢量。

2)ATMVP的使用被配置为被禁用。

3)缩放第一可用空间候选的运动矢量，以适合预先定义的图片。

如图32中例示的，被表示为“MV_x ^a _,MV_y ^a”的第一可用空间候选A的运动矢量被以预定运动矢量缩放，并且被确定为“缩放后的MV_x ^a _,缩放后的MV_y ^a”。

图33和图34例示了作为应用本公开的实施方式的基于后向映射来推导时间运动矢量的方法的示例。

在本公开的实施方式中，可以应用基于来自一个参考图片的后向映射的时间运动矢量推导。如图33中例示的，后向映射时间运动数据推导方法可以使用所有参考图片中的运动数据。

一般的单边候选是后向映射方法之一。即使通过后向映射过程存在数个没有时间运动数据的块，也可以仅在包括单边候选方法的预定图片中应用后向映射过程。

在图34中例示了如上所述的单边候选方法(通过仅参考预定参考图片来应用后向映射)。参照图34，可以通过后向映射将L0参考列表中所包括的参考图片当中的预定参考图片的时间运动数据应用于当前图片。

图35是根据应用本公开的实施方式的产生预测块的流程图。

参照图35，为了便于描述而主要描述了解码器，但是本公开不限于此，并且基于帧间预测来生成帧间预测块的方法可以基本上等同地应用于编码器。

解码器通过使用当前块的空间合并候选和时间合并候选来生成合并候选列表(S3501)。

解码器获得指示来自合并候选列表的特定合并候选的合并索引(S3502)。

解码器通过使用特定合并候选的运动信息来生成当前块的预测块(S3503)。

作为实施方式，合并候选列表的生成可以包括：当空间合并候选的参考图片与预定图片相同时，将指示由空间合并候选的运动信息指定的并置块的第一合并候选添加到合并候选列表。

作为实施方式，合并候选列表的生成还可以包括确定先前添加到合并候选列表的空间合并候选的搜索顺序，并且可以基于搜索顺序从合并候选列表中选择空间合并候选。

作为实施方式，可以基于当前块的切片类型、由高级语法定义的特定参考图片列表以及当前图片的参考图片列表中所包括的所有参考图片的图片顺序号(POC)是否等于或小于当前图片的POC中的至少一个来确定搜索顺序。

作为实施方式，当合并索引指示第一合并候选时，可以通过使用第一合并候选的子块的运动信息来生成预测块。

作为实施方式，合并候选列表的生成可以包括：当空间合并候选的参考图片与预定图片不同时，将指示由通过缩放空间合并候选的运动信息而指定的另一并置块的第二合并候选添加到合并候选列表。

在图36中，为了方便描述，帧间预测单元被例示为一个块，但是可以以编码器和/或解码器中所包括的部件来实现帧间预测单元。

参照图36，帧间预测单元实现上面图8至图34中提出的功能、过程和/或方法。具体地，帧间预测单元可以被配置为包括合并候选列表生成单元3601、合并索引获得单元3602和预测块生成单元3603。

合并候选列表生成单元3601通过使用当前块的空间合并候选和时间合并候选来生成合并候选列表。

合并索引获得单元3602获得指示来自合并候选列表的特定合并候选的合并索引。

预测块生成单元3603通过使用特定合并候选的运动信息来生成当前块的预测块。

作为实施方式，合并候选列表生成单元可以被配置为当空间合并候选的参考图片与预定图片相同时，将指示由空间合并候选的运动信息指定的并置块的第一合并候选添加到合并候选列表。

作为实施方式，合并候选列表生成单元可以被配置为确定先前添加到合并候选列表的空间合并候选的搜索顺序，并且可以基于搜索顺序从合并候选列表中选择空间合并候选。

作为实施方式，当合并索引指示第一合并候选时，可以通过使用第一合并候选的子块的运动信息来生成它。

作为实施方式，合并候选列表生成单元可以被配置为当空间合并候选的参考图片与预定图片不同时，将指示通过缩放空间合并候选的运动信息指定的另一并置块的第二合并候选添加到合并候选列表。

为了方便描述，已经分别描述了上述本公开的实施方式，但是本公开不限于此。即，上述的实施方式可以被独立地执行，并且可以组合并执行一个或更多个各种实施方式。

图37例示了应用本公开的视频编码系统。

视频编码系统可以包括源装置和接收装置。源装置可以通过数字存储介质或网络以文件或流传输形式将编码后的视频/图像信息或数据传送到接收装置。

源装置可以包括视频源、编码设备和发送器。接收装置可以包括接收器、解码设备和渲染器。编码设备可以被称为视频/图像编码设备，并且解码设备可以被称为视频/图像解码设备。发送器可以被包括在编码设备中。接收器可以被包括在解码设备中。渲染器可以包括显示单元，并且显示单元可以被配置为单独的装置或外部部件。

视频源可以通过视频/图像的捕获、合成或生成处理来获取视频/图像。视频源可以包括视频/图像捕获装置和/或视频/图像生成装置。视频/图像捕获装置可以包括例如一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成装置可以包括例如计算机、平板和智能电话，并且可以(电子地)生成视频/图像。例如，可以通过计算机等来生成虚拟视频/图像，并且在这种情况下，可以通过生成相关数据的处理来代替视频/图像捕获处理。

编码设备可以对输入视频/图像进行编码。编码设备可以执行包括针对压缩和编码效率的预测、变换和量化等的一系列过程。编码后的数据(编码后的视频/图像信息)可以以比特流形式输出。

发送器可以通过数字存储介质或网络以文件或流传输形式将以比特流输出的编码后的视频/图像信息或数据传送到接收装置的接收器。数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等这样的各种存储介质。发送器可以包括用于通过预定文件格式生成媒体文件的元件，并且可以包括用于通过广播/通信网络进行发送的元件。接收器可以提取比特流，并且将提取的该比特流发送到解码装置。

解码设备执行与编码设备的操作对应的包括反量化、逆变换、预测等的一系列过程，以对视频/图像进行解码。

渲染器可以渲染解码后的视频/图像。渲染后的视频/图像可以由显示单元显示。

参照图38，应用本公开的内容流传输系统可以主要包括编码服务器、流传输服务器、网络服务器、媒体存储器、用户装置和多媒体输入装置。

编码服务器将从包括智能手机、相机、摄像机等的多媒体输入装置输入的内容压缩成数字数据以用于生成比特流，并且将该比特流传输到流传输服务器。作为另一示例，当包括智能电话、相机、摄像机等的多媒体输入装置直接生成比特流时，可以省略编码服务器。

可以通过应用本公开的编码方法或比特流生成方法来生成比特流，并且流传输服务器可以在发送或接收比特流的处理中临时存储比特流。

流传输服务器基于用户通过网络服务器的请求将多媒体数据发送到用户装置，并且网络服务器用作将存在什么服务告知用户的中介。当用户向网络服务器请求所期望的服务时，网络服务器向流传输服务器传送所请求的服务，并且流传输服务器将多媒体数据发送到用户。在这种情况下，内容流传输系统可以包括单独的控制服务器，并且在这种情况下，控制服务器用于控制内容流传输系统中的相应装置之间的命令/响应。

流传输服务器可以从媒体存储器和/或编码服务器接收内容。例如，当流传输服务器从编码服务器接收内容时，流传输服务器可以实时地接收内容。在这种情况下，流传输服务器可以将比特流存储预定时间，以便提供平稳的流传输服务。

用户装置的示例可以包括蜂窝电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航、触屏PC、平板PC、超级本、诸如智能手表、智能眼镜、头戴式显示器(HMD)等这样的可穿戴装置等。

内容流传输系统中的每个服务器都可以作为分布式服务器操作，在这种情况下，每个服务器接收到的数据可以被分布式处理。

如上所述，本公开中描述的实施方式可以在处理器、微处理器、控制器或芯片上实现和执行。例如，每幅图中例示的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实现和执行。

另外，应用本公开的解码器和编码器可以被包括在多媒体广播发送和接收装置、移动通信终端、家庭影院视频装置、数字影院视频装置、监视相机、视频聊天装置、诸如视频通信这样的实时通信装置、移动流传输装置、存储介质、摄像机、视频点播(VoD)服务提供装置、(顶置)OTT视频装置、互联网流服务提供装置、三维(3D)视频装置、视频电话视频装置、运输工具终端(例如，车辆终端、飞机终端、轮船终端等)、医疗视频装置等中，并且可以被用于处理视频信号或数据信号。例如，顶置(OTT)视频装置可以包括游戏控制台、蓝光播放器、互联网访问TV、家庭影院系统、智能手机、平板PC、数字录像机(DVR)等。

另外，应用本公开的处理方法可以以由计算机执行的程序的形式产生，并且可以被存储在计算机可读记录介质中。具有根据本公开的数据结构的多媒体数据也可以被存储在计算机可读记录介质中。计算机可读记录介质包括存储计算机可读数据的所有类型的存储装置和分布式存储装置。计算机可读记录介质可以包括例如蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。另外，计算机可读记录介质包括以载波(例如，互联网上的传输)的形式实现的媒体。另外，通过编码方法生成的比特流可以被存储在计算机可读记录介质中，或者可以通过有线/无线通信网络传输。

另外，本公开的实施方式可以通过程序代码被实现为计算机程序产品，程序代码可以通过本公开的实施方式在计算机上执行。程序代码可以被存储在计算机可读载体上。

在上述实施方式中，本公开的组件和特征被以预定形式组合。除非另有明确说明，否则应该将每个组件或特征视为选择。每个组件或特征可以被实现为不与其它组件或特征关联。另外，可以通过关联一些部件和/或特征来配置本公开的实施方式。可以改变本公开的实施方式中所描述的操作的顺序。任何实施方式的一些组件或特征可以被包括在另一实施方式中，或者被与另一实施方式对应的组件和特征替换。显而易见，通过在提交之后进行修改，组合权利要求书中没有被明确引用的权利要求以形成实施方式或者将其包括在新权利要求中。

本公开的实施方式可以通过硬件、固件、软件或其组合来实现。在由硬件实现的情况下，根据硬件实现方式，本文中描述的示例性实施方式可以使用一个或更多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器等来实现。

在由固件或软件实现的情况下，本公开的实施方式可以按执行上述功能或操作的模块、过程、功能等形式来实现。软件代码可以被存储在存储器中，并且由处理器执行。存储器可以处于处理器的内部或外部，并且可以通过已知的各种手段向处理器发送数据/从处理器接收数据。

本领域的技术人员显而易见的是，可以在不脱离本公开的必要特性的情况下按其它特定形式来实施本公开。因此，以上提到的详细描述不应该被解释为在任何方面是限制性的，并且应该被示例性考虑。本公开的范围应该通过对所附权利要求的合理解释来确定，并且在本公开的等同范围内的所有修改形式被包括在本公开的范围内。

[工业实用性]

上文中，为了例示性目的，公开了本公开的优选实施方式，并且下文中，将在本领域的技术人员在所附权利要求书中公开的本公开的技术精神和技术范围内对各种其它实施方式进行修改、改变、替代或添加。

Claims

1.一种基于帧间预测模式对图像进行解码的方法，该方法包括以下步骤：

通过使用当前块的空间合并候选和时间合并候选来生成合并候选列表；

获得指示所述合并候选列表中的特定合并候选的合并索引；以及

通过使用所述特定合并候选的运动信息来生成所述当前块的预测块，

其中，生成所述合并候选列表包括：

如果所述空间合并候选的参考图片与预定图片相同，则将指示由所述空间合并候选的运动信息指定的并置块的第一合并候选添加到所述合并候选列表中。

2.根据权利要求1所述的方法，

其中，生成所述合并候选列表还包括确定先前添加到所述合并候选列表的空间合并候选的搜索顺序，

其中，基于所述搜索顺序在所述合并候选列表中选择所述空间合并候选。

3.根据权利要求2所述的方法，

其中，基于所述当前块的切片类型、由高级语法定义的特定参考图片列表以及所述当前块的参考图片列表中所包括的所有参考图片的图片顺序号POC是否等于或小于所述当前块的POC中的至少一个来确定所述搜索顺序。

4.根据权利要求1所述的方法，

其中，如果所述合并索引指示所述第一合并候选，则通过使用所述第一合并候选的子块的运动信息来生成所述预测块。

5.根据权利要求1所述的方法，

其中，生成所述合并候选列表包括如果所述空间合并候选的参考图片与所述预定图片不同，则将指示通过缩放所述空间合并候选的运动信息而指定的另一并置块的第二合并候选添加到所述合并候选列表。

6.一种基于帧间预测模式对图像进行解码的设备，该设备包括：

合并候选列表生成单元，该合并候选列表生成单元被配置为通过使用当前块的空间合并候选和时间合并候选来生成合并候选列表；

合并索引获得单元，该合并索引获得单元被配置为获得指示所述合并候选列表中的特定合并候选的合并索引；以及

预测块生成单元，该预测块生成单元被配置为通过使用所述特定合并候选的运动信息来生成所述当前块的预测块，

其中，所述合并候选列表生成单元被配置为如果所述空间合并候选的参考图片与预定图片相同，则将指示由所述空间合并候选的运动信息指定的并置块的第一合并候选添加到所述合并候选列表中。

7.根据权利要求6所述的设备，

其中，所述合并候选列表生成单元被配置为确定先前添加到所述合并候选列表的所述空间合并候选的搜索顺序，

8.根据权利要求7所述的设备，

9.根据权利要求6所述的设备，

其中，如果所述合并候选索引指示所述第一合并候选，则通过所述第一合并候选的子块的运动信息来生成所述预测块。

10.根据权利要求6所述的设备，

其中，所述合并候选列表生成单元被配置为如果所述空间合并候选的参考图片与所述预定图片不同，则添加指示通过缩放所述空间合并候选的运动信息而指定的另一并置块的第二合并候选。