CN115988200A - 编码方法、编码设备及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种编码方法、编码设备及计算机可读存储介质，该编码方法包括：获取当前块的依赖块、当前模板以及依赖模板，当前模板包括当前块周围的多个重建像素点，依赖模板包括依赖块周围的多个重建像素点；将依赖块、当前模板以及依赖模板输入预先训练的目标神经网络，得到当前块中待编码像素点的目标预测值；其中，目标神经网络根据当前模板以及依赖模板中像素点的重建像素值，确定依赖模板与当前模板之间的依赖关系，并根据依赖块中像素点的重建像素值以及依赖关系，确定待编码像素点的目标预测值。本申请所提供的编码方法能够提高预测的准确率。

Description

编码方法、编码设备及计算机可读存储介质

技术领域

本申请属于视频编码技术领域，特别是涉及一种编码方法、编码设备及计算机可读存储介质。

背景技术

视频图像数据量比较大，通常需要对其进行编码压缩后，再进行传输或存储，编码后的数据称之为视频码流，其中视频码流通过有线或者无线网络传输至用户端，再由用户端进行解码观看。

目前在对视频图像数据进行编码时，通常直接采用简单的线性预测方式进行预测，比如跨分量线性预测技术和局部光照补偿技术，容易导致预测不准确，因此目前的预测过程有待进一步提升。

发明内容

本申请提供一种编码方法、编码设备及计算机可读存储介质，能够提高预测的准确率。

本申请实施例第一方面提供编码方法，所述编码方法包括：获取当前块的依赖块、当前模板以及依赖模板，所述当前模板包括所述当前块周围的多个重建像素点，所述依赖模板包括所述依赖块周围的多个重建像素点；将所述依赖块、所述当前模板以及所述依赖模板输入预先训练的目标神经网络，得到所述当前块中待编码像素点的目标预测值；其中，所述目标神经网络根据所述当前模板以及所述依赖模板中像素点的重建像素值，确定所述依赖模板与所述当前模板之间的依赖关系，并根据所述依赖块中像素点的重建像素值以及所述依赖关系，确定所述待编码像素点的所述目标预测值。

本申请实施例第二方面提供一种解码方法，所述解码方法包括：接收编码器发送的编码数据；通过对所述编码数据进行解码，得到当前解码块中当前像素点的预测值；其中，所述当前解码块中所述当前像素点的预测值是采用上述任一项所述编码方法处理得到的。

本申请实施例第三方面提供一种编码设备，所述编码设备包括处理器、存储器以及通信电路，所述处理器分别耦接所述存储器、所述通信电路，所述存储器中存储有程序数据，所述处理器通过执行所述存储器内的所述程序数据以实现上述任一项所述方法中的步骤。

本申请实施例第四方面提供一种解码设备，所述解码设备包括处理器、存储器以及通信电路，所述处理器分别耦接所述存储器、所述通信电路，所述存储器中存储有程序数据，所述处理器通过执行所述存储器内的所述程序数据以实现上述任一项所述方法中的步骤。

本申请实施例第五方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被处理器执行以实现上述方法中的步骤。

有益效果：本申请利用预先训练好的目标神经网络来学习当前模板与依赖模板之间的依赖关系，可以建立更加复杂的线性或者非线性关系，使得建立的依赖关系更加符合图像的实际情况，从而可以使得预测结果准确，提高预测结果的准确率，以及提升压缩效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：

图1是本申请编码方法一实施方式的流程示意图；

图2是当前块与依赖块在一应用场景中的示意图；

图3是当前块与依赖块在另一应用场景中的示意图；

图4是当前块与依赖块在又一应用场景中的示意图；

图5是当前块与当前模板的相对示意图；

图6是本申请目标神经网络一实施方式的结构示意图；

图7是图6目标神经网络在一实例中的具体结构示意图；

图8是图7增强单元中残差块的结构示意图；

图9是本申请编码方法另一实施方式的部分流程示意图；

图10是本申请编码方法又一实施方式的部分流程示意图；

图11是本申请解码方法一实施方式的流程示意图；

图12是本申请编码器一实施方式的结构示意图；

图13是本申请编码器另一实施方式的结构示意图；

图14是本申请解码器一实施方式的结构示意图；

图15是本申请解码器另一实施方式的结构示意图；

图16是本申请计算机可读存储介质一实施方式的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

需要说明的是，本申请中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

参阅图1，图1是本申请编码方法一实施方式的流程示意图，该编码方法包括：

S110：获取当前块的依赖块、当前模板以及依赖模板。

具体地，当前块是指当前要进行编码的编码块，也可以称为当前编码块，当前块可以是亮度块，也可以是色度块，其中将当前块所处的视频帧定义为当前帧。当前模板包括当前块周围的多个重建像素点。

依赖块包括多个重建像素点，且依赖块与当前块可以处于同一视频帧中，也可以处于不同视频帧中，具体地，当采用帧间预测的方式对当前块进行预测时，依赖块处于参考帧中，当采用帧内预测的方式对当前块进行预测时，依赖块处于当前帧中。

依赖模板包括依赖块周围的多个重建像素点，且当前模板所包括的重建像素点相对当前块的分布情况，与依赖模板所包括的重建像素点相对依赖块的分布情况相同。例如，当按照从左往右，从上往下的顺序依次对图像帧中的各个编码块进行编码时，如果当前模板所包括的重建像素点分布在当前块的左侧和上侧，则依赖模板所包括的重建像素点也分布在依赖块的左侧和上侧。

在本实施方式中，依赖块是当前块对应的跨分量已重建块、当前帧中与当前块相邻的已重建块、参考帧中与当前块对应的目标参考块或者目标参考块对应的跨分量已重建块。

具体地，当前块对应的跨分量已重建块与当前块对应图像中的对应区域，只是该跨分量已重建块与当前块对应的颜色分量不同，结合图2，当依赖块是当前块对应的跨分量已重建块时，如果当前块是色度块，则依赖块可以是与该色度块对应的亮度块或者是与该色度块对应的另一色度块，或者如果当前块是亮度块，则依赖块可以是与该亮度块对应的色度块，其中，该色度块可以是Cb色度块，也可以是Cr色度块。可以理解的是，当依赖块是当前块对应的跨分量已重建块时，依赖块也处于当前帧中。

当依赖块是当前帧中与当前块相关的已重建块时，结合图3，如果是按照从左往右，从上往下的顺序依次对图像帧中的各个编码块进行编码，则依赖块可以是图3中左上依赖块、上依赖块、左依赖块中的一个。但是在其他实施方式中，当依赖块是当前帧中与当前块相关的已重建块时，依赖块还可以是当前帧中其他与当前块存在空域相关性的已重建块，在此不做限制。

结合图4，参考帧中与当前块对应的目标参考块指的是，参考帧中与当前块存在时域相关性的已重建块，其中确定目标参考块的过程包括：通过运动搜索等方法在参考帧中确定与当前编码块最接近的已重建块，该已重建块就是目标参考块。其中目标参考块的颜色分量与当前块的颜色分量相同，也就是说，如果当前块是亮度块，则目标参考块也是亮度块，如果当前块是Cb色度块，则目标参考块也是Cb色度块。

与当前块对应的跨分量已重建块相同，目标参考块对应的跨分量已重建块与目标参考块对应图像中的对应区域，只是该跨分量已重建块与目标参考块对应的颜色分量不同。例如，当目标参考块是亮度块时，该跨分量已重建块是亮度块对应的色度块，当目标参考块是Cb色度块时，该跨分量已重建块可以是对应的亮度块，也可以是对应的Cr色度块。

其中，步骤S110中获取的依赖块既可以是当前块对应的跨分量已重建块，也可以是当前帧中与当前块相关的已重建块，也可以是参考帧中与当前块对应的目标参考块，还可以是目标参考块对应的跨分量已重建块，具体可以根据需求进行设置，在此不做限制。

可以理解的是，当需要结合帧间预测技术对当前块进行预测时，依赖块与当前帧分别处于不同的视频帧中，当需要结合帧内预测技术对当前块进行预测时，依赖块与当前块处于同一视频帧中。

在本实施方式中，步骤S110包括：

S111：确定当前块的依赖块。

S112：分别根据当前块外侧、依赖块外侧的同一目标区域中的重建像素点，确定当前模板以及依赖模板。

其中，当前块外侧的目标区域包括当前块外侧的第一子区域、第二子区域、第三子区域、第四子区域以及第五子区域中的至少一个，第一子区域位于当前块的第一侧且两端与当前块的两端分别齐平，第二子区域位于当前块的第二侧且两端与当前块的两端分别齐平，第三子区域连接第一子区域与第二子区域，第四子区域位于第一子区域背离第三子区域一侧，第五子区域位于第二子区域背离第三子区域一侧。

具体地，当前模板相对当前块分布的区域与依赖模板相对依赖块分布的区域相同，因此以下只对当前模板进行介绍：

结合图5，当前模板包括当前块外侧的第一子区域、第二子区域、第三子区域、第四子区域以及第五子区域中至少一个子区域的重建像素点。且当按照从左往右，从上往下的顺序依次对图像帧中的各个编码块进行编码时，第一子区域、第四子区域位于当前块的上侧，第二子区域、第五子区域位于当前块的左侧。

其中第一子区域、第四子区域的宽度、高度可以对应相等，第二子区域、第五子区域的宽度、高度可以对应相等，在此不做限制。

同时本申请对第一子区域、第四子区域的高度不做限制，其可以包括多行重建像素点，对第二子区域、第五子区域的宽度不做限制，其可以包括多列重建像素点。

在现有技术中，当前模板通常只包括当前块相邻的一行像素和/或一列像素，无法利用更多的空域信息，从而导致确定的依赖关系不准确，而本申请按照上述方式设置目标区域，可以充分利用空域信息，保证最终预测结果的准确率。

S120：将依赖块、当前模板以及依赖模板输入预先训练的目标神经网络，得到当前块中待编码像素点的目标预测值。

其中，目标神经网络根据当前模板以及依赖模板中像素点的重建像素值，确定依赖模板与当前模板之间的依赖关系，并根据依赖块中像素点的重建像素值以及依赖关系，确定待编码像素点的目标预测值。

具体地，依赖模板与当前模板之间的依赖关系，和依赖块与当前块之间的依赖关系相似，因此目标神经网络在接收到依赖块、当前模板以及依赖模板后，学习依赖模板与当前模板之间的依赖关系，然后将该依赖关系作为依赖块与当前块之间的依赖关系，最终根据依赖块中像素点的重建像素值以及该依赖关系，能够确定待编码像素点的目标预测值。

在本实施方式中，利用预先训练好的目标神经网络来学习当前模板与依赖模板之间的依赖关系，可以建立更加复杂的线性或者非线性关系，使得建立的依赖关系更加符合图像的实际情况，从而可以使得预测结果准确，提升压缩效率。

需要说明的是，如果当前块与依赖块的尺寸不同，在将依赖块输入目标神经网络之前还需要对依赖块进行预处理，或者在目标神经网络输出结果之后，还需要对结果进行后处理。例如，如果依赖块是亮度块，当前块是色度块，且亮度块的尺寸大于色度块的尺寸，则最后在目标神经网络输出结果后，还需要对输出结果进行下采样处理，最终得到当前块中各个待编码像素点的目标预测值。其中下采样处理的方式包括但不限于双线性插值滤波器、双线性三次插值滤波器、基于神经网络的下采样滤波器等，在此不做限制。

为了更好地理解上述方案，在此结合实例进行说明：

在第一实例中，当前块为亮度块，依赖块为当前块的左依赖亮度块，同时当前模板包括当前块外侧的第二子区域、第三子区域以及第五子区域的重建像素点，则在将依赖块、当前模板以及依赖模板输入目标神经网络后，目标神经网络输出当前块中各个待编码像素点的目标预测值。

在第二实例中，当前块为色度块，依赖块为该色度块跨分量对应的亮度块，同时当前模板包括当前块外侧的第一子区域、第二子区域、第三子区域、第四子区域、第五子区域中的重建像素点，且图像格式为YUV420，则在将依赖块、当前模板以及依赖模板输入目标神经网络后，在目标神经网络输出结果后，还会对目标神经网络输出的结果进行下采样处理，最终得到色度块中各个像素点的目标预测值。其中，下采样的方式可以是双线性三次插值滤波器。

在第三实例中，当前块为亮度块，依赖块为参考帧中与当前块对应的目标参考块(也是亮度块)，同时当前模板包括当前块外侧的第一子区域、第二子区域、第三子区域、第四子区域、第五子区域中的重建像素点，则在将依赖块、当前模板以及依赖模板输入目标神经网络后，目标神经网络输出当前块中各个待编码像素点的目标预测值。

在本实施方式中，步骤S120具体包括：

S121：将依赖块、当前模板、依赖模板以及目标边信息输入目标神经网络，得到待编码像素点的目标预测值。其中，目标边信息包括当前块的量化参数、依赖块的量化参数、当前块与依赖块的对应关系中的至少一种信息；目标神经网络根据当前模板、依赖模板中像素点的重建像素值以及目标边信息，确定依赖模板与当前模板之间的依赖关系。

具体地，当前块的量化参数包括当前块的序列级量化参数、slice级别量化参数、CU级量化参数中的至少一个，依赖块的量化参数包括依赖块的序列级量化参数、slice级别量化参数、CU级量化参数中的至少一个。

其中，当前块与依赖块的对应关系指的是依赖块与当前块的依赖类型，例如，如果当前块是亮度块，依赖块是图3中当前块的左上依赖块，则当前块与依赖块的对应关系就是：当前亮度块依赖左上亮度块；如果当前块是色度块，依赖块是该色度块对应的跨分量亮度块，则当前块与依赖块的对应关系就是：当前色度块依赖对应的亮度块；如果当前块是亮度块，依赖块是参考帧中与当前亮度块对应的目标参考块，则当前块与依赖块的对应关系就是：当前亮度块依赖参考亮度块，以此类推，在此不做一一介绍。

其中，目标边信息包括当前块的量化参数、依赖块的量化参数、当前块与依赖块的对应关系中的一种信息，或者几种信息，在此不做限制。

具体地，此时目标神经网络进一步结合目标边信息确定依赖模板与当前模板之间的依赖关系，可以进一步提高确定依赖关系的准确率，最终提高预测结果。

需要说明的是，在其他实施方式中，也可以不将目标边信息输入目标神经网络，此时目标神经网络可以仅根据当前模板以及依赖模板中像素点的重建像素值，确定依赖模板与当前模板之间的依赖关系。

在本实施方式中，当设置目标边信息包括当前块与依赖块的对应关系时，如下有益效果：

如果设置目标神经网络的输入不包括目标边信息，或者设置目标边信息不包括当前块与依赖块的对应关系，则在预测时，目标神经网络无法知道依赖块与当前块的对应关系，因此为了保证训练出的目标神经网络能够对当前块进行预测，在训练目标神经网络时，所利用的样本组中第二样本块与第一样本块中的依赖关系，必须与预测过程中当前块与依赖块的依赖关系保持一致。其中，训练所利用的样本组包括第一样本块、第二样本块、第一样本模板以及第二样本模板，第一样本模板包括第一样本块周围的多个重建像素点，第二样本模板包括第二样本块周围的多个重建像素点，在利用样本组对目标神经网络进行训练时，以第一样本块、第一样本模板以及第二样本模板作为输入，第二样本块作为标签对目标神经网络进行训练。

而当设置目标边信息包括当前块与依赖块的对应关系时，由于预测过程中，目标神经网络可以知道当前块与依赖块的对应关系，因此在训练目标神经网络时，所利用的样本组可以存在以下情况：部分样本组中第二样本块与第一样本块的依赖关系和预测过程中当前块与依赖块的依赖关系一致，另一部分样本组中第二样本块与第一样本块的依赖关系和预测过程中当前块与依赖块的依赖关系不一致。

简单来说，在训练过程中，样本组中第二样本块与第一样本块的对应关系可以是多种多样的，从而在训练完成后，该目标神经网络可以对多个当前块进行预测，且该多个当前块与各自对应的依赖块之间的对应关系可以不同，从而可以提高目标神经网络的应用广泛性。

参阅图6，图6是本申请目标神经网络一实施方式的结构示意图，该目标神经网络100包括关系拟合模块110、特征提取模块120、预测模块130、通道转换模块140以及残差连接线150。

关系拟合模块110用于根据当前模板以及依赖模板中像素点的重建像素值，确定依赖关系。

具体地，关系拟合模块110可以通过卷积、全连接等处理方式，基于当前模板、依赖模板中像素点的重建像素值，拟合得到当前模板与依赖模板的依赖关系。其中，为了提高拟合的准确率，关系拟合模块110在拟合时，还可以进一步结合目标边信息进行拟合，也就是说，此时关系拟合模块110的输入除了包括当前模板、依赖模板外，还进一步包括目标边信息。其中，关系拟合模块110具体可以是卷积神经子网络、全连接神经子网络或者卷积和全连接的混合神经子网络，本申请对关系拟合模块110的具体结构不做限制。

特征提取模块120用于对依赖块进行特征提取，得到依赖特征。

具体地，特征提取模块120可以通过卷积、全连接等方式将依赖块从像素域映射到特征域。其中，特征提取模块120具体可以是卷积神经子网络、全连接神经子网络或者卷积和全连接的混合神经子网络，本申请对特征提取模块120的具体结构不做限制。

预测模块130同时与关系拟合模块110以及特征提取模块120连接，用于将依赖关系与依赖特征进行融合处理，得到融合特征。

具体地，在本实施方式中，预测模块130包括预测单元131以及增强单元132，预测单元131同时与关系拟合模块110以及特征提取模块120连接，用于将依赖关系与依赖特征进行融合处理，得到融合特征，增强单元132与预测单元131连接，用于对融合特征进行质量增强处理，以提高后续预测的准确率。其中，增强单元132可以通过卷积、全连接等方式对融合特征进行质量增强处理，增强单元132可以是卷积神经子网络、全连接神经子网络或者卷积和全连接的混合神经子网络，本申请对增强单元132不做具体限制。

需要说明的是，在其他实施方式中，预测模块130可以仅包括预测单元131，不包括增强单元132。

通道转换模块140与预测模块130连接，用于对融合特征进行通道转换处理，得到预测特征，其中，预测特征的维度与依赖块的维度相同。

具体地，预测特征的维度与依赖块的维度相同，例如假设依赖块的维度为W×H，则预测特征的维度也为W×H，即包括W×H个特征点的特征值。

其中，通道转换模块140可以通过卷积等操作对融合特征进行通道转换处理，且通道转换模块140可以是卷积神经子网络、全连接神经子网络或者卷积和全连接的混合神经子网络，本申请对通道转换模块140不做具体限制。

残差连接线150连接特征提取模块120的输入与通道转换模块140的输出，以将预测特征与依赖块中像素点的重建像素值进行相加处理后，作为目标神经网络的输出。

具体地，通过残差连接线150，使得预测特征与依赖块中像素点的重建像素值进行相加处理后作为目标神经网络的输出，该输出即为当前块的目标预测值。

其中，残差连接线150的设置可以使得目标神经网络100中的各个模块仅需要学习依赖块与预测特征之间的差异即可，从而可以降低目标神经网络100的训练难度，并提升训练效果。

需要说明的是，在其他实施方式中，也可以不设置残差连接线150。

在本实施方式中，依赖关系包括多个权重，依赖特征包括多个特征点的特征值，多个特征点分布在多个通道上，且分布在不同通道上的特征点一一对应；预测模板130具体用于：分别将每个特征点的特征值与特征点对应的权重进行融合处理，得到融合特征；其中，多个权重与多个特征点一一对应，或者，不同通道上对应的特征点对应同一个权重，或者，分布在同一通道的特征点对应同一个权重。

具体地，如果依赖特征的维度为W×H×C，则表示依赖特征包括W×H×C个特征点的特征值，且这些特征值分布在C个通道上，每个通道上都分布有W行、H列个像素点，且不同通道上同一位置的像素点一一对应，例如，处于不同通道上的第一行、第一列的像素点一一对应，处于不同通道上的第二行、第三列的像素点一一对应，以此类推。

其中，预测模块130在进行融合处理时，可以选择以下几种融合方式：

第一种是，每个特征点都对应一个权重，权重的数量与特征点的数量相同，如果依赖特征的维度为W×H×C，则权重的数量为W×H×C个。然后在融合处理时，针对每个特征点而言，将其对应的特征值与对应的权重进行融合处理，具体可以将特征点的特征值与对应的权重进行相乘处理。

第二种是，不同通道上对应的特征点所对应的权重相同，也就是说，不同通道上同一位置的特征点对应的权重相同，例如各个通道上位于(1,2)位置的像素点对应的权重相同。

也就是说，如果依赖特征的维度为W×H×C，则权重的数量为W×H个。

第三种是，一个通道对应一个权重，处于同一通道上的多个特征点的权重相同，对于任意特征点而言，其对应的权重为其所处通道对应的权重。

也就是说，如果依赖特征对应的维度为W×H×C，则权重的数量为C个。

其中，预测模块130在进行融合处理时，可以选择上述三种中的任一种方式进行融合处理，也可以同时采用上述两种或者三种融合处理方式，以同时采用两种融合处理方式为例进行介绍：先分别采用这两种融合处理方式进行融合，得到各自的融合特征，然后再将得到的融合特征进行进一步地融合，得到最终的融合特征。

例如，预测模块13分别采用上述第一种融合处理和第二种融合处理，得到两种融合特征，然后再将两种融合特征进行进一步地融合处理，得到最终的融合特征。

为了更好地理解上述目标神经网络100，下面结合实例进行说明：

参阅图7，在该实例中，设置目标神经网络100的输入除了包括当前模板以及依赖模板外，还包括当前块的量化参数(具体可以是当前块的slice级量化参数)以及依赖块的量化参数(具体可以是依赖块的slice级量化参数)。同时在该实例中，当前块为色度块，依赖块为该色度块对应的跨颜色亮度块。

在该实例中，关系拟合模块110在接收到当前模板、依赖模板、当前块的量化参数以及依赖块的量化参数后，进行拟合处理，得到当前模板与依赖模板之间的依赖关系，在该实例中，关系拟合模块110包括3个级联的全连接层。

同时在该实例中，特征提取模块120包括依次级联的4个[第一卷积层，第一激活层]和一个第二卷积层。

同时预测单元131在将关系拟合模块110输出的依赖关系与特征提取模块120输出的依赖特征进行融合处理，得到融合特征。

接着融合特征被送入增强单元132，该增强单元132包括4个级联的残差块和局部残差连接线A。结合图8，在该实例中，每个残差块包括均级联的一个[第四卷积层、第二激活层]和一个第五卷积层，以及还包括局部残差连接线B。

同时通道转换模块140包括一个第三卷积层。

需要说明的是，本申请对目标神经网络100的具体结构不做任何限定，例如在其他实例中，关系拟合模块110可以包括1个全连接层、2个全连接层、4个全连接层，甚至更多的全连接层，或者，特征提取模块120可以包括依次级联的2个[第一卷积层，第一激活层]和一个第二卷积层，或者级联的1个[第一卷积层，第一激活层]和一个第二卷积层，或者，增强单元132包括1个残差块、2个残差块、3个残差块、5个残差块，甚至更多的残差块，或者通道转换模块140可以包括不止一个第三卷积层，可以包括2两个第三卷积层、3个第三卷积层，甚至更多个第三卷积层。

在本实施方式的一应用场景中，在训练目标神经网络时，分别利用多个样本组，对目标神经网络进行训练；其中，编码多个样本组的量化参数不完全相同。

具体地，每个样本组均包括第一样本块、第二样本块、第一样本模板以及第二样本模板，第一样本模板包括第一样本块周围的多个重建像素点，第二样本模板包括第二样本块周围的多个重建像素点，在利用样本组对目标神经网络进行训练时，以第一样本块、第一样本模板以及第二样本模板作为输入，第二样本块作为标签对目标神经网络进行训练。

其中在训练目标神经网络的过程中，编码多个样本组的量化参数不完全相同，可以提高目标神经网络的泛化性，后续在使用时，可以利用目标神经网络预测各个量化参数的当前块的预测值。

为了便于理解，在此以量化参数为slice级量化参数进行说明：在训练时，分别以slice级量化参数等于22、27、32、37等多个样本组对目标神经网络进行训练，后续在预测时，不管当前块的slice级量化参数等于22、27、32、37或者其他数值，都可以使用该目标神经网络进行训练。

在另一应用场景中，参阅图9，在步骤S120之前，还包括：

S130：分别确定多个第一神经网络对应的第一量化参数与当前块对应的第二量化参数的差值。

S140：将最小的差值对应的第一神经网络，确定为目标神经网络。

其中，在训练第一神经网络时，利用对应的样本组对第一神经网络进行训练，其中，编码样本组的量化参数为第一神经网络对应的第一量化参数。

具体地，在该应用场景中，预先训练多个第一神经网络，其中，多个第一神经网络对应的第一量化参数不同，其中对于任意第一神经网络而言，在训练过程中使用对应的样本组对其训练，样本组包括第一样本块、第二样本块、第一样本模板以及第二样本模板，第一样本模板包括第一样本块周围的多个重建像素点，第二样本模板包括第二样本块周围的多个重建像素点，在利用样本组对目标神经网络进行训练时，以第一样本块、第一样本模板以及第二样本模板作为输入，第二样本块作为标签对目标神经网络进行训练，其中，编码第一神经网络对应的样本组的量化参数为第一神经网络对应的第一量化参数。

同时将当前块的量化参数定义为第二量化参数，而当需要对当前块进行预测时，在多个第一神经网络中，查找对应的第一量化参数最接近第二量化参数的第一神经网络，然后将该第一神经网络作为目标神经网络，利用该网络对当前块进行预测。

为了便于理解，在此以量化参数为slice级量化参数进行说明：

预先训练4个第一神经网络：以多个第一样本组训练第一神经网络1，其中，编码多个第一样本组的量化参数均为22；以多个第二样本组训练第一神经网络2，其中，编码多个第二样本组的量化参数均为27；以多个第三样本组训练第一神经网络3，其中，编码多个第三样本组的量化参数均为32；以多个第四样本组训练第一神经网络4，其中，编码多个第四样本组的量化参数均为37。

在预测时，对于slice级量化参数为35的当前块，由于37最接近35，则将第一神经网络4确定为目标神经网络，并利用该目标神经网络对当前块进行预测。

在另一应用场景中，参阅图10，本申请的方法还包括：

S150：在将目标神经网络依次确定为多个第二神经网络后，得到每个待编码像素点的目标预测值。

S160：分别根据所有待编码像素点在每个第二神经网络下的目标预测值，确定每个第二神经网络对应的代价值。

S170：将代价值最小的第二神经网络确定为最终神经网络。

S180：分别将每个待编码像素点在最终神经网络下的目标预测值，确定为每个待编码像素点的最终预测值。

其中，多个第二神经网络对应的量化参数不同，其中，在训练第二神经网络时，利用对应的样本组对第二神经网络进行训练，其中，编码样本组的量化参数为第二神经网络对应的量化参数；或者，多个第二神经网络对应的目标相对位置不同，其中，在训练第二神经网络时，利用对应的样本组对第二神经网络进行训练，样本组包括第一样本块以及第一样本模板，第一样本模板包括第一样本块周围的多个重建像素点，第一样本模板与第一样本块的相对位置为第二神经网络对应的目标相对位置。

具体地，在该应用场景中，将多个第二神经网络依次作为目标神经网络，并分别执行步骤S120，得到当前块中每个待编码像素点在每个第二神经网络下的目标预测值。

从而针对每个第二神经网络而言，根据所有待编码像素点在第二神经网络下的目标预测值，可以得到第二神经网络对应的代价值。代价值具体为率失真代价值，确定代价值的过程属于现有技术，在此不做详述。

在得到每个第二神经网络对应的代价值后，可以查找代价值最小的第二神经网络，其中，第二神经网络对应的代价值最小，则说明用第二神经网络来对当前块进行预测最准确，因此最终将待编码像素点在第二神经网络下的目标预测值作为像素点的最终预测值。

也就是说，在本实施方式中，采用多个第二神经网络进行竞争，最终取最优的一个第二神经网络。

为了便于理解，在此结合实例进行说明：

预先训练4个第二神经网络：第二神经网络A、第二神经网络B、第二神经网络C以及第二神经网络D。

然后在预测时，将当前模板、依赖模板以及当前块均输入到第二神经网络A、第二神经网络B、第二神经网络C以及第二神经网络D，得到每个待编码像素点在第二神经网络A、第二神经网络B、第二神经网络C以及第二神经网络D下的预测值。

接着针对第二神经网络A，根据当前块中所有待编码像素点在第二神经网络A下的目标预测值，确定第二神经网络A对应的代价值；针对第二神经网络B，根据当前块中所有待编码像素点在第二神经网络B下的目标预测值，确定第二神经网络B对应的代价值；针对第二神经网络C，根据当前块中所有待编码像素点在第二神经网络C下的目标预测值，确定第二神经网络C对应的代价值；针对第二神经网络D，根据当前块中所有待编码像素点在第二神经网络D下的目标预测值，确定第二神经网络D对应的代价值。

如果第二神经网络A、第二神经网络B、第二神经网络C、第二神经网络D对应的代价值分别为1000、750、900、1200，则最终将待编码像素点在第二神经网络B下的目标预测值，确定为像素点的最终预测值。

本应用场景一实例中，与上述多个第一神经网络相同，多个第二神经网络对应的量化参数不同，为了便于理解在此结合实例进行说明：

预先训练4个第二神经网络：以多个第二样本组训练第二神经网络A，其中，编码多个第二样本组的量化参数均为22；以多个第二样本组训练第二神经网络B，其中，编码多个第二样本组的量化参数均为27；以多个第三样本组训练第二神经网络C，其中，编码多个第三样本组的量化参数均为32；以多个第四样本组训练第二神经网络D，其中，编码多个第四样本组的量化参数均为37。

本应用场景另一实例中，多个第二神经网络对应的目标相对位置不同，第二神经网络对应的目标相对位置是对应的样本组中第一样本模板相对第一样本块的位置，也是第二样本模板相对第二样本块的位置。其中，在利用样本组对第二神经网络进行训练时，以第一样本块、第一样本模板以及第二样本模板作为输入，第二样本块作为标签对目标神经网络进行训练。

例如，设置多个第二神经网络的数量为三个，在训练第二神经网络A时，第一样本模板所包括的重建像素点分布在第一样本块的上侧区域，在训练第二神经网络B时，第一样本模板所包括的重建像素点分布在第一样本块的左侧区域，在训练第二神经网络C时，第一样本模板所包括的重建像素点部分分布在第一样本块的上侧区域，部分分布在第一样本块的左侧区域。

在上述应用场景中，为了将最终神经网络指示给解码端，需要生成相应的句法元素。

具体地，首先生成第一句法元素，第一句法元素用于指示是否利用目标神经网络对当前块进行预测，即是否执行步骤S120。

如果第一句法元素指示不利用目标神经网络对当前块进行预测，即不执行步骤S120，此时更不会利用多个第二神经网络进行竞争，因此无需再生成其他句法元素。

但是如果第一句法元素指示利用目标神经网络对当前块进行预测，即执行步骤S120，则为了将最终神经网络指示给解码端，则生成第二句法元素，此时可以预先将多个第二神经网络用不同的标号进行表示，然后将第二句法元素设置成等于最终目标神经网络对应的标号，以将最终目标神经网络指示给解码端。为了便于理解，在此结合实例进行说明：

例如，在帧内预测技术中，设置第一句法元素CCLM_NN指示是否启用目标神经网络对当前块进行预测。当CCLM_NN＝0时，表示不启用目标神经网络对当前块进行预测，而当CCLM_NN＝1时，表示启用目标神经网络对当前块进行预测，且当CCLM_NN＝1时，设置第二句法元素CCLM_NN_IDX将最终神经网络指示给解码端，例如假设四个第二神经网络分别用0、1、2、3进行表示，则将确定将待编码像素点在标号为0的第二神经网络下的目标预测值确定为最终预测值时，设置CCLM_NN_IDX＝0。

类似地，在帧间预测技术中，设置第一句法元素LIC_NN指示是否启用目标神经网络对当前块进行预测。当LIC_NN＝0时，表示不启用目标神经网络对当前块进行预测，而当LIC_NN＝1时，表示启用目标神经网络对当前块进行预测，且当LIC_NN＝1时，设置第二句法元素LIC_NN_IDX将最终神经网络指示给解码端，例如假设四个第二神经网络分别用0、1、2、3进行表示，则将确定将待编码像素点在标号为0的第二神经网络下的目标预测值确定为最终预测值时，设置LIC_NN_IDX＝0。

其中，当依赖块处于当前帧中时，本实施方式的方法还包括：

S210：利用传统的帧内预测技术对当前块进行预测，得到当前块中待编码像素点的第一预测值。

S220：根据所有待编码像素点的第一预测值，确定第一代价值。

S230：根据所有待编码像素点的目标预测值，确定第二代价值。

S240：响应于第一代价值小于第二代价值，将待编码像素点的第一预测值确定为待编码像素点的最终预测值，否则将待编码像素点的目标预测值确定为待编码像素点的最终预测值。

具体地，当需要采用帧内预测技术对当前块进行预测，即依赖块处于当前帧中时，采用传统的帧内预测技术与本申请采用目标神经网络进行预测的技术进行竞争：

使用现有技术中的帧内预测技术对当前块进行预测，得到每个待编码像素点的第一预测值，并根据每个待编码像素点的第一预测值，确定第一代价值，同时还根据每个待编码像素点的目标预测值，确定第二代价值。

如果第一代价值小于第二代价值，则说明采用现有技术中帧内预测技术进行预测的准确率高于采用目标神经网络对当前块进行预测的准确率，进而将使用现有技术中帧内预测技术进行预测的结果作为最终结果，否则将使用目标神经网络对当前块进行预测的结果作为最终结果。

在上述方案中，将使用目标神经网络进行预测的方案与现有技术中采用帧内预测技术进行预测的方案进行竞争；但是在其他方案中，也可以直接将使用目标神经网络进行预测的方案取代现有技术中的帧内预测方案，即直接将待编码像素点的目标预测值作为最终预测值。

其中，当依赖块是当前块的跨分量已重建块时，上述传统的帧内预测技术具体可以是跨分量线性预测技术，即CCLM技术。

在另一实施方式中，当依赖块处于参考帧中时，本申请的方法还包括：

S310：利用传统的帧间预测技术对当前块进行预测，得到当前块中待编码像素点的第一预测值。

S320：根据所有待编码像素点的第一预测值，确定第一代价值。

S330：根据所有待编码像素点的目标预测值，确定第二代价值。

S340：响应于第一代价值小于第二代价值，将待编码像素点的第一预测值确定为待编码像素点的最终预测值，否则将待编码像素点的目标预测值确定为待编码像素点的最终预测值。

具体地，当需要采用帧间预测技术对当前块进行预测，即依赖块处于参考帧中时，采用传统的帧间预测技术与本申请采用目标神经网络进行预测的技术进行竞争：

使用现有技术中的帧间预测技术对当前块进行预测，得到每个待编码像素点的第一预测值，并根据每个待编码像素点的第一预测值，确定第一代价值，同时还根据每个待编码像素点的目标预测值，确定第二代价值。

如果第一代价值小于第二代价值，则说明采用现有技术中帧间预测技术进行预测的准确率高于采用目标神经网络对当前块进行预测的准确率，进而将使用现有技术中帧间预测技术进行预测的结果作为最终结果，否则将使用目标神经网络对当前块进行预测的结果作为最终结果。

在上述方案中，将使用目标神经网络进行预测的方案与现有技术中采用帧间预测技术进行预测的方案进行竞争；但是在其他方案中，也可以直接将使用目标神经网络进行预测的方案取代现有技术中的帧间预测方案，即直接将待编码像素点的目标预测值作为最终预测值。

其中，当依赖块是参考帧中与当前块对应的目标参考块时，上述传统的帧间预测技术可以是局部光照补偿技术，即LIC技术。

参阅图11，图11是本申请解码方法一实施方式的流程示意图，该方法包括：

S410：接收编码器发送的编码数据。

S420：通过对编码数据进行解码，得到当前解码块中当前像素点的预测值。

其中，当前解码块中当前像素点的最终预测值是采用上述任一项实施方式中编码方法得到的，详细的步骤可参见相关内容，在此不再赘述。

参阅图12，图12是本申请编码器一实施方式的结构示意图。该编码器300包括处理器310、存储器320以及通信电路330，处理器310分别耦接存储器320、通信电路330，存储器320中存储有程序数据，处理器310通过执行存储器320内的程序数据以实现上述任一项实施方式中编码方法的步骤，其中详细的步骤可参见上述实施方式，在此不再赘述。

其中，编码器300可以是电脑、手机等任一项具有算法处理能力的装置，在此不做限制。

参阅图13，图13是本申请编码器另一实施方式的结构示意图。该编码器400包括连接的获取模块410以及预测模块420。

获取模块410用于获取当前块的依赖块、当前模板以及依赖模板，当前模板包括当前块周围的多个重建像素点，依赖模板包括依赖块周围的多个重建像素点。

预测模块420用于将依赖块、当前模板以及依赖模板输入预先训练的目标神经网络，得到当前块中待编码像素点的目标预测值。

其中，目标神经网络根据当前模板以及依赖模板中像素点的重建像素值，确定依赖模板与当前模板之间的依赖关系，并根据依赖块中像素点的重建像素值以及依赖关系，确定待编码像素点的目标预测值。

其中，编码器400在工作时执行上述任一项实施方式中编码方法的步骤，详细的步骤可参见上述相关内容，在此不做赘述。

其中，编码器400可以是电脑、手机等任一项具有算法处理能力的装置，在此不做限制。

参阅图14，图14是本申请解码器一实施方式的结构示意图。该解码器500包括处理器510、存储器520以及通信电路530，处理器510分别耦接存储器520、通信电路530，存储器520中存储有程序数据，处理器510通过执行存储器520内的程序数据以实现上述任一项实施方式中解码方法的步骤，其中详细的步骤可参见上述实施方式，在此不再赘述。

其中，解码器500可以是电脑、手机等任一项具有算法处理能力的装置，在此不做限制。

参阅图15，图15是本申请解码器另一实施方式的结构示意图。该解码器600包括获取模块610以及解码模块620。

获取模块610用于接收编码器发送的编码数据。

解码模块620与获取模块610连接，用于通过对编码数据进行解码，得到当前解码块中当前像素点的预测值。

其中，当前解码块中当前像素点的预测值是采用上述任一项实施方式中编码方法处理得到的，具体过程可参见上述内容，在此不再赘述。

其中，解码器600在工作时执行上述任一项实施方式中解码方法的步骤，详细的步骤可参见上述相关内容，在此不做赘述。

其中，解码器600可以是电脑、手机等任一项具有算法处理能力的装置，在此不做限制。

参阅图16，图16是本申请计算机可读存储介质一实施方式的结构示意图。该计算机可读存储介质700存储有计算机程序710，计算机程序710能够被处理器执行以实现上述任一项方法中的步骤。

其中，计算机可读存储介质700具体可以为U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等可以存储计算机程序710的装置，或者也可以为存储有该计算机程序710的服务器，该服务器可将存储的计算机程序710发送给其他设备运行，或者也可以自运行该存储的计算机程序710。

以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (16)

1.一种编码方法，其特征在于，所述方法包括：

获取当前块的依赖块、当前模板以及依赖模板，所述当前模板包括所述当前块周围的多个重建像素点，所述依赖模板包括所述依赖块周围的多个重建像素点；

将所述依赖块、所述当前模板以及所述依赖模板输入预先训练的目标神经网络，得到所述当前块中待编码像素点的目标预测值；

其中，所述目标神经网络根据所述当前模板以及所述依赖模板中像素点的重建像素值，确定所述依赖模板与所述当前模板之间的依赖关系，并根据所述依赖块中像素点的重建像素值以及所述依赖关系，确定所述待编码像素点的所述目标预测值。

2.根据权利要求1所述的方法，其特征在于，所述依赖块是所述当前块对应的跨分量已重建块、当前帧中与所述当前块相关的已重建块、参考帧中与所述当前块对应的目标参考块或者所述目标参考块对应的跨分量已重建块。

3.根据权利要求1所述的方法，其特征在于，所述获取当前块的依赖块、当前模板以及依赖模板的步骤，包括：

确定所述当前块的所述依赖块；

分别根据所述当前块外侧、所述依赖块外侧的同一目标区域中的重建像素点，确定所述当前模板以及所述依赖模板；

其中，所述当前块外侧的所述目标区域包括所述当前块外侧的第一子区域、第二子区域、第三子区域、第四子区域以及第五子区域中的至少一个，所述第一子区域位于所述当前块的第一侧且两端与所述当前块的两端分别齐平，所述第二子区域位于所述当前块的第二侧且两端与所述当前块的两端分别齐平，所述第三子区域连接所述第一子区域与所述第二子区域，所述第四子区域位于所述第一子区域背离所述第三子区域一侧，所述第五子区域位于所述第二子区域背离所述第三子区域一侧。

4.根据权利要求1所述的方法，其特征在于，所述将所述依赖块、所述当前模板以及所述依赖模板输入预先训练的目标神经网络，得到所述当前块中待编码像素点的目标预测值的步骤，包括：

将所述依赖块、所述当前模板、所述依赖模板以及目标边信息输入所述目标神经网络，得到所述待编码像素点的所述目标预测值；

其中，所述目标边信息包括所述当前块的量化参数、所述依赖块的量化参数、所述当前块与所述依赖块的对应关系中的至少一种信息；所述目标神经网络根据所述当前模板、所述依赖模板中像素点的重建像素值以及所述目标边信息，确定所述依赖模板与所述当前模板之间的所述依赖关系。

5.根据权利要求1所述的方法，其特征在于，所述目标神经网络包括：

关系拟合模块，用于根据所述当前模板以及所述依赖模板中像素点的重建像素值，确定所述依赖关系；

特征提取模块，用于对所述依赖块进行特征提取，得到依赖特征；

预测模块，同时与所述关系拟合模块以及所述特征提取模块连接，用于将所述依赖关系与所述依赖特征进行融合处理，得到融合特征；

通道转换模块，与所述预测模块连接，用于对所述融合特征进行通道转换处理，得到预测特征，其中，所述预测特征的维度与所述依赖块的维度相同；

残差连接线，连接所述特征提取模块的输入与所述通道转换模块的输出，以将所述预测特征与所述依赖块中像素点的重建像素值进行相加处理后，作为所述目标神经网络的输出。

6.根据权利要求5所述的方法，其特征在于，所述依赖关系包括多个权重，所述依赖特征包括多个特征点的特征值，多个所述特征点分布在多个通道上，且分布在不同所述通道上的所述特征点一一对应；

所述预测模块具体用于：分别将每个所述特征点的特征值与所述特征点对应的所述权重进行融合处理，得到所述融合特征；

其中，所述多个权重与所述多个特征点一一对应，或者，不同所述通道上对应的所述特征点对应同一个所述权重，或者，分布在同一所述通道的所述特征点对应同一个所述权重。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

分别利用多个样本组，对所述目标神经网络进行训练；

其中，编码多个所述样本组的量化参数不完全相同。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

分别确定多个第一神经网络对应的第一量化参数与所述当前块对应的第二量化参数的差值；

将最小的差值对应的所述第一神经网络，确定为所述目标神经网络。

其中，在训练所述第一神经网络时，利用对应的样本组对所述第一神经网络进行训练，其中，编码所述样本组的量化参数为所述第一神经网络对应的所述第一量化参数。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在将所述目标神经网络依次确定为多个第二神经网络后，得到每个所述待编码像素点的所述目标预测值；

分别根据所有所述待编码像素点在每个所述第二神经网络下的所述目标预测值，确定每个所述第二神经网络对应的代价值；

将所述代价值最小的所述第二神经网络确定为最终神经网络；

分别将每个所述待编码像素点在所述最终神经网络下的所述目标预测值，确定为每个所述待编码像素点的最终预测值；

其中，多个所述第二神经网络对应的量化参数不同，其中，在训练所述第二神经网络时，利用对应的样本组对所述第二神经网络进行训练，其中，编码所述样本组的量化参数为所述第二神经网络对应的量化参数；

或者，多个所述第二神经网络对应的目标相对位置不同，其中，在训练所述第二神经网络时，利用对应的样本组对所述第二神经网络进行训练，所述样本组包括第一样本块以及第一样本模板，所述第一样本模板包括所述第一样本块周围的多个重建像素点，所述第一样本模板与所述第一样本块的相对位置为所述第二神经网络对应的所述目标相对位置。

10.根据权利要求9所述的方法，其特征在于，在所述分别将每个所述待编码像素点在所述最终神经网络下的所述目标预测值，确定为每个所述待编码像素点的最终预测值之后，还包括：

生成第一句法元素；

响应于所述第一句法元素指示执行所述将所述依赖块、所述当前模板以及所述依赖模板输入预先训练的目标神经网络，得到所述当前块中待编码像素点的目标预测值的步骤，生成第二句法元素，所述第二句法元素指示所述最终神经网络。

11.根据权利要求1所述的方法，其特征在于，所述依赖块处于当前帧中，所述方法还包括：

利用传统的帧内预测技术对所述当前块进行预测，得到所述当前块中所述待编码像素点的第一预测值；

根据所有所述待编码像素点的所述第一预测值，确定第一代价值；

根据所有所述待编码像素点的所述目标预测值，确定第二代价值；

响应于所述第一代价值小于所述第二代价值，将所述待编码像素点的所述第一预测值确定为所述待编码像素点的最终预测值，否则将所述待编码像素点的所述目标预测值确定为所述待编码像素点的最终预测值。

12.根据权利要求1所述的方法，其特征在于，所述依赖块处于参考帧中，所述方法还包括：

利用传统的帧间预测技术对所述当前块进行预测，得到所述当前块中所述待编码像素点的第一预测值；

根据所有所述待编码像素点的所述第一预测值，确定第一代价值；

根据所有所述待编码像素点的所述目标预测值，确定第二代价值；

响应于所述第一代价值小于所述第二代价值，将所述待编码像素点的所述第一预测值确定为所述待编码像素点的最终预测值，否则将所述待编码像素点的所述目标预测值确定为所述待编码像素点的最终预测值。

13.一种解码方法，其特征在于，所述方法包括：

接收编码器发送的编码数据；

通过对所述编码数据进行解码，得到当前解码块中当前像素点的预测值；

其中，所述当前解码块中所述当前像素点的预测值是采用如权利要求1至12任一项所述编码方法处理得到的。

14.一种编码器，其特征在于，所述编码器包括处理器、存储器以及通信电路，所述处理器分别耦接所述存储器、所述通信电路，所述存储器中存储有程序数据，所述处理器通过执行所述存储器内的所述程序数据以实现如权利要求1-12任一项所述方法中的步骤。

15.一种解码器，其特征在于，所述解码器包括处理器、存储器以及通信电路，所述处理器分别耦接所述存储器、所述通信电路，所述存储器中存储有程序数据，所述处理器通过执行所述存储器内的所述程序数据以实现如权利要求13所述方法中的步骤。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被处理器执行以实现如权利要求1-13任一项所述方法中的步骤。

Images