CN111819856A

CN111819856A - 用于视频编码的环路滤波装置及方法

Info

Publication number: CN111819856A
Application number: CN201880090912.9A
Authority: CN
Inventors: 罗曼·伊戈列维奇·切尔尼亚克; 维克多·阿列克谢耶维奇·斯蒂平; 谢尔盖·尤里耶维奇·伊科宁; 高山; 陈焕浜; 杨海涛; 杰伊·史那嘎啦; 斯利拉姆·赛阿瑟拉门
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2018-03-07
Filing date: 2018-03-07
Publication date: 2020-10-23
Also published as: EP3741127A1; US20200404339A1; WO2019172800A1

Abstract

本发明涉及一种用于将视频流中的重建图像处理成经过滤波的重建图像的环路滤波装置(120)，其中，所述重建图像包括多个像素。所述环路滤波装置(120)包括处理电路，用于：将第一分割应用于所述重建图像或所述重建图像的至少一部分，以将所述重建图像分割成多个像素块；通过将相应的噪声抑制滤波器应用于所述多个像素块中的一个或多个像素块，对所述多个像素块中的所述一个或多个像素块进行滤波，以获得一个或多个经过滤波的像素块，其中，所述多个像素块中的所述一个或多个像素块由应用图定义，所述噪声抑制滤波器依赖所述应用图，所述应用图将所述重建图像分割成多个区域，并且针对所述多个区域中的每个区域，定义使用所述相应区域内的所述多个像素块中的所述一个或多个经过滤波的像素块或者一个或多个未滤波像素块中的至少一个像素块，以生成经过滤波的重建图像；根据所述一个或多个未滤波像素块以及所述一个或多个经过滤波的像素块，生成所述经过滤波的重建图像。此外，本发明还涉及一种对应的环路滤波方法。

Description

用于视频编码的环路滤波装置及方法

技术领域

一般而言，本发明涉及图像处理领域，尤其涉及视频图像编码。更具体地，本发明涉及一种用于对重建视频图像进行滤波的环路滤波装置及方法以及一种包括这种环路滤波装置的编码装置和解码装置。

背景技术

视频编码(视频编码和视频解码)广泛用于数字视频应用，例如，广播数字TV、经由互联网和移动网络的视频传输、视频聊天和视频会议等实时会话应用、DVD和蓝光光盘、视频内容采集和编辑系统以及安全应用的可携式摄像机。

自从1990年开发H.261标准中的基于块的混合视频编码方法以来，已经开发了新的视频编码技术和方法，而这些新的视频编码技术和方法成为新的视频编码标准的基础。大多数视频编码标准的目标之一是在不牺牲图像质量的情况下，实现相比前一个标准更低的码率。其它视频编码标准包括MPEG-1视频、MPEG-2视频、ITU-T H.262/MPEG-2、ITU-TH.263、ITU-T H.264/MPEG-4第10部分、高级视频编码(Advanced Video Coding，AVC)、ITU-T H.265、高效视频编码(High Efficiency Video Coding，HEVC)以及这些标准的扩展版(例如，可扩展性和/或三维(three dimension，3D)扩展版)。

在许多视频编码标准中实现的一种方法是环路滤波，能够减少编码伪影，特别是减少噪声。本发明的目的是提供一种用于噪声抑制的改进型环路滤波装置及方法，从而提高视频编码效率。

发明内容

本发明实施例由独立权利要求的特征定义，并且由从属权利要求的特征定义实施例的其它有利实现方式。

根据第一方面，本发明涉及一种将视频流中的重建图像(或重建图像的一部分)处理成经过滤波的重建图像(或经过滤波的重建图像的滤波部分)的环路滤波装置，其中，所述重建图像包括多个像素，每个像素与强度值等像素值相关联。所述环路滤波装置包括处理电路，用于：

将第一分割应用于所述重建图像(或所述重建图像的所述部分)，以将所述重建图像(或所述重建图像的所述部分)分割成多个像素块；

通过将相应的噪声抑制滤波器应用于所述多个像素块中的一个或多个像素块(其中，“所述多个像素块中的一个或多个像素块”包括或可以还包括本发明中的“所述多个像素块中的所有像素块”)，对所述多个像素块中的所述一个或多个像素块进行滤波，以获得一个或多个经过滤波的像素块(换句话说，以获得所述一个或多个像素块中的每个像素块的经过滤波的像素块)，其中，所述多个像素块中的所述一个或多个像素块由应用图定义，所述噪声抑制滤波器接收等依赖所述应用图，所述应用图将所述重建图像分割成多个区域，并且针对所述多个区域中的每个区域，定义使用所述相应区域内的所述多个像素块中的所述一个或多个经过滤波的像素块或者一个或多个未滤波像素块，以生成经过滤波的重建图像；

根据所述一个或多个未滤波像素块以及所述一个或多个经过滤波的像素块，生成所述经过滤波的重建图像(或所述经过滤波的重建图像的滤波部分)。

因此，提供了一种改进的环路滤波装置，能够减少编码伪影，特别是噪声，从而提高视频编码效率。

在所述第一方面的又一种可能的实现形式中，所述处理电路用于：将所述噪声抑制滤波器应用于所述一个或多个像素块中的相应的当前像素块(在本文中还称为“根块”)，以通过以下方式获得所述一个或多个经过滤波的像素块：

根据相似度度量确定与所述相应的当前像素块相似的一个或多个其它像素块，以获得相应堆像素块，即相应组像素块，包括所述当前像素块和所述一个或多个其它像素块；

对所述相应堆像素块进行统一滤波，以获得相应堆经过滤波的像素块；

根据一堆或多堆经过滤波的像素块，生成所述相应的当前经过滤波的像素块，

其中，所述确定与所述相应的当前像素块相似的一个或多个其它像素块和/或所述对所述相应堆像素块进行统一滤波依赖所述应用图。

在所述第一方面的又一种可能的实现形式中，相应堆像素块包括一个或多个重叠像素块。

在所述第一方面的又一种可能的实现形式中，所述处理电路用于：通过对所述一堆或多堆经过滤波的像素块中的像素块求平均，根据所述一堆或多堆经过滤波的像素块生成所述相应的当前经过滤波的像素块，其中，所述一堆或多堆经过滤波的像素块中的所述像素块至少部分地与所述当前像素块重叠。

在所述第一方面的又一种可能的实现形式中，所述处理电路用于：通过使用所述应用图，根据所述相似度度量确定所述对应堆像素块；所述处理电路用于：只使用所述应用图定义的所述多个区域中的区域内的像素块，确定与所述相应的当前像素块相似的所述一个或多个其它块，其中，所述一个或多个经过滤波的像素块将被用于生成所述经过滤波的重建图像。

在所述第一方面的又一种可能的实现形式中，所述处理电路用于：通过根据所述相似度度量为所述一个或多个其它像素块中的每个像素块确定相似度度量值以及通过将所述相似度度量与阈值比较，确定与所述相应的当前像素块相似的所述一个或多个其它像素块。

在所述第一方面的又一种可能的实现形式中，所述处理电路用于：通过只对所述应用图定义的所述多个区域中的区域内的所述相应堆像素块中的像素块进行统一滤波，根据所述应用图对所述相应堆像素块进行统一滤波，以获得所述相应堆经过滤波的像素块，其中，所述一个或多个经过滤波的像素块将被用于生成所述经过滤波的重建图像。

在所述第一方面的又一种可能的实现形式中，所述应用图定义的所述多个区域中的每个区域包括所述第一分割定义的所述一个或多个像素块中的至少一个像素块。

根据第二方面，本发明涉及一种用于对视频流中的图像进行编码的视频编码装置。所述视频编码装置包括：图像重建单元，用于重建所述图像；以及本发明所述第一方面或其任一实现形式提供的环路滤波装置，用于将所述重建图像处理成经过滤波的重建图像。

在所述第二方面的又一种可能的实现形式中，在第一处理阶段中，所述处理电路用于：

将第一分割应用于所述重建图像或所述重建图像的至少一部分，以将所述重建图像分割成所述多个像素块；

通过将相应的噪声抑制滤波器应用于所述多个像素块进行滤波，以获得多个经过滤波的像素块；

根据所述多个像素块和所述多个经过滤波的像素块，使用性能度量生成所述应用图，其中，所述性能度量特别是率失真度量；

在第二处理阶段中，所述处理电路用于：

通过将相应的噪声抑制滤波器应用于所述多个像素块中的一个或多个像素块，对所述多个像素块中的所述一个或多个像素块进行滤波，以获得一个或多个经过滤波的像素块，其中，所述多个像素块中的所述一个或多个像素块由在所述第一处理阶段中生成的所述应用图定义，所述噪声抑制滤波器依赖所述应用图，所述应用图将所述重建图像分割成多个区域，并且针对所述多个区域中的每个区域，定义使用所述相应区域内的所述多个像素块中的所述一个或多个经过滤波的像素块或者一个或多个未滤波像素块，以生成经过滤波的重建图像；

根据所述一个或多个未滤波像素块以及所述一个或多个经过滤波的像素块，生成所述经过滤波的重建图像。

在所述第二方面的又一种可能的实现形式中，在所述第一处理阶段中，所述处理电路用于：

通过将相应的噪声抑制滤波器应用于所述多个像素块，对所述多个像素块进行滤波，以使用虚拟应用图获取多个经过滤波的像素块，其中，所述虚拟应用图将所述重建图像分割成多个区域，并且针对所述多个区域中的每个区域，定义使用所述相应区域内的所述多个经过滤波的像素块(中的至少一个经过滤波的像素块)，以生成所述经过滤波的重建图像。

在所述第二方面的又一种可能的实现形式中，所述视频编码装置还包括熵编码单元，用于将所述应用图编码在码流等编码视频流中。

根据第三方面，本发明涉及一种用于对码流等编码视频流中的图像进行解码的视频解码装置。所述视频解码装置包括：图像重建单元，用于重建所述图像；以及本发明所述第一方面或其任一实现形式提供的环路滤波装置，用于将所述重建图像处理成经过滤波的重建图像。

在所述第三方面的又一种可能的实现形式中，所述视频解码装置还包括熵解码单元，用于使用所述编码视频流对所述应用图进行解码。

根据第四方面，本发明涉及一种用于将视频流中的重建图像处理成经过滤波的重建图像的对应环路滤波方法，其中，所述重建图像包括多个像素，每个像素与像素值相关联。所述环路滤波方法包括以下步骤：

将第一分割应用于所述重建图像或所述重建图像的至少一部分，以将所述重建图像分割成多个像素块；

通过将相应的噪声抑制滤波器应用于所述多个像素块中的一个或多个像素块，对所述多个像素块中的一个或多个像素块进行滤波，以获得，一个或多个经过滤波的像素块其中，所述多个像素块中的所述一个或多个像素块由应用图定义，所述噪声抑制滤波器依赖所述应用图，所述应用图将所述重建图像的至少所述部分分割成多个区域，并且针对所述多个区域中的每个区域，定义使用所述相应区域内的所述多个像素块中的所述一个或多个经过滤波的像素块或者一个或多个未滤波像素块，以生成经过滤波的重建图像；

所述第四方面提供的环路滤波方法可以由本发明所述第一方面提供的所述环路滤波装置执行。本发明所述第四方面提供的所述环路滤波方法的其他特征直接产生于本发明所述第一方面提供的所述环路滤波装置的功能及上文和下文描述的不同实现形式。

根据第五方面，本发明涉及一种计算机程序产品。所述计算机程序产品程序代码，所述程序代码在计算机上执行时用于执行所述第四方面提供的所述方法。

附图和以下描述对一个或多个实施例的细节进行了阐述。其它特征、目的和优点在描述、附图和权利要求中是显而易见的。

附图说明

下文将参考所附附图和示意图更加详细地描述本发明实施例，其中：

图1是用于实现本发明实施例的视频编码器的一个示例的框图；

图2为用于实现本发明实施例的视频解码器的一个示例性结构的框图；

图3是用于实现本发明实施例的视频编码系统的一个示例的框图；

图4是在视频编码器中实现的环路滤波装置的一个示例的框图；

图5是在视频解码器中实现的环路滤波装置的一个示例的框图；

图6是在图4和图5的环路滤波装置中实现的噪声抑制处理链的一个示例的框图；

图7是图6中的噪声抑制处理链的一些步骤的一个示例的流程图；

图8是在图6的噪声抑制处理链中使用的包含当前块和多个相似块的重建图像的一部分的示意图；

图9是在图6的噪声抑制处理链中使用的一堆块和一堆滤波块的示意图；

图10是在图6的噪声抑制处理链中使用的包含当前块和多堆滤波块的重建图像的一部分的示意图；

图11是在图6的噪声抑制处理链中使用的应用图的一部分的示意图；

图12是覆盖在图11中的应用图之上的包含当前块和多个相似块的重建图像的一部分的示意图；

图13是在根据一个实施例的环路滤波装置中实现的噪声抑制处理链的一个示例的框图；

图14是图13中的噪声抑制处理链的一些步骤的一个示例的流程图；

图15为在根据另一个实施例的环路滤波装置中实现的噪声抑制处理链的一个示例的框图；

图16是图15中的噪声抑制处理链的一些步骤的一个示例的流程图；

图17是在根据一个实施例的视频编码器中实现的根据一个实施例的环路滤波装置的一个示例的框图；

图18是在根据一个实施例的视频解码器中实现的根据一个实施例的环路滤波装置的一个示例的框图；

图19是根据一个实施例的环路滤波方法的一个示例的流程图。

在下文中，相同参考符号指代相同特征或至少在功能上等效的特征。

具体实施方式

以下描述中，参考形成本发明一部分并以说明的方式示出本发明实施例的具体方面或可以使用本发明实施例的具体方面的附图。应理解，本发明实施例可以用于其它方面，并且包括未在附图中示出的结构或逻辑变化。因此，以下详细描述并不构成任何限定，本发明的范围由所附权利要求书界定。

例如，应理解，与描述方法有关的公开内容对于用于执行所述方法的对应设备或系统也同样适用，反之亦然。例如，如果描述一个或多个具体方法步骤，则对应的设备可以包括一个或多个功能单元等单元来执行所描述的一个或多个方法步骤(例如，一个单元执行一个或多个步骤，或多个单元分别执行多个步骤中的一个或多个)，即使附图中未明确描述或说明这样的一个或多个单元。另一方面，例如，如果根据一个或多个功能单元等单元来描述具体装置，则对应的方法可以包括一个步骤来执行一个或多个单元的功能(例如，一个步骤执行一个或多个单元的功能，或多个步骤分别执行多个单元中的一个或多个单元的功能)，即使图中未明确描述或说明这样的一个或多个步骤。此外，应理解，除非另有具体说明，否则本文描述的各种示例性实施例和/或方面的特征可以相互组合。

视频编码通常是指对构成视频或视频序列的图像序列的数字压缩或解压缩。在视频编码领域，术语“帧(frame)”与“图像(picture/image)”可以用作同义词。视频编码(coding)包括两部分：视频编码和视频解码。视频编码在源侧执行，通常包括处理(例如，通过压缩)原始视频图像，以减少表示视频图像所需的数据量(以便实现更高效的存储和/或传输)。视频解码在目的地侧执行，通常包括相对于编码器作逆处理，以重建视频图像。涉及视频图像(或一般为图像，将在下文解释)的“编码”的实施例应理解为同时涉及视频图像的“编码”和“解码”。编码部分和解码部分的组合也称为编解码(CODEC)(编码和解码)。

在无损视频编码情况下，可以完全重建原始视频图像，即重建的视频图像与原始视频图像具有相同的质量(假设存储或传输期间没有传输损耗或其它数据丢失)。在有损视频编码情况下，通过量化等执行进一步压缩，来减少表示视频图像的数据量，而解码器侧无法完全重建视频图像，即重建的视频图像的质量比原始视频图像的质量较低或较差。

自H.261以来的几个视频编码标准属于“有损混合视频编解码器”组(即，将像素域中的空间预测和时间预测与变换域中用于应用量化的2D变换编码结合)。视频序列中的每个图像通常分割成一组不重叠块，通常在块级上执行编码。换句话说，在编码器侧，通常在块(视频块)级对视频进行处理(即编码)，例如，通过空间(帧内)预测和时间(帧间)预测来生成预测块；从当前块(当前处理的块/待处理的块)中减去预测块，得到残差块；在变换域中对残差块进行变换并量化，以减少待传输(压缩)的数据量，而在解码器侧，将相对于编码器的逆处理应用于经编码或压缩的块，以重建当前块进行表示。另外，编码器和解码器处理步骤相同，使得编码器和解码器生成相同的预测(例如，帧内预测和帧间预测)和/或重建，以对后续块进行处理(即编码)。

由于视频图像处理(也称为移动图像处理)和静止图像处理(本申请中的术语“处理”包括编码)共享许多概念和技术或手段，所以在下文中，术语“图像”用于指代视频序列中的视频图像(如上文所述)和/或静止图像，以避免在不需要时对视频图像和静止图像之间进行不必要的重复和区分。如果上述描述仅仅是指静止图像，应使用术语“静止图像”。

在编码器100的以下实施例中，根据图1至图3描述解码器200和编码系统300。

图3是编码系统300(例如，图像编码系统300)的一个实施例的概念性或示意性框图。编码系统300包括源设备310，用于将编码数据330(例如，编码图像330)提供给目的地设备320等，以便对编码数据330进行解码。

源设备310包括编码器100或编码单元100，并且可以另外(即，可选地)包括图像源312、预处理单元314(例如，图像预处理单元314)以及通信接口或通信单元318。

图像源312可以包括或者可以是任何类型的图像捕获设备，用于捕获真实世界图像等；和/或任何类型的图像生成设备，例如，用于生成计算机动画图像的计算机图形处理器；或者任何类型的设备，用于获取和/或提供真实世界图像、计算机动画图像(例如，屏幕内容、虚拟现实(virtual reality，VR)图像)和/或其任何组合(例如，增强现实(augmentedreality，AR)图像))。在下文中，除非另有其它具体的说明，所有这些类型的图像和任何其它类型的图像都将称为“图像”，而之前关于包括“视频图像”和“静止图像”的术语“图像”的解释仍然适用，除非另有明确的不同规定。

(数字)图像是或者可以看作具有强度值的像素组成的二维数组或矩阵。数组中的像素也可以称为像素(pixel或pel)(图像元素的简称)。数组或图像在在水平方向和垂直方向(或轴)上的像素的数量定义了图像的大小和/或分辨率。为了表示颜色，通常采用三种颜色分量，即图像可以表示为或者可以包括三个像素数组。在RBG格式或颜色空间中，图像包括对应的红色、绿色和蓝色像素数组。但是，在视频编码中，每个像素通常由亮度/色度格式表示或者在颜色空间中表示，例如，YCbCr，包括通过Y指示的亮度分量(有时也用L指示)以及通过Cb和Cr指示的两个色度分量。亮度(luminance，简写为luma)分量Y表示亮度或灰度级强度(例如，像灰度图像)，而两个色度(chrominance，简写为chroma)分量Cb和Cr表示色度或颜色信息分量。因此，YCbCr格式的图像包括由亮度像素值(Y)构成的亮度像素数组和两个由色度值(Cb和Cr)构成的色度像素数组。RGB格式的图像可以转换或变换为YCbCr格式，反之亦然。该过程也称为颜色变换或颜色转换。如果图像是黑白的，则该图像可以只包括亮度像素数组。

例如，图像源312可以是用于捕获图像的摄像机、包括或存储之前捕获或生成的图像的存储器(例如，图像存储器)，和/或任何类型的用于获取或接收图像的(内部或外部)接口。例如，所述摄像机可以是集成在源设备中的本地或集成摄像机，所述存储器可以是集成在源设备等中的本地或集成存储器。例如，所述接口可以是从外部视频源接收图像的外部接口，其中，所述外部视频源为类似于摄像机、外部存储器或外部图像生成设备(例如，外部计算机图形处理器、计算机或服务器)的外部图像捕获设备等。所述接口可以是根据任何专有或标准化接口协议的任何类型的接口，例如，有线接口或无线接口、光接口。所述用于获取图像数据312的接口可以与通信接口318为同一接口或者可以是通信接口318的一部分。

为了区分预处理单元314和预处理单元314执行的处理，图像或图像数据313也可以称为原始图像或原始图像数据313。

预处理单元314用于接收(原始)图像数据313并对图像数据313进行预处理，以得到预处理图像315或预处理图像数据315。预处理单元314执行的预处理可以包括修剪、颜色格式转换(例如，从RGB转换为YCbCr)、调色或去噪等。

编码器100用于接收预处理图像数据315并提供编码图像数据171(将根据图1等描述更多细节)。

源设备310中的通信接口318可以用于接收编码图像数据171并将编码图像数据171直接传输到另一设备(例如，目的地设备320)或任何其它设备，以便进行存储或直接重建；或用于分别在存储编码数据330和/或将编码数据330传输到另一设备(例如，目的地设备320)或任何其它设备之前，处理编码图像数据171，以便进行解码或存储。

目的地设备320包括解码器200或解码单元200，并且可以另外(即，可选地)包括通信接口或通信单元322、后处理单元326和显示设备328。

目的地设备320中的通信接口322用于直接从源设备310或从存储器(例如，编码图像数据存储器)等任何其它源接收编码图像数据171或编码数据330。

通信接口318和通信接口322可以用于经由源设备310与目的地设备320之间的直接通信链路(例如，直接有线或无线连接)，或者经由任何类型的网络(例如，有线网络、无线网络或其任何组合)或者任何类型的私网和公网或其任何类型的组合，传输或接收编码图像数据171或编码数据330。

例如，通信接口318可以用于将编码图像数据171封装成合适的格式(例如，数据包)，以便在通信链路或通信网络上进行传输，并且还可以用于执行数据丢失保护和数据丢失恢复。

例如，与通信接口318对应的通信接口322可以用于对编码数据330进行解封装，以得到编码图像数据171，并且还可以用于执行数据丢失保护和数据丢失恢复，例如，包括差错隐藏。

通信接口318和通信接口322均可以配置为如图3中从源设备310指向目的地设备320的编码图像数据330的箭头所指示的单向通信接口，或者配置为双向通信接口，并且可以用于发送和接收消息等，以建立连接，确认和/或重新发送包括图像数据的丢失或延迟数据，并交换与通信链路和/或数据传输(例如，编码图像数据传输)相关的任何其它信息，等等。

解码器200用于接收编码图像数据171并提供解码图像数据231或解码图像231(将根据图2等描述更多细节)。

目的地设备320中的后处理器326用于对解码图像数据231(例如，解码图像231)进行后处理，以得到后处理图像327等后处理图像数据327。例如，后处理单元326执行的后处理可以包括颜色格式转换(例如，从YCbCr转换为RGB)、调色、修剪或重采样，或任何其它处理，以便提供解码图像数据231供显示设备328等显示。

目的地设备320中的显示设备328用于接收后处理图像数据327，以向用户或观看者等显示图像。显示设备328可以是或者可以包括任何类型的显示器(例如，集成或外部显示器(display/monitor))，以表示重建图像。例如，显示器可以包括阴极射线管(cathoderay tube，CRT)、液晶显示器(liquid crystal display，LCD)、等离子显示器、有机发光二极管(organic light emitting diode，OLED)显示器或任何其它类型的显示器。

尽管图3示出了源设备310和目的地设备320作为单独的设备，但是设备实施例还可以同时包括源设备310和目的地设备320或源设备310和目的地设备320的功能，源设备310或对应功能以及目的设备320或对应功能。在这些实施例中，源设备310或对应功能以及目的地设备320或对应功能可以使用相同的硬件和/或软件或通过单独的硬件和/或软件或其任何组合来实现。

根据描述，图3所示的源设备310和/或目的地设备320中的不同单元或功能的存在和划分可能根据实际设备和应用而有所不同，这对技术人员来说是显而易见的。

因此，图3所示的源设备310和目的地设备320仅仅是实现本发明的示例性实施例，且本发明实施例不限于图3所示的实施例。

源设备310和目的地设备320可以包括多种设备中的任一种，包括任何类型的手持设备或固定设备，例如，笔记本(notebook/laptop)电脑、手机、智能手机、平板或平板计算机、摄像机、台式计算机、机顶盒、电视机、显示设备、数字媒体播放器、视频游戏机、视频流设备、广播接收器设备等，并且可以不使用或者可以使用任何类型的操作系统。

图1示出了编码器100(例如，图像编码器100)的一个实施例的示意性/概念性框图。编码器100包括输入端102、残差计算单元104、变换单元106、量化单元108、反量化单元110、逆变换单元112、重建单元114、缓冲器116、根据一个实施例的环路滤波装置120、解码图像缓冲器(decoded picture buffer，DPB)130、预测单元160、熵编码单元170和输出端172，其中，预测单元160包括帧间估计单元142、帧间预测单元144、帧内估计单元152、帧内预测单元154和模式选择单元162。图1所示的视频编码器100也可以称为混合视频编码器或根据混合视频编解码器的视频编码器。

例如，残差计算单元104、变换单元106、量化单元108和熵编码单元170形成编码器100的前向信号路径，而例如，反量化单元110、逆变换单元112、重建单元114、缓冲器116、根据一个实施例的环路滤波器120、解码图像缓冲器(decoded picture buffer，DPB)130、帧间预测单元144和帧内预测单元154形成编码器的后向信号路径，其中，编码器的后向信号路径对应于解码器的信号路径(参见图2中的解码器200)。

编码器用于通过输入端102等接收图像101或图像101中的图像块103，其中，图像101是形成视频或视频序列的图像序列中的图像等。图像块103也可以称为当前图像块或待编码图像块，图像101也可以称为当前图像或待编码图像(特别是在视频编码中，为了将当前图像与其它图像区分开，其中，其它图像是同一视频序列中的之前编码和/或解码的图像等，同一视频序列也就是同样包括当前图像的视频序列)。

编码器100的实施例可以包括分割单元(图1未示出)，所述分割单元还可以称为图像分割单元等，用于将图像103分割成多个块(例如，类似于块103的块)，通常分割成多个不重叠块。分割单元可以用于对视频序列中的所有图像使用相同的块大小和定义块大小的对应网格，或者用于改变图像或图像子集或图像组之间的块大小，并将每个图像分割成对应块。

类似于图像101，块103同样是或者可以看作是具有强度值(像素值)的像素组成的二维数组或矩阵，但是块103的尺寸小于图像101的尺寸。换句话说，块103可以包括一个像素数组(例如，黑白图像101情况下的亮度数组)或三个像素数组(例如，彩色图像101情况下的一个亮度数组和两个色度数组)或任何其它数量和/或类型的数组等，取决于所采用的颜色格式。块103在水平方向和垂直方向(或轴)上的像素的数量定义了块103的大小。

图1所示的编码器100用于逐块对图像101进行编码。例如，对每个块103执行编码和预测。

残差计算单元104用于通过以下方式等根据图像块103和预测块165来计算残差块105(稍后详细介绍了预测块165)：逐个像素(逐个像素)从图像块103的像素值中减去预测块165的像素值，以得到像素域中的残差块105。

变换单元106用于对残差块105的像素值进行空间频率变换或线性空间变换等变换(例如，离散余弦变换(discrete cosine transform，DCT)或离散正弦变换(discretesine transform，DST))，以得到变换域中的变换系数107。变换系数107也可以称为变换残差系数，表示变换域中的残差块105。

变换单元106可以用于进行DCT/DST整数化近似，例如，针对HEVC/H.265指定的核心变换。与正交DCT变换相比，这种整数化近似通常通过某一因子进行缩放。为了维持经过正变换和逆变换处理的残差块105的范数，可以使用其它缩放因子作为变换过程的一部分。缩放因子通常是根据某些约束条件来选择的，例如，缩放因子是用于移位运算的2的幂、变换系数的位深度、准确性与实现成本之间的权衡等。例如，在解码器200侧，通过逆变换单元212等为逆变换(以及在编码器100侧，通过逆变换单元112等为对应的逆变换)指定具体的缩放因子；相应地，可以在编码器100侧，通过变换单元106等为正向变换指定对应的缩放因子。

量化单元108用于通过进行标量量化或矢量量化等对变换系数107进行量化，以得到量化变换系数109。量化系数109也可以称为量化残差系数109。例如，对于标量量化，可以应用不同程度的缩放来实现较细或较粗的量化。较小的量化步长对应于较细的量化，而较大的量化步长对应于较粗的量化。可以通过量化参数(quantization parameter，QP)指示合适的量化步长。例如，量化参数可以是预定义的适用量化步长集合的索引。例如，小的量化参数可以对应于精细量化(小的量化步长)，大的量化参数可以对应于粗糙量化(大的量化步长)，反之亦然。量化可以包括除以量化步长，而反量化110等执行的对应或反解量化可以包括乘以量化步长。根据HEVC的实施例可以用于使用量化参数来确定量化步长。通常，可以根据量化参数使用包含除法的方程式的定点近似来计算量化步长。量化和解量化可以引入其它缩放因子以恢复残差块的范数，由于在量化步长和量化参数的等式的定点近似中使用的缩放，可能会修改残差块的范数。在一种示例性实现方式中，可能合并逆变换和解量化的缩放。或者，可以使用自定义量化表，在码流中等将量化表从编码器100发送给解码器200。量化是有损操作，其中，量化步长越大，损耗越大。

编码器100的实施例可以用于通过对应的量化参数等方式输出量化方案和量化步长，使得解码器200可以接收和进行对应的反量化。编码器100(或量化单元108)的实施例可以用于直接输出或通过熵编码单元170或任何其它熵编码单元进行熵编码后输出量化方案和量化步长。

编码器100中的反量化单元110用于通过以下方式等对量化系数进行量化单元108的反量化，以得到解量化系数111：根据或使用与量化单元108所使用的相同量化步长执行与量化单元108所执行的量化方案相反的方案。解量化系数111也可以称为解量化残差系数111，对应于变换系数108，但是由于量化造成损耗，解量化系数111通常与变换系数108不完全相同。

编码器100中的逆变换单元112用于进行变换单元106进行的变换的逆变换，例如，逆离散余弦变换(discrete cosine Transform，DCT)或逆离散正弦变换(discrete sineTransform，DST)，以得到像素域中的逆变换块113。逆变换块113也可以称为逆变换解量化块113或逆变换残差块113。

编码器100中的重建单元114用于通过以下方式等将逆变换块113和预测块165组合起来，以得到像素域中的重建块115：以像素为单位将解码残差块113的像素值和预测块165的像素值相加。

缓冲单元116(或简称“缓冲器”116)(例如，列缓冲器116)用于缓冲或存储重建块115和相应的像素值，以进行帧内估计和/或帧内预测等。在其它实施例中，编码器100可以用于使用存储在缓冲单元116中的未滤波重建块和/或相应的像素值进行任何类型的估计和/或预测。

如下文将进一步详细描述，本发明实施例涉及编码器100中的环路滤波装置120和解码器200中的对应环路滤波装置220。通常，根据一个实施例的环路滤波装置120或220用于将视频流中的重建图像或视频流中的至少一部分处理为经过滤波的重建图像。

更具体地，环路滤波装置120(或简称为“环路滤波器”120)用于对重建块115进行滤波，以得到滤波块121。除了由环路滤波装置120或220提供的滤波之外，所述滤波特别是为了噪声抑制，下文将更详细地描述，环路滤波装置120还可以包括去块样本自适应偏移(sample-adaptive offset，SAO)滤波器或其它滤波器(例如，锐化或平滑滤波器)。滤波块121也可以称为滤波重建块121。

环路滤波装置120的实施例可以包括(图1未示出)滤波分析单元和实际滤波单元，其中，滤波分析单元用于为实际滤波器确定环路滤波器参数。滤波分析单元可以用于将固定的预定滤波器参数应用于实际环路滤波器，从预定滤波器参数集合中自适应地选择滤波器参数，或者自适应地为实际环路滤波器计算滤波器参数。

环路滤波装置120的实施例可以包括(图1未示出)一个或多个子滤波器，例如，串联连接或并联连接或其任何组合方式连接的不同种类或类型的滤波器中的一个或多个滤波器，其中，每个子滤波器都可以包括滤波分析单元，以单独确定或与多个子滤波器中的其它子滤波器共同确定相应的环路滤波器参数，例如，如上一段所述。

编码器100(或环路滤波装置120)的实施例可以用于直接输出或通过熵编码单元170或任何其它熵编码单元进行熵编码后输出环路滤波器参数，使得解码器200可以接收并使用相同的环路滤波器参数进行解码，等等。

编码器100中的解码图像缓冲器(decoded picture buffer，DPB)130用于接收并存储滤波块121。解码图像缓冲器130还可以用于存储同一当前图像或不同图像(例如，之前重建的图像)中的其它之前的滤波，以进行块(例如，之前重建的滤波块121)，并且可以提供完整的之前重建(即解码)图像(以及对应的参考块和像素)和/或部分重建的当前图像(以及对应的参考块和像素)帧间估计和/或帧间预测等。

本发明的其它实施例还可以用于将解码图像缓冲器130的之前滤波块和对应的滤波像素值用于任何类型的估计或预测，例如，帧内估计和预测以及帧间估计和预测。

编码器100中的预测单元160，也称为块预测单元160，用于接收或获取图像块103(当前图像101的当前图像块103)以及解码图像数据或至少重建图像数据，例如，来自缓冲器116的同一(当前)图像的参考像素和/或来自解码图像缓冲器130的一个或多个之前解码图像的解码图像数据231，以及用于处理这些数据以进行预测，即提供预测块165。预测块165可以是帧间预测块145或帧内预测块155。

编码器100的模式选择单元162可以用于选择预测模式(例如，帧内或帧间预测模式)和/或对应的预测块145或155，以用作预测块165来计算残差块105以及对重建块115进行重建。

模式选择单元162的实施例可以用于(例如，从预测单元160支持的预测模式中)选择预测模式，所述预测模式提供最佳匹配或者说最小残差(最小残差意味着为了传输或存储进行更好的压缩)，或提供最小信令开销(最小信令开销意味着为了传输或存储进行更好的压缩)，或者同时考虑或平衡以上两者。模式选择单元162可以用于根据率失真优化(ratedistortion optimization，RDO)确定预测模式，即选择提供最小率失真优化的预测模式，或者选择关联率失真至少满足预测模式选择标准的预测模式。

下文将更详细地说明根据一个实施例的编码器100执行的预测处理(例如，预测单元160)和模式选择(例如，通过模式选择单元162)。

如上所述，编码器100用于从(预定的)预测模式集合中确定或选择最好或最优的预测模式。预测模式集合可以包括帧内预测模式和/或帧间预测模式等。

帧内预测模式集合可以包括32种不同的帧内预测模式，例如，像DC(或均值)模式和平面模式的非方向性模式或者如H.264等定义的方向性模式，或者可以包括65种不同的帧内预测模式，例如，像DC(或均值)模式和平面模式的非方向性模式或者如H.265等定义的方向性模式。

(可能的)帧间预测模式集合取决于可用参考图像(即，存储在DPB 230等中的之前至少部分解码的图像)和其它帧间预测参数，例如，取决于是否使用整个参考图像或只使用参考图像的一部分(例如，当前块的区域附近的搜索窗口区域)来搜索最佳匹配参考块，和/或取决于是否使用像素插值(例如，二分之一/半像素插值和/或四分之一像素插值)。

除上述预测模式外，还可以使用跳过模式和/或直接模式。

编码器100中的预测单元160还可以用于通过以下方式等将块103分割成较小的块或子块：迭代使用四叉树(quad-tree，QT)分割、二叉树(binary-tree，BT)分割或三叉树(triple-tree，TT)或其任何组合；并且用于对块或子块中的每一个执行预测等，其中，模式选择包括选择分割块103的树结构以及选择块或子块中的每一个使用的预测模式。

帧间估计单元142，也称为帧间图像估计单元142，用于接收或获取图像块103(当前图像101的当前图像块103)和解码图像231，或者至少一个或多个之前的重建块(例如，一个或多个其它/不同的之前解码的图像231的重建块)，以进行帧间估计(interestimation/inter picture estimation)。例如，视频序列可以包括当前图像和之前的解码图像231，或换句话说，当前图像和之前的解码图像231可以是一系列构成视频序列中的图像的一部分或者可以形成一系列构成视频序列的图像。

例如，编码器100可以用于从多个其它图像中的相同或不同图像的多个参考块中选择参考块，并将参考图像和/或参考块的位置与当前块的位置之间的偏移作为帧间估计参数143提供给帧间预测单元144。这种偏移也称为运动矢量(motion vector，MV)。帧间估计也称为运动估计(motion estimation，ME)，帧间预测也称为运动预测(motionprediction，MP)。

编码器中的帧间预测单元144用于获取或接收帧间预测参数143，并根据或使用帧间预测参数143执行帧间预测，以得到帧间预测块145。

尽管图1示出了两个不同的单元(或步骤)用于帧间编码，即帧间估计单元142和帧间预测单元152，但是这两种功能可以作为一个整体执行，例如，通过迭代测试可能的帧间预测模式中的所有可能帧间预测模式或预定子集，同时存储当前最佳的帧间预测模式和相应的帧间预测块，并将当前最佳的帧间预测模式和相应的帧间预测块作为(最终的)帧间预测参数143和帧间预测块145，而不用再执行一次帧间预测144。

帧内估计单元152用于获取或接收图像块103(当前图像块)以及同一图像的一个或多个之前的重建块(例如，重建相邻块)，以进行帧内估计。例如，编码器100可以用于从多个(预定的)帧内预测模式中选择帧内预测模式，并将帧内预测模式作为帧内估计参数153提供给帧内预测单元154。

尽管图1示出了两个不同的单元(或步骤)用于帧内编码，即帧内估计152和帧内预测154，但是这两种功能可以通过以下方式等作为一个整体来执行：通过迭代测试可能的帧内预测模式中的所有可能帧内预测模式或预定子集，同时存储当前最佳的帧内预测模式和相应的帧内预测块，并将当前最佳的帧内预测模式和相应的帧内预测块作为(最终的)帧内预测参数153和帧内预测块155，而不用再次执行一次帧内预测154。

编码器100中的熵编码单元170用于单独或联合(或不涉及)对量化残差系数109、帧间预测参数143、帧内预测参数153和/或环路滤波参数应用熵编码算法或方案(例如，可变长度编码(variable length coding，VLC)方案、上下文自适应VLC(context adaptiveVLC，CALVC)方案、算术编码方案、上下文自适应二进制算术编码(context adaptivebinary arithmetic coding，CABAC))，以得到编码图像数据171。输出端172可以使用编码码流171的形式等输出编码图像数据171。

图2示出了示例性视频解码器200。视频解码器200用于接收例如由编码器100编码的编码图像数据(例如，编码码流)171，以得到解码图像231。

解码器200包括输入端202、熵解码单元204、反量化单元210、逆变换单元212、重建单元214、缓冲器216、根据一个实施例的环路滤波器220、解码图像缓冲器230、包括帧间预测单元244和帧内预测单元254的预测单元260、模式选择单元260和输出端232。

解码器200中的熵解码单元204用于对编码图像数据171执行熵解码，以得到量化系数209和/或经解码的编码参数(图2未示出)(例如，帧间预测参数143、帧内预测参数153和/或环路滤波器参数中的任一个或全部)等。

在解码器200、反量化单元210、逆变换单元212、重建单元214、缓冲器216、环路滤波器220、解码图像缓冲器230的实施例中，预测单元260和模式选择单元260用于执行编码器100(以及相应的功能单元)的逆处理，以对编码图像数据171进行解码。

具体而言，反量化单元210在功能上可以与反量化单元110相同，逆变换单元212在功能上可以与逆变换单元112相同，重建单元214在功能上可以与重建单元114相同，缓冲器216在功能上可以与缓冲器116相同，根据一个实施例的环路滤波器220在功能上可以与根据一个实施例的编码器环路滤波器120相同(关于实际环路滤波器，由于环路滤波器220通常不包括滤波分析单元来根据原始图像101或块103确定滤波器参数，但是从熵解码单元204等(显式地或隐式的)接收或获取用于编码的滤波器参数)，解码图像缓冲器230在功能上可以与解码图像缓冲器130相同。

解码器200中的预测单元260可以包括帧间预测单元244和帧间预测单元254，其中，帧间预测单元144在功能上可以与帧间预测单元144相同，帧间预测单元154在功能上可以与帧内预测单元154相同。预测单元260和模式选择单元262通常用于执行块预测和/或仅从编码数据171中获取预测块265(无需原始图像101的任何其它信息)以及用于从熵解码单元204等接收或获取(显式或隐式)预测参数143或153和/或关于所选预测模式的信息。

解码器200用于经由输出端232等输出解码图像230，以向用户呈现或供用户观看。

如上所述，本发明实施例涉及编码器100中的环路滤波装置120和/或解码器200中的环路滤波装置220，特别是为了噪声抑制。如上所述，除了下文描述的子滤波器，编码器100中的环路滤波装置120和解码器200中的环路滤波装置220可以包含其它子滤波器。

环路滤波装置120或220的实施例以在申请号为PCT/RU2016/000920、发明名称为“用于有损视频编码的低复杂度混合域协同环内滤波器(LOW COMPLEXITY MIXED DOMAINCOLLABORATIVE IN-LOOP FILTER FOR LOSSY VIDEO CODING)”的PCT申请中公开的环路滤波装置为基础，其全部内容通过引用结合在本申请中。在更详细地描述环路滤波装置120或220的实施例之前，将简要地回顾PCT/RU2016/000920中公开的环路滤波装置的一些相关方面。

图4是PCT/RU2016/000920中公开的环路滤波装置400的编码器实现方式的一个示例的框图，特别是为了噪声抑制。图4所示的环路滤波装置400包括：噪声抑制单元401(也称为“NS核心”)，用于将噪声抑制滤波器应用于重建图像；单元403，用于确定应用图；单元405，用于将单元403确定的应用图应用于重建图像。

图5是PCT/RU2016/000920中公开的环路滤波装置500的解码器实现方式的一个示例的框图，特别是为了噪声抑制。图5所示的环路滤波装置500包括：噪声抑制单元501，用于将噪声抑制滤波器应用于重建图像，并且可以与图4所示的环路滤波装置400中的噪声抑制单元401相同；单元505，用于将从解码视频流中提取出来的应用图应用于重建图像。

图4所示的环路滤波装置400和图5所示的环路滤波装置500的共同组件是噪声抑制单元401、501。噪声抑制单元401、501用于将噪声抑制滤波器应用于重建图像，在本文中还称为“NS核心(NS Core)”。图6示出了噪声抑制单元401的更详细视图。应理解，噪声抑制单元501可以以相同的方式实现。

如下文将进一步更详细描述，图6所示的噪声抑制单元401包括分割和块匹配单元401a、用于对像素区块(patch)进行协同滤波的单元401b，以及后向平均单元401c，其中，像素区块即块。在第一阶段的分割和块匹配单元401a(还如图7中的步骤701所示)中，将输入(即，重建图像或重建图像的至少一部分)分割成多个方块b_i(例如，大小为K×K的块)118，其中，方块在本文中还称为“根块”b_i 118。这种分割与编解码分割分开，例如，编解码分割用于获取图像块103到重建块115。然后，对于每个根块b_i 118(图7中的步骤703)，块匹配流程用于确定区块

(参见图8)，即，与当前根块b_i 118相似的块(图7中的步骤705)，并将这些区块与根块b_i一起收集起来并存储为一堆相似区块(图7中的步骤707)。这些“区块”还可以称为“匹配块”(表示这些区块与根块匹配，即相似)或“非根块”(这些非根块与对应的根块不同)。

图8是重建图像801的一部分的示意图，包含给定的当前根块b_i 118和由噪声抑制单元401中的分割和块匹配单元401a确定的多个相似块

对于每个当前根块b_i118，分割和块匹配单元401a尝试根据一些度量(例如，使用绝对差和等均方误差度量)，在当前图像的搜索区域内查找N个最接近或最佳匹配块，其中，N可以是预定义的参数。为了保证一定程度的最终相似性，块匹配可以包括阈值，使得区块(即，分割和块匹配单元401a确定的块)的实际数量n可以小于或者等于N。最后，一般而言，会找到一组与当前块b_i 118相似的块

找到的这组相似块被组合到一堆块，包括当前根块b_i 118且与当前根块118相关联。在数学意义上，这种针对当前根块b_i 118的流程可以用以下方式表示：

其中，n等于或小于N。给定的一堆中与当前根块b_i 118相似的块

还称为如上所述的非根块。

噪声抑制单元401中的用于对像素区块(即，噪声抑制单元401中的块)进行协同滤波的单元401b用于对各堆相似块进行滤波，例如，与当前根块b_i 118相关联的一堆块

这个过程如图9所示，其中，这堆与当前根块b_i 118相关联的块

统一处理为一堆滤波块。在数学意义上，这可以描述为一种n到n关系，用于将一堆块

处理为一堆滤波块

其中，每个

是给定块b_i进行滤波后的块。

在一个实施例中，单元401b用于在频域中执行协同滤波过程，以包括以下步骤：

(i)根据块扫描像素，即，对于每个像素位置j＝0，1，...，K²-1，将一堆块

中的位于第j个位置上的所有像素排成一行l_j，其中，|l_j|＝n+1；

(ii)使用DCT等频域变换将每个l_j变换成t_j；

(iii)对于

中的每个频率k，使用以下等式执行滤波：

其中，σ使用其它编解码信息推导，例如，σ＝f(qp)，其中，qp是编码器100和解码器200都已知的量化参数；

(iv)将每个

逆变换为滤波像素行

(v)将每行

重新组合为滤波堆

有关在单元401b中实现的协同滤波过程的可能实现方式的更多详细内容，明确参考PCT/RU2016/000920。

噪声抑制单元401中的后向平均单元401c用于：通过使用与给定的当前像素块b_i118相关联的一堆滤波块以及与重建图像中的其它块相关联的其它堆滤波块执行后向平均流程，针对当前像素块b_i 118生成当前经过滤波的像素块。如图10所示，在这个后向平均过程中，确定各堆滤波块中的一个或多个块，这些块至少部分与当前像素块b_i 118重叠；对于当前像素块b_i 118的每个像素位置，对各堆滤波块中的至少部分重叠块的像素值求平均。有关在单元401c中实现的后向平均过程的可能实现方式的更多详细内容，明确参考PCT/RU2016/000920。

为了避免噪声抑制单元401在重建图像801的区域中进行过度滤波，图4所示的环路滤波装置400和图5所示的环路滤波装置500还采用所谓的应用图。所述应用图将重建图像801(或重建图像801的至少一部分)分割(与编解码分割分开)成多个区域，其中，每个区域包括多个像素，这些像素可以与根块或重建块对齐或相同，也可以不与根块或重建块对齐或相同；并且针对每个区域，定义使用经过滤波的像素块或未滤波像素块，以生成经过滤波的重建图像。在一个实施例中，所述应用图可以是简单的二进制图，其中，与比特值为“1”的经过滤波的像素块相关联的区域(所谓的带1区域)以及与比特值为“0”的未滤波像素块相关联的区域(所谓的带0区域)将被用于生成经过滤波的重建图像。用于确定应用图的单元403可以用于根据率失真优化方案确定应用图。这样确定的应用图可以通过编码码流传输到解码器200。

图11示出了覆盖在重建图像801的一部分上的示例性应用图的一部分，定义了经过滤波的像素块将被用于生成经过滤波的重建图像的区域801a和801d以及未滤波像素块将被用于生成经过滤波的重建图像的区域801b和801c。

如上所述，在环路滤波装置400中，在噪声抑制单元401处理重建图像801之后，单元403计算应用图，因为单元403要求从噪声抑制单元401输出的预滤波信号(prefilt)作为输入。因此，可以出现以下示例性场景。如图12所示，可能发生以下情况：一些区块，即由噪声抑制单元401中的分割和块匹配单元401a针对当前根块b_i 118确定的块，位于应用图中的带0区域内，即位于应用图中的未滤波像素块将被用于生成经过滤波的重建图像的区域内。对于图4所示的环路滤波装置400，这些区块，即块，仍然由噪声抑制单元401中的单元401b和401c处理，但最终排除在环路滤波装置400中的应用单元403确定的应用图的单元405之外。

在该上下文中，应该提到的是，通过使用应用图最终排除的区块由于单元401b执行了协同滤波过程而仍然影响对与当前根块b_i 118相关联的整堆块进行滤波，但是在处理这些区块的后向平均单元401c中，即块是冗余的。如下文将进一步更详细描述，本发明实施例有助于消除这种冗余，从而降低对解码器200特别重要的环路滤波装置120、220的复杂度。

一般而言，本发明实施例的想法是利用已经存在环路滤波装置120、220的处理链的噪声抑制部分中的应用图信息，从而提高区块的质量并消除冗余操作，其中，区块即用于滤波流程的块。

更具体地，根据一个实施例的环路滤波装置120、220包括处理电路。所述处理电路用于：将第一分割应用于重建图像或重建图像的至少一部分，以将所述重建图像分割成多个像素块(例如，根块)；通过将相应的噪声抑制滤波器应用于所述多个像素块中的一个或多个像素块，对所述多个像素块中的所述一个或多个像素块进行滤波，以获得一个或多个经过滤波的像素块，其中，所述多个像素块中的所述一个或多个像素块由所述应用图定义，所述噪声抑制滤波器依赖所述应用图，所述应用图将所述重建图像分割成多个区域，并且针对所述多个区域中的每个区域，定义使用所述相应区域内的多个像素块中的一个或多个经过滤波的像素块或者一个或多个未滤波像素块中的至少一个像素块，以生成经过滤波的重建图像；根据所述一个或多个未滤波像素块以及所述一个或多个经过滤波的像素块，生成所述经过滤波的重建图像。

在一个实施例中，所述处理电路用于：将所述噪声抑制滤波器应用于所述相应的当前像素块，即所述一个或多个像素块中的根块118，以通过以下方式获得所述一个或多个经过滤波的像素块：根据相似度度量确定与所述相应的当前像素块相似的一个或多个其它像素块，以获得相应堆像素块，包括所述当前像素块和所述一个或多个其它像素块；对所述相应堆像素块进行统一滤波，即联合协同滤波，以获得相应堆经过滤波的像素块；根据一堆或多堆经过滤波的像素块生成相应的当前经过滤波的像素块，其中，确定与所述相应的当前像素块相似的一个或多个其它像素块和/或对所述相应堆像素块进行统一滤波依赖所述应用图。

在一个实施例中，相应堆像素块可以包括一个或多个重叠像素块，如图8等所示。

在一个实施例中，环路滤波装置120、220中的所述处理电路用于：通过对所述一堆或多堆经过滤波的像素块中的像素块求平均，根据所述一堆或多堆经过滤波的像素块生成所述相应的当前经过滤波的像素块，其中，所述一堆或多堆经过滤波的像素块中的所述像素块至少部分地与所述当前像素块重叠。为此，环路滤波装置120、220可以包括噪声抑制单元120a(如图13、图15、图17和图18所示)。噪声抑制单元120a与上文已经在图6的上下文中描述的噪声抑制单元401相似，但是存在不同之处，将在下文进行更详细地描述。

在一个实施例中，环路滤波装置120和220中的所述处理电路用于：通过使用所述应用图，根据所述相似度度量确定所述相应堆像素块；所述处理电路用于：只使用所述应用图定义的所述多个区域中的区域内的像素块，确定与所述相应的当前像素块相似的所述一个或多个其它块，其中，所述一个或多个经过滤波的像素块将被用于生成所述经过滤波的重建图像。这一实施例如图13和图16所示。

或者，环路滤波装置120(以及等效的环路滤波装置220)中的噪声抑制单元120a可以用于：通过检查(还如图14中的1404所示)当前根块118是否属于所述应用图中的一个区域，根据所述应用图执行在分割和块匹配单元120a-1中实现的块匹配，其中，所述经过滤波的像素块将被用于生成所述滤波重建帧。如果是这种情况，所述处理电路以已经在图7的上下文中描述的方式执行(例如，图14中的步骤1405和步骤1407相当于图7中的步骤705和步骤707)。否则，跳过该块，不进行任何进一步处理，并检查下一个块(从步骤1404直接循环到步骤1403)。图13所示的噪声抑制单元120a中的滤波单元102a-2和后向平均单元102a-3的配置与图6所示的对应单元的配置相同。

上文描述的、在图13中以一般形式所示的且在图14和图16更详细描述的两种方法可以单独应用，也可以同时应用。

在基于图13所示的实施例的另一个实施例中，噪声抑制单元120a中的分割和块匹配单元120a-1可以用于排除所述应用图中的区域进行块匹配流程，其中，所述应用图定义所述未经过滤波的像素块将被用于生成所述滤波重建帧。

在一个实施例中，环路滤波装置120、220中的所述处理电路用于：通过根据所述相似度度量为所述一个或多个其它像素块中的每个像素块确定相似度度量值以及通过将所述相似度度量值与阈值比较，确定与所述相应的当前像素块相似的所述一个或多个其它像素块。如已经在图6的上下文中所述，这种相似度度量可以基于绝对差和等均方误差。

在一个实施例中，环路滤波装置120、220中的所述处理电路用于：通过只对所述应用图定义的所述多个区域中的区域内的所述相应堆像素块中的像素块进行统一滤波，根据所述应用图对所述相应堆像素块进行统一滤波，以获得所述相应堆经过滤波的像素块，其中，所述一个或多个经过滤波的像素块将被用于生成所述经过滤波的重建图像。这一实施例如图15所示。环路滤波装置120(以及等效的环路滤波装置220)中的噪声抑制单元120a用于根据所述应用图执行所述协同滤波。在这种情况下，将所述应用图提供给图15所示的噪声抑制单元120中的区块滤波单元120a-2。如图15所示，区块滤波单元120a-2用于接收在前一步骤找到的一组区块以及所述应用图“map”，前一步骤即分割和块匹配，然后，在步骤1605中检查一堆块中的某个区块或非根块是否来自所述应用图中的一个区域，其中，所述经过滤波的像素块将被用于生成所述滤波重建帧。如果是这种情况，所述处理电路以已经在图7的上下文中描述的传统方式执行(即，图16中的步骤1601和步骤1603相当于图7的中步骤701和步骤703)。否则，跳过该块，不做任何进一步处理。同样，图16中的步骤1607相当于图7中的步骤707。图15所示的噪声抑制单元120a中的分割和块匹配单元102a-1以及后向平均单元102a-3的配置与图6所示的对应单元的配置相同。对于实际的协同滤波过程，图15所示的噪声抑制单元102中的区块滤波单元102a-2可以实现上文在图4所示的单元401b的上下文中描述的协同滤波过程。

在一个实施例中，所述应用图定义的所述多个区域中的每个区域包括所述第一分割定义的所述一个或多个像素块中的至少一个像素块。换句话说，在一个实施例中，所述应用图定义的所述区域可以大于所述重建图像中的像素块。

如上所述，图1所示的编码器100可以包括根据上述实施例的环路滤波装置120。图17示出了编码器100中的环路滤波装置120的一个实施例。环路滤波装置120可以包括图13中的噪声抑制单元120a或图15中的噪声抑制单元120a以及用于确定所述应用图的单元120b和使用所述应用图的单元120c。环路滤波装置120用于接收重建图像“rec”(或重建图像的至少一部分)、原始图像“org”以及虚拟或初始化应用图“{1，1……}”。应理解，在图17所示的实施例中，噪声抑制单元120a调用(或实现)了两次，使得在第二次调用时使用应用图。在噪声抑制单元120a的第一调用中，可以使用虚拟应用图，针对重建图像中的所有区域，定义经过滤波的像素块将被用于生成经过滤波的重建图像。其它实施例可以使用其它虚拟应用图。所述虚拟应用图也可以称为初始化应用图。在噪声抑制单元120的第二次调用(或实例)中，可以使用在120b中计算的实际应用图。

因此，在一个实施例中，编码器100的环路滤波装置120中的所述处理电路在第一处理阶段用于：

根据所述多个像素块和所述多个经过滤波的像素块，使用性能度量生成所述应用图，所述性能度量特别是率失真度量，

其中，在第二处理阶段，编码器100的环路滤波装置120中的所述处理电路用于：

如上所述，在另一个实施例中，编码器100的环路滤波装置120中的所述处理电路用于：通过将相应的噪声抑制滤波器应用于多个像素块，对所述多个像素块进行滤波，以使用虚拟应用图来获取多个经过滤波的像素块，其中，所述虚拟应用图将所述重建图像分割成多个区域，并且针对所述多个区域中的每个区域，定义使用所述相应区域内的多个经过滤波的像素块中的至少一个经过滤波的像素块，以生成所述经过滤波的重建图像。

在一个实施例中，编码器100的熵编码单元170用于对编码数据中的应用图进行编码，其中，编码数据既码流303。

如上所述，图2所示的解码器200可以包括根据上述实施例的环路滤波装置220。图18示出了解码器200的环路滤波装置220的一个实施例。环路滤波装置220可以包括图13的噪声抑制单元120a或图15的噪声抑制单元120a以及使用应用图的单元120c。在一个实施例中，解码器200的解码单元204用于从编码器100提供的编码视频流303中提取所述应用图。换句话说，环路滤波装置220用于接收重建图像“rec”(或重建图像的至少一部分)以及接收和/或解码得到的应用图“map”。

如上所述，环路滤波装置120、200的实施例与图4所示的环路滤波装置401相似。虽然上文着重描述了图4所示的环路滤波装置120、200和环路滤波装置401的实施例之间的区别，但是本领域技术人员将理解，除非在其它方面明确进行相反规定，否则，环路滤波装置120、200可以与图4所示的环路滤波装置401相同，如上所述并在PCT/RU2016/000920中有详细内容，其全部内容通过引用结合在本申请中。

图19是根据一个实施例的环路滤波方法1900的一个示例的流程图。环路滤波方法1900包括以下步骤：

将第一分割应用于1901重建图像或重建图像的至少一部分，以将所述重建图像分割成多个像素块；

通过将相应的噪声抑制滤波器应用于所述多个像素块中的一个或多个像素块，对所述多个像素块中的所述一个或多个像素块进行滤波1903，以获得一个或多个经过滤波的像素块，其中，所述多个像素块中的所述一个或多个由应用图定义，所述噪声抑制滤波器依赖所述应用图，所述应用图将所述重建图像分割成多个区域，并且针对所述多个区域中的每个区域，定义使用所述相应区域内的多个像素块中的一个或多个经过滤波的像素块或者一个或多个未滤波像素块中的至少一个，以生成经过滤波的重建图像；

根据所述一个或多个未滤波像素块以及所述一个或多个经过滤波的像素块，生成1905所述经过滤波的重建图像。

需要说明的是，本说明书提供了图像(帧)的解释，但在隔行扫描图像信号的情况下，字段替代图像。

尽管已主要根据视频编码描述了本发明实施例，但需要说明的是，编码器100和解码器200(相应地，系统300)的实施例还可以用于静止图像处理或编码，即在视频编码中独立于任何之前或连续的图像的单个图像的处理或编码。

本领域技术人员将理解，各种图(方法和装置)中的“步骤”(“单元”)表示或描述本发明实施例的功能(而不一定是硬件或软件中的各个“单元”)，因此同等地描述装置实施例以及方法实施例的功能或特征(单元等同步骤)。

术语“单元”仅仅是用于说明编码器/解码器的实施例的功能，并非旨在限制本发明。

在本申请提供的若干实施例中，应理解，所公开的系统、装置和方法可通过其它方式实现。例如，所述装置实施例仅仅是示例性的。例如，所述单元的划分仅仅为一种逻辑功能划分，实施例可以包括其它划分方式。例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，本发明实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

本发明实施例还可以包括一种装置，例如，编码器和/或解码器，所述装置包括处理电路，用于执行本文描述的任何方法和/或过程。

编码器100和/或解码器200的实施例可以实现为硬件、固件、软件或其任何组合。例如，编码器/编码或解码器/解码的功能可以由处理电路执行，无论是否有固件或软件，例如，处理器、微控制器、数字信号处理器(digital signal processor，DSP)、现场可编程门阵列(field programmable gate array，FPGA)、专用集成电路(application-specificintegrated circuit，ASIC)等。

编码器100(和相应的编码方法100)和/或解码器200(和相应的解码方法200)的功能可以通过存储在计算机可读介质上的程序指令来实现。所述程序指令在执行时使得处理电路、计算机、处理器等执行本文描述的任何方法的步骤，特别是编码和/或解码方法的步骤。所述计算机可读介质可以是存储所述程序的任何介质，包括非瞬时性存储介质，例如，蓝光磁盘、DVD、CD、USB(闪存)驱动器、硬盘、经由网络可用的服务器存储等。

本发明实施例包括或者是一种包含程序代码的计算机程序。所述程序代码在计算机上执行时用于执行本文描述的任何方法。

本发明实施例包括或者是一种包含程序代码的计算机可读介质。所述程序代码在由处理器执行时，使得计算机系统执行本文描述的任何方法。

Claims

1.一种用于处理视频流中的重建图像的环路滤波装置(120、220)，其特征在于，所述重建图像包括多个像素，所述环路滤波装置(120、220)包括处理电路，所述处理电路用于：

将第一分割应用于所述重建图像(801)的至少一部分，以将所述重建图像的所述部分分割成多个像素块(118)；

通过将相应的噪声抑制滤波器应用于所述多个像素块(118)中的一个或多个像素块，对所述多个像素块(118)中的所述一个或多个像素块进行滤波，以获得一个或多个经过滤波的像素块，其中，所述多个像素块(118)中的所述一个或多个像素块由应用图定义，所述噪声抑制滤波器依赖所述应用图，所述应用图将所述重建图像(801)的至少所述部分分割成多个区域，并且针对所述多个区域中的每个区域，定义使用所述相应区域内的所述多个像素块(118)中的所述一个或多个经过滤波的像素块或者一个或多个未滤波像素块，以生成经过滤波的重建图像；

2.根据权利要求1所述的环路滤波装置(120、220)，其特征在于，所述处理电路用于：将所述噪声抑制滤波器应用于所述一个或多个像素块中的相应的当前像素块，以通过以下方式获得所述一个或多个经过滤波的像素块：

根据相似度度量确定与所述相应的当前像素块相似的一个或多个其它像素块，以获得相应堆像素块，所述相应堆像素块包括所述当前像素块和所述一个或多个其它像素块；

3.根据权利要求2所述的环路滤波装置(120、220)，其特征在于，相应堆像素块包括一个或多个重叠像素块。

4.根据权利要求2或3所述的环路滤波装置(120、220)，其特征在于，所述处理电路用于：通过对所述一堆或多堆经过滤波的像素块中的像素块求平均，根据所述一堆或多堆经过滤波的像素块生成所述相应的当前经过滤波的像素块，其中，所述一堆或多堆经过滤波的像素块中的所述像素块至少部分地与所述当前像素块重叠。

5.根据权利要求2至4中任一项所述的环路滤波装置(120、220)，其特征在于，所述处理电路用于：通过使用所述应用图，根据所述相似度度量确定所述相应堆像素块；所述处理电路用于：使用所述应用图定义的所述多个区域中的区域内的像素块，确定与所述相应的当前像素块相似的所述一个或多个其它块，其中，所述一个或多个经过滤波的像素块将被用于生成所述经过滤波的重建图像。

6.根据权利要求2至5中任一项所述的环路滤波装置(120、220)，其特征在于，所述处理电路用于：通过根据所述相似度度量为所述一个或多个其它像素块中的每个像素块确定相似度度量值以及通过将所述相似度度量值与阈值比较，确定与所述相应的当前像素块相似的所述一个或多个其它像素块。

7.根据权利要求2至6中任一项所述的环路滤波装置(120、220)，其特征在于，所述处理电路用于：通过对所述应用图定义的所述多个区域中的区域内的所述相应堆像素块中的像素块进行统一滤波，根据所述应用图对所述相应堆像素块进行统一滤波，以获得所述相应堆经过滤波的像素块，其中，所述一个或多个经过滤波的像素块将被用于生成所述经过滤波的重建图像。

8.根据上述权利要求中任一项所述的环路滤波装置(120、220)，其特征在于，所述应用图定义的所述多个区域中的每个区域包括所述一个或多个像素块中的至少一个像素块。

9.一种用于对视频流中的图像进行编码的视频编码装置(100)，其特征在于，所述视频编码装置(100)包括：

重建单元(114)，用于重建所述图像；

根据上述权利要求中任一项所述的环路滤波装置(120)，用于处理所述重建图像。

10.根据权利要求9所述的视频编码装置(100)，其特征在于，在第一处理阶段，所述处理电路用于：

将第一分割应用于所述重建图像的至少一部分，以将所述重建图像的所述部分分割成所述多个像素块；

在第二处理阶段中，所述处理电路用于：

11.根据权利要求10所述的视频编码装置(100)，其特征在于，在所述第一处理阶段，所述处理电路用于：

通过将相应的噪声抑制滤波器应用于所述多个像素块，对所述多个像素块进行滤波，以使用虚拟应用图获取多个经过滤波的像素块，其中，所述虚拟应用图将所述重建图像分割成多个区域，并且针对所述多个区域中的每个区域，定义使用所述相应区域内的所述多个经过滤波的像素块，以生成所述经过滤波的重建图像。

12.根据权利要求9至11中任一项所述的视频编码装置(100)，其特征在于，所述视频编码装置(100)还包括编码单元(170)，用于将所述应用图编码在编码视频流(303)中。

13.一种用于对编码视频流(303)中的图像进行解码的视频解码装置(200)，其特征在于，所述视频解码装置(200)包括：

重建单元(214)，用于重建所述图像；

根据权利要求1至8中任一项所述的环路滤波装置(220)，用于处理所述重建图像。

14.根据权利要求13所述的视频解码装置(200)，其特征在于，所述视频解码装置(200)还包括解码单元(204)，用于使用所述编码视频流(303)对所述应用图进行解码。

15.一种用于处理视频流中的重建图像的环路滤波方法(1900)，其特征在于，所述重建图像包括多个像素，所述环路滤波方法(1900)包括：

将第一分割应用于(1901)所述重建图像的至少一部分，以将所述重建图像的所述部分分割成多个像素块；

通过将相应的噪声抑制滤波器应用于所述多个像素块中的一个或多个像素块，对所述多个像素块中的所述一个或多个像素块进行滤波(1903)，以获得一个或多个经过滤波的像素块，其中，所述多个像素块中的所述一个或多个像素块由应用图定义，所述噪声抑制滤波器依赖所述应用图，所述应用图将所述重建图像的至少所述部分分割成多个区域，并且针对所述多个区域中的每个区域，定义使用所述相应区域内的所述多个像素块中的所述一个或多个经过滤波的像素块或者一个或多个未滤波像素块，以生成经过滤波的重建图像；

根据所述一个或多个未滤波像素块以及所述一个或多个经过滤波的像素块，生成(1905)经过滤波的重建图像。

16.一种计算机程序产品，其特征在于，所述计算机程序产品包括程序代码，所述程序代码在计算机或处理器上执行时用于执行权利要求15所述的方法(1900)。