CN104813665A - 用于对层间预测误差进行编码的sao补偿的方法和设备 - Google Patents

Abstract

一种通过使用样点自适应偏移(SAO)对不同层的图像之间的层间预测误差进行补偿的可伸缩视频编码方法和设备以及可伸缩视频解码方法和设备。所述可伸缩视频解码方法包括：从接收的增强层流获得层间样点自适应偏移(SAO)使用信息和SAO参数，其中，层间样点自适应偏移使用信息指示是否对根据基本层重构图像与增强层预测图像之间的层间预测的预测误差进行补偿，SAO参数指示偏移和增强层预测图像的SAO类型；从获得的SAO参数确定与预测误差相应的根据种类被分类的偏移和增强层预测图像的SAO类型；通过使用被补偿了确定的偏移的增强层预测图像来产生增强层重构图像，其中，确定的偏移是通过针对增强层预测图像的每个像素位置确定当前样点的种类而被确定的。

Description

用于对层间预测误差进行编码的SAO补偿的方法和设备

技术领域

本公开的一个或更多个实施例涉及可伸缩视频编码和解码方法，更具体地，涉及通过使用样点自适应偏移(SAO)对层间预测误差进行编码和解码的方法。

背景技术

随着用于再现和存储高分辨率或高质量视频内容的硬件正被开发和提供，对于用于有效地对高分辨率或高质量视频内容进行编码或解码的视频编解码器的需求正在增加。根据传统的视频编解码器，基于具有预定尺寸的宏块，根据受限的编码方法来对视频进行编码。

经由频率变换将空间域的图像数据变换为频率域的系数。根据视频编解码器，将图像划分为具有预定尺寸的块，对每个块执行离散余弦变换(DCT)，并以块为单位对频率系数进行编码，以用于频率变换的快速计算。与空间域的图像数据相比，频率域的系数容易被压缩。具体地，由于根据视频编解码器的帧间预测或帧内预测的预测误差来表示空间域的图像像素值，因此当对预测误差执行频率变换时，大量数据可被变换为0。根据视频编解码器，可通过将连续并重复产生的数据替换为小量数据来减少数据量。

多层视频编解码器对基本层视频和一个或更多个增强层视频进行编码和解码。多层视频编解码器移除基本层视频和增强层视频的时间和空间冗余以及层之间的冗余，从而可减少基本层视频和增强层视频的数据量。

发明内容

技术问题

本公开的一个或更多个实施例涉及用于对至少一个层的图像序列进行编码并通过使用样点自适应偏移(SAO)对其它层图像之间的层间预测误差进行编码的可伸缩视频编码方法和设备。

本公开的一个或更多个实施例涉及通过使用作为SAO参数而被接收的层间预测误差的可伸缩视频解码方法和设备。

技术方案

根据本公开的一个或更多个实施例，一种可伸缩视频解码方法，包括：从接收的增强层流获得层间样点自适应偏移(SAO)使用信息和SAO参数，其中，层间样点自适应偏移使用信息指示是否对根据基本层重构图像与增强层预测图像之间的层间预测的预测误差进行补偿，SAO参数指示偏移和增强层预测图像的SAO类型；从获得的SAO参数确定增强层预测图像的SAO类型和与预测误差相应的根据种类被分类的偏移；通过使用被补偿了确定的偏移的增强层预测图像来产生增强层重构图像，其中，确定的偏移是通过针对增强层预测图像的每个像素位置确定当前样点的种类而被确定的。

有益效果

根据可伸缩视频编码设备和方法的一个或更多个实施例，可通过使用样点自适应偏移(SAO)参数对用于对增强层图像进行预测的层间预测误差进行编码。因此，不必针对每个像素位置对层间预测误差进行编码，可仅通过使用基于预测误差的样点值分布确定的SAO类型以及用于每个种类的偏移信息来对层间预测误差进行编码。

根据可伸缩视频解码设备和方法的一个或更多个实施例，可从接收的比特流获得SAO类型和偏移，并且可针对增强层预测图像的每个像素根据样点值的分布来确定SAO种类，从而通过使用SAO类型和偏移获得用于每个SAO种类的偏移。因此，虽然用于每个像素的层间预测误差未被接收，但是针对增强层预测图像的每个像素补偿用于每个相应的种类的偏移，从而增强层重构图像可被确定。

附图说明

图1a和图1b分别是根据一个或更多个实施例的可伸缩视频编码设备的框图和可伸缩视频编码方法的流程图。

图2a和图2b分别是根据一个或更多个实施例的可伸缩视频解码设备的框图和可伸缩视频解码方法的流程图。

图3是根据一个或更多个实施例的层间预测结构的框图；

图4a到图4c是根据一个或更多个实施例的层间样点自适应偏移(SAO)的概念性示图。

图5a是示出根据一个或更多个实施例的边缘类型的边缘分类(class)的表。

图5b和图5c是示出根据一个或更多个实施例的边缘类型的种类(category)的表和图表。

图5d是SAO带类型的SAO种类的图表。

图6是根据一个或更多个实施例的针对层之间的分辨率比率的SAO种类的示图。

图7a是根据一个或更多个实施例的被参考以将SAO参数与当前最大编码单元(LCU)合并的数据单元的示图。

图7b是示出根据一个或更多个实施例的SAO合并信息的码字的表。

图7c示出根据一个或更多个实施例的编码单元的SAO语法。

图8是根据一个或更多个实施例的基于具有树结构的编码单元的视频编码设备的框图。

图9是根据一个或更多个实施例的基于具有树结构的编码单元的视频解码设备的框图。

图10是用于描述根据一个或更多个实施例的编码单元的概念的示图。

图11是根据一个或更多个实施例的基于编码单元的图像编码器的框图。

图12是根据一个或更多个实施例的基于编码单元的图像解码器的框图。

图13是示出根据一个或更多个实施例的根据深度的较深层编码单元以及分区的示图。

图14是用于描述根据一个或更多个实施例的编码单元与变换单元之间的关系的示图。

图15是用于描述根据一个或更多个实施例的与编码深度相应的编码单元的编码信息的示图。

图16是根据一个或更多个实施例的根据深度的较深层编码单元的示图。

图17至图19是用于描述根据一个或更多个实施例的编码单元、预测单元和变换单元之间的关系的示图。

图20是用于描述根据表1的编码模式信息的编码单元、预测单元和变换单元之间的关系的示图。

图21是根据一个或更多个实施例的存储程序的盘的物理结构的示图。

图22是通过使用盘来记录和读取程序的盘驱动器的示图。

图23是用于提供内容分配服务的内容供应系统的整体结构的示图。

图24和图25分别是根据一个或更多个实施例的应用了视频编码方法和视频解码方法的移动电话的外部结构和内部结构的示图。

图26是根据一个或更多个实施例的采用通信系统的数字广播系统的示图。

图27是根据一个或更多个实施例的使用视频编码设备和视频解码设备的云计算系统的网络结构的示图。

具体实施方式

最优模式

根据本公开的一个或更多个实施例，一种可伸缩视频解码方法包括：从接收的增强层流获得层间样点自适应偏移(SAO)使用信息和SAO参数，其中，层间样点自适应偏移使用信息指示是否对根据基本层重构图像与增强层预测图像之间的层间预测的预测误差进行补偿，SAO参数指示偏移和增强层预测图像的SAO类型；从获得的SAO参数确定增强层预测图像的SAO类型和与预测误差相应的根据种类被分类的偏移；通过使用被补偿了确定的偏移的增强层预测图像来产生增强层重构图像，其中，确定的偏移是通过针对增强层预测图像的每个像素位置确定当前样点的种类而被确定的。

产生增强层重构图像的步骤可包括：通过使用从基本层流解码的基本层重构图像来确定增强层预测图像；通过将偏移应用于增强层预测图像来对增强层预测图像进行补偿。

确定增强层预测图像的步骤可包括：通过对基本层重构图像进行插值以将基本层重构图像的尺寸调整为具有与增强层原始图像的分辨率相同的分辨率，来确定增强层预测图像。

获得SAO参数的步骤可包括：获得用于增强层预测图像的画面、条带、最大编码单元(LCU)和编码单元中的一个的每个数据单元的SAO参数，其中，确定偏移的步骤包括：基于SAO参数连续地确定指示增强层预测图像的数据单元的每个样点是否构成边缘的SAO类型、指示预测误差的平均值的根据针对SAO类型的种类被分类的偏移以及偏移的符号，其中，基于SAO类型、种类以及基本层图像与增强层图像之间的分辨率比率中的至少一个，根据层间SAO的偏移的符号被确定。

确定偏移的步骤可包括：当层间预测误差基于获得的层间SAO使用信息被补偿时，针对增强层区域使用从SAO参数获得的偏移，其中，所述增强层区域是通过根据帧内基本层预测模式和差预测模式之一使用基本层重构图像中的基本层区域而被预测的。

确定偏移的步骤可包括：从SAO参数获得根据基于以下信息被确定的种类的偏移：增强层预测图像的边缘方向或样点值范围；还获得根据基于以下信息中的至少一个被确定的种类的偏移：基本层图像与增强层图像之间的分辨率比率、用于将基本层重构图像的尺寸调整为具有与增强层原始图像的分辨率相同的分辨率的插值滤波器的相移以及插值滤波器的滤波阶数。

获得SAO参数的步骤可包括：通过使用基本层图像的共同定位区域的SAO参数来获得指示是否确定用于增强层预测图像的偏移的基本层SAO合并信息，其中，确定偏移的步骤可包括：基于基本层SAO合并信息，通过使用与和增强层预测图像的当前区域相应的基本层图像的共同定位区域的SAO参数中的至少一个有关的信息，来确定与用于增强层预测图像的当前区域的SAO参数中的至少一个有关的信息。

根据本公开的一个或更多个实施例，提供了一种可伸缩视频编码方法，包括：针对增强层图像的每个像素位置确定增强层预测图像的样点与增强层原始图像的样点之间的预测误差；基于增强层预测图像的样点值的分布，确定增强层预测图像的SAO类型和与预测误差相应的根据种类被分类的偏移；确定层间样点自适应偏移(SAO)使用信息和SAO参数，其中，层间样点自适应偏移使用信息指示是否对根据基本层重构图像与增强层预测图像之间的层间预测的预测误差进行补偿，SAO参数指示偏移和增强层预测图像的SAO类型。

确定样点之间的预测误差的步骤可包括：通过使用基本层重构图像来确定增强层预测图像；针对每个像素位置确定增强层预测图像的样点与增强层原始图像的样点之间的预测误差，所述方法还包括：通过使用通过将预测误差应用于增强层预测图像而被补偿的增强层预测图像来产生增强层重构图像。

确定样点之间的预测误差的步骤可包括：通过对基本层重构图像进行插值以将基本层重构图像的尺寸调整为具有与增强层原始图像的分辨率相同的分辨率，来确定增强层预测图像；针对每个像素位置确定增强层预测图像的样点与增强层原始图像的样点之间的预测误差。

确定偏移的步骤可包括：通过使用与和增强层预测图像的当前区域相应的基本层图像的共同定位区域的SAO参数中的至少一个有关的信息，来确定与用于增强层预测图像的当前区域的SAO参数中的至少一个有关的信息，其中，确定SAO参数的步骤包括：通过使用基本层图像的共同定位区域的SAO参数来输出包括基本层SAO合并信息的SAO参数，其中，所述基本层SAO合并信息指示是否确定用于增强层预测图像的偏移。

根据本公开的一个或更多个实施例，提供了一种可伸缩视频解码设备，包括：层间SAO参数获取器，用于从接收的增强层流获得层间样点自适应偏移(SAO)使用信息和SAO参数，其中，层间样点自适应偏移使用信息指示是否对根据基本层重构图像与增强层预测图像之间的层间预测的预测误差进行补偿的，SAO参数指示偏移和增强层预测图像的SAO类型；层间偏移确定器，用于从获得的SAO参数确定增强层预测图像的SAO类型和与预测误差相应的根据种类被分类的偏移；增强层解码器，用于通过使用经由使用确定的偏移而补偿的增强层预测图像来产生增强层重构图像，其中，确定的偏移是通过针对增强层预测图像的每个像素位置确定当前样点的种类而被确定的。

根据本公开的一个或更多个实施例，提供了一种可伸缩视频编码设备，包括：增强层图像编码器，用于产生增强层预测图像以对增强层图像进行编码；层间偏移确定器，用于针对增强层图像的每个像素位置确定增强层预测图像的样点与增强层原始图像的样点之间的预测误差，基于增强层预测图像的样点值的分布，确定增强层预测图像的SAO类型和与预测误差相应的根据种类分类的偏移；层间SAO参数确定器，确定层间样点自适应偏移(SAO)使用信息和SAO参数，其中，层间样点自适应偏移使用信息指示是否对根据基本层重构图像与增强层预测图像之间的层间预测的预测误差进行补偿，SAO参数指示偏移和增强层预测图像的SAO类型。

根据本公开的一个或更多个实施例，提供了一种记录有用于执行所述可伸缩视频解码方法的计算机程序的计算机可读记录介质。

根据本公开的一个或更多个实施例，提供了一种记录有用于执行所述可伸缩视频编码方法的计算机程序的计算机可读记录介质。

发明模式

以下将参考图1a至图7c来描述根据一个或更多个实施例的可伸缩视频编码和解码设备以及可伸缩视频编码和解码方法。以下将参考图8至图20来描述根据一个或更多个实施例的基于具有树结构的编码单元的视频编码和解码设备以及视频编码和解码方法。以下还将参考图21至图27来描述可应用参考图1a至图20描述的可伸缩视频编码和解码方法以及视频编码和解码方法的一个或更多个实施例。

以下，“图像”可以表示视频的静止图像或运动图像或者视频本身。

“样点”表示作为处理目标被分配给图像的样点位置的数据。例如，空间域的图像中的像素可以是样点。

现将参考图1a至图7c来描述根据实施例的可伸缩视频编码和解码设备以及可伸缩视频编码和解码方法。

如这里使用的，术语“和/或”包括相关列出项中的一个或更多个的任意和所有组合。当诸如“…中的至少一个”的表述在一列元件之后时，所述表述修饰整列元件而不是修饰该列元件中的单个元件。

图1a是根据一个或更多个实施例的可伸缩视频编码设备10的框图。图1b是根据一个或更多个实施例的可伸缩视频编码方法的流程图。

根据一个或更多个实施例的可伸缩视频编码设备10包括基本层编码器12、增强层编码器14、层间偏移确定器16和层间样点自适应偏移(SAO)参数确定器18。

根据一个或更多个实施例的可伸缩视频编码设备10可针对每个层对多个图像序列进行分类，根据可伸缩视频编码对分类的图像序列中的每一个进行编码，并输出包括针对每个层编码的数据的单独的流。可伸缩视频编码设备10可对作为不同层的基本层图像序列和增强层图像序列进行编码。

基本层编码器12可对基本层图像进行编码并输出包括编码的基本层图像的数据的基本层流。

增强层编码器14可对增强层图像进行编码并输出包括编码的增强层图像的数据的增强层流。

例如，根据基于可伸缩视频编码的空间可伸缩性，低分辨率图像可作为基本层图像被编码，高分辨率图像可作为增强层图像被编码。基本层图像的编码结果可被输出为基本层流，增强层图像的编码结果可被输出为增强层流。

作为另一示例，可根据可伸缩视频编码对多视点视频进行编码。左视点图像可作为基本层图像被编码，右视点图像可作为增强层图像被编码。可选择地，中心视点图像、左视点图像和右视点图像可分别在不同的层中被编码。中心视点图像可作为基本层图像被编码，左视点图像可作为第一增强层图像被编码，右视点图像可作为第二增强层图像被编码。

作为另一示例，可根据基于时间可伸缩性的时间分层预测来执行可伸缩视频编码。包括通过对基本帧率的图像进行编码而产生的编码信息的基本层流可被输出。通过参考基本帧率的图像进一步对高帧率的图像进行编码，包括高帧率的编码信息的增强层流可被输出。

可对基本层和多个增强层执行可伸缩视频编码。当存在三个或更多个增强层时，基本层图像、第一增强层图像、第二增强层图像、...、第K增强层图像可被编码。因此，基本层图像的编码结果可被输出为基本层流，第一至第K增强层图像的编码结果可被输出为第一至第K增强层流。

根据一个或更多个实施例的可伸缩视频编码设备10可执行通过参考单个层的图像对当前图像进行预测的帧间预测。可通过帧间预测产生指示当前图像与参考图像之间的运动信息的运动矢量以及当前图像与参考图像之间的残差分量。

根据一个或更多个实施例的可伸缩视频编码设备10还可执行通过参考基本层图像对增强层图像进行预测的层间预测。可伸缩视频编码设备10可执行通过参考第一增强层图像对第二增强层图像进行预测的层间预测。可通过层间预测产生当前图像与另一层的参考图像之间的位置差分量以及当前图像与所述另一层的参考图像之间的残差分量。

当根据一个或更多个实施例的可伸缩视频编码设备10允许两个或更多个增强层时，可伸缩视频编码设备10可根据多层预测结构在单个基本层图像与两个或更多个增强层图像之间执行层间预测。

后面将参考图3对层间预测结构进行描述。

根据一个或更多个实施例的可伸缩视频编码设备10对每个层的视频的每个图像的每个块进行编码。块可具有正方形状、矩形形状或任意几何形状，并不限于具有预定尺寸的数据单元。根据实施例的块可以是根据树结构的编码单元中的最大编码单元(LCU)、CU、预测单元或变换单元。包括具有树结构的编码单元的LCU被不同地称为编码块单元、块树、根块树、编码树、编码根或树干。后面将参考图8至图20来描述基于具有树结构的编码单元的视频编码和解码。

可基于数据单元(诸如，CU、预测单元或变换单元)来执行帧间预测和层间预测。

根据一个或更多个实施例的基本层编码器12可对基本层图像执行包括帧间预测或帧内预测的源编码操作，以产生符号数据。例如，基本层编码器12可对基本层图像的数据单元的样点执行帧间预测或帧内预测、变换以及量化，对符号数据执行熵编码，并产生比特流作为基本层流。

增强层编码器14可基于具有树结构的编码单元对增强层图像进行编码。增强层编码器14可对增强层图像的CU的样点执行帧间预测和帧内预测、变换以及量化，产生符号数据，对符号数据执行熵编码，并产生比特流和增强层流。

根据一个或更多个实施例的增强层编码器14可执行通过使用基本层图像的重构的样点来预测增强层图像的层间预测。增强层编码器14可通过使用基本层重构图像产生增强层预测图像，并对增强层原始图像与增强层预测图像之间的预测误差进行编码，从而通过使用层间预测结构对增强层图像序列中的增强层原始图像进行编码。

增强层编码器14可针对每个块(诸如CU或预测单元)对增强层执行层间预测。将由增强层图像参考的块可在基本层图像中确定。例如，基本层图像中的重构图像的与增强层图像中的当前块的位置相应地布置的块可被确定为基本层中的参考块。以下，基本层图像中的重构图像的块可被称为“基本层重构块”，增强层图像中的当前块可被称为“增强层块”。增强层编码器14可通过使用与增强层块相应的基本层重构块来确定增强层预测块。

增强层编码器14可使用增强层预测块，其中，增强层预测块是通过将根据层间预测结构的基本层重构块用作用于增强层中的增强层原始块的参考图像而被确定的。增强层编码器14可通过使用基本层重构图像将增强层预测块的样点值与增强层原始块的样点值之间的差值(即，根据层间预测的残差分量)作为SAO值进行编码。

如上所述，增强层编码器14可通过使用层间预测结构通过参考基本层重构图像来对当前层图像序列进行编码。然而，增强层编码器14可在不参考其它层样点的情况下根据单个层预测结构对增强层图像序列进行编码。因此，增强层编码器14不应被解释为仅执行层间预测以对增强层图像序列进行编码。

可伸缩视频编码设备10可使用SAO参数以对原始图像与重构图像之间的编码误差进行补偿。

更详细地，基本层编码器12可通过反量化、逆变换、帧间预测或运动补偿，根据基本层图像的具有树结构的编码单元对编码的样点进行解码，以重构包括在当前LCU中的样点。可通过对样点进行编码并随后对编码的样点进行解码来产生先前条带的重构图像。先前条带的重构图像可被参考用于当前条带的帧间预测。

基本层编码器12可确定指示当前LCU被编码之前的原始样点与当前LCU被解码之后的重构的样点之间的差值的偏移，以最小化原始样点与重构的样点之间的编码误差。

基本层编码器12可对每个色彩分量执行SAO调整。例如，可对YCrCb色彩图像针对亮度分量(Y分量)以及第一和第二色度分量(Cr和Cb分量)中的每一个执行SAO调整。

基本层编码器12可根据当前LCU的样点值分类方法确定SAO类型。根据实施例的SAO类型可被确定为边缘类型或带(band)类型。根据当前块的样点值分类方法，可确定是根据边缘类型还是带类型来对当前块的样点进行分类。

如果SAO类型是边缘类型，则根据在当前LCU的重构的样点与它们的邻近样点之间形成的边缘的方向和形状，重构的样点与原始样点之间的偏移可被确定。

如果SAO类型是带类型，则在通过划分当前LCU的重构的像素的样点值的总范围而获得的多个带中，可确定在包括在每个带中的重构的像素与原始像素之间的偏移。可通过均匀或非均匀地划分样点值的总范围来获得带。

因此，基本层编码器12可基于当前LCU的样点值的空间特性确定当前LCU的指示边缘类型或带类型的SAO类型。

基本层编码器12可根据当前LCU的SAO类型确定每个重构的样点的SAO分类。根据实施例的SAO分类可被确定为边缘分类或带分类。

针对边缘类型，根据实施例的边缘分类可指示在重构的样点与它们的邻近样点之间形成的边缘的方向。根据实施例的边缘分类可指示0°、90°、45°或135°的边缘方向。

如果SAO类型是边缘类型，则基本层编码器12可确定当前LCU的每个重构的样点的边缘分类。

针对带类型，当当前LCU的样点值的总范围被划分为预定数量的连续样点值区间(period)时，每个连续样点值区间可表示带。根据实施例的带分类可指示重构的像素的样点值所属于的带的位置。

例如，针对具有8比特的样点值的取样，样点值的总范围从0到255，并且样点值可被分类为总共32个带。在这种情况下，在总共32个带中，重构的像素的样点值所属于的预定数量的带可被确定。根据实施例的带分类可指示预定数量的连续带中的样点值所属于的起始带(即，最左边的带)的位置。样点值所属于的起始带位置可被表述为从0到31的带索引。

针对边缘类型，当前LCU的重构的样点可根据在重构的样点与它们的邻近样点之间形成的边缘的形状而被分类为预定数量的种类。例如，根据诸如凹形边缘的局部谷底、凹形边缘的弧形拐角、凸形边缘的弧形拐角和凸形边缘的局部凸峰的四个边缘形状，重构的样点可被分类为四个种类。根据当前LCU的每个重构的样点的边缘形状，可确定每个重构的样点属于四个种类之一。

针对带类型，根据当前LCU的重构的样点的样点值所属于的带的位置，重构的样点可被分类为预定数量的种类。例如，根据从由带分类指示的起始带位置(即，最左边的带的起始点)的四个连续带的带索引，重构的样点可被分类为四个种类。根据当前LCU的每个重构的样点分别所属于的四个带之一，可确定每个重构的样点分别属于四个种类中的哪一个种类。

基本层编码器12可确定当前LCU的每个重构的样点的种类。针对当前LCU的属于相同种类的重构的样点，基本层编码器12可通过使用重构的样点与原始样点之间差值来确定偏移值。在每个种类中，重构的样点与原始样点之间的差值的平均(即，重构的样点的平均误差)可被确定为分配给当前种类的偏移值。基本层编码器12可确定每个种类的偏移值并可将所有种类的偏移值确定为当前LCU的偏移值。

例如，当当前LCU的SAO类型是边缘类型时，当前LCU的重构的样点根据边缘形状被分类为四个种类。当当前LCU的SAO类型是带类型时，当前LCU的重构的样点根据四个连续带的索引被分类为四个种类。在这种情况下，基本层编码器12可通过确定重构的样点与原始样点之间的平均误差属于四个种类中的哪一个种类来确定四个偏移值。

每个偏移值可大于或等于预设最小值并可小于或等于预设最大值。

基本层编码器12可对包括当前LCU的SAO类型、SAO分类和偏移值的SAO参数进行编码和输出。

每个块的SAO参数可包括块的SAO类型和偏移值。关闭类型、边缘类型或带类型可被输出作为SAO类型。

如果SAO类型是关闭类型，则可指示SAO调整不被应用于当前LCU。在这种情况下，当前LCU的剩余的SAO参数不需要被编码。

如果SAO类型是边缘类型，则SAO参数可包括分别与边缘分类相应的偏移值。否则，如果SAO类型是带类型，则SAO参数可包括分别与带相应的偏移值。

如上所述，基本层编码器12可对图像的每个LCU执行SAO操作。

根据一个或更多个实施例的增强层编码器14可通过使用SAO参数根据层间预测结构对增强层预测块与增强层原始块之间的预测误差(即，残差分量)进行编码。

基本层编码器12可使用SAO参数以执行在基本层图像被编码之后用于最小化重构图像与原始图像之间的编码误差的后处理，而增强层编码器14可使用层间SAO参数以根据层间预测结构对增强层图像与基本层参考图像之间的预测误差进行编码。

增强层编码器14可产生用于对增强层图像进行预测的增强层预测图像。当增强层编码器14遵从层间预测结构时，可通过使用基本层重构图像来产生增强层预测图像。

层间偏移确定器16可针对增强层图像的每个像素位置确定在增强层预测图像与增强层原始图像之间的样点中的预测误差。层间偏移确定器16可确定增强层预测图像的SAO类型以及通过根据基于增强层预测图像的样点值的分布的种类对预测误差进行分类而确定的偏移。

层间SAO参数确定器18可确定指示基本层重构图像与增强层预测图像之间的层间预测误差是否被补偿的层间SAO使用信息。层间SAO参数确定器18还可确定指示用于增强层预测图像的SAO类型和偏移的SAO参数。

与基本层图像的SAO参数类似，层间SAO参数可包括用于对层间预测误差进行编码的关于SAO类型、分类、种类和偏移的信息。在本说明书中，用于执行了层间预测的增强层图像的SAO参数可被解释为层间SAO参数。

以下，现将参照图1b对可伸缩视频编码设备10的操作进行描述。

在操作11，层间偏移确定器16可针对增强层图像的每个像素位置确定在增强层预测图像与增强层原始图像之间的样点中的预测误差。

基本层编码器12可在对基本层图像序列进行编码的处理期间产生基本层重构图像。增强层编码器14可通过使用基本层重构图像来确定增强层预测图像。

基于根据实施例的可伸缩视频预测结构，基本层图像和增强层图像可在分辨率上不同。增强层编码器14可对从基本层编码器12获得的基本层重构图像进行插值以将基本层重构图像调整为具有与增强层原始图像相同的分辨率。增强层编码器14可将插值的基本层重构图像确定和用作为增强层预测图像。

在操作13，层间偏移确定器16可确定增强层预测图像的SAO类型以及根据基于增强层预测图像的样点值的分布的种类的偏移。

用于基本层图像的SAO操作的SAO类型以及根据SAO类型的SAO种类可被应用于层间SAO。

层间偏移确定器16可通过针对增强层图像的每个像素位置基于样点值的分布确定当前样点是边缘类型还是带类型来确定SAO类型。可针对增强层图像的每个块确定SAO类型。

如果SAO类型被确定，则可针对每个块像素位置确定增强层预测块与增强层原始块之间的样点误差所属于的SAO种类。如果SAO类型是边缘类型，则可根据边缘形状确定SAO种类。如果SAO类型是带类型，则可基于样点值范围确定SAO种类。

根据SAO种类的样点误差的平均可被确定。平均误差可被确定为根据SAO种类的偏移。

增强层编码器14可根据层间SAO针对增强层预测图像补偿偏移，并通过参考补偿后的增强层预测图像来产生增强层重构图像。

在操作15，层间SAO参数确定器18可确定层间SAO使用信息和用于增强层图像的SAO参数。

层间SAO参数确定器18可确定顺序地包括增强层预测图像的SAO类型、根据种类的偏移和关于偏移的标示(mark)的信息的SAO参数。

可基于SAO类型、种类以及基本层图像与增强层图像之间的分辨率比率中的至少一个来确定根据一个或更多个实施例的层间SAO的偏移(即，层间SAO偏移的符号(sign))。在这种情况下，层间SAO参数确定器18可不将关于偏移的标示的信息包括在SAO参数中。

层间偏移确定器16可将根据种类而确定的偏移限制为低于预定最大绝对值。可基于SAO类型、种类以及基本层图像与增强层图像之间的分辨率比率中的至少一个来提前确定根据一个或更多个实施例的根据层间SAO的偏移的最大绝对值。

层间偏移确定器16可从而针对增强层预测图像的每个样点确定根据两个或更多个种类的偏移。可通过参考通过因此对增强层预测图像补偿根据种类的偏移而获得的预测图像来产生增强层重构图像。

例如，层间偏移确定器16可将增强层预测图像的当前像素的垂直方向上的临近像素的样点值与当前像素的样点值进行比较以确定当前样点属于第一种类。层间偏移确定器16可通过根据第一类别的第一偏移来纠正当前像素的样点值。层间偏移确定器16可再次将当前像素的样点值与当前像素的水平方向上的邻近像素的样点值进行比较以确定当前样点属于第二种类。因此，根据一个或更多个实施例的层间SAO，单个样点可属于两个或更多个种类，从而可针对单个样点确定两个或更多个偏移。

根据一个或更多个实施例的层间偏移确定器16可将根据SAO类型的种类中的预定种类的偏移限制为0。在这种情况下，层间SAO参数确定器18可确定包括关于除了限制为0的偏移之外的偏移的信息的SAO参数。

根据一个或更多个实施例的层间偏移确定器16可仅针对增强层预测图像中的增强层区域来确定根据层间SAO的偏移，其中，通过根据包括帧内基本层预测模式Intra BL模式和差预测模式Diff模式的预测模式之一使用基本层重构图像中的基本层区域，增强层区域被预测。根据帧内基本层预测模式Intra BL模式，可通过使用按照帧内模式预测的基本层数据单元来预测增强层数据单元。根据差预测模式Diff模式，可通过使用按照帧间模式预测的基本层数据单元来预测增强层数据单元。根据执行了层间预测的预定数据单元产生的差分量可作为层间SAO偏移而被编码。为了描述方便，虽然基本层预测模式或差预测模式被用作基本层数据单元的预测模式，但是被参考用于层间预测的基本层数据单元的预测模式不限于此。

也就是说，可不对通过单个层预测被编码而不遵从层间预测结构的增强层块确定层间SAO。

根据一个或更多个实施例的层间偏移确定器16可另外基于基本层图像与增强层图像之间的分辨率比率、用于将基本层重构图像调整为具有与增强层原始图像相同的分辨率的插值滤波器的相移以及插值滤波器的滤波阶数中的至少一个来确定SAO种类。也就是说，除了边缘类型的边缘形状或带类型的样点值范围之外，根据层间SAO的SAO种类还可包括层之间的分辨率比率、插值滤波器的相移和插值滤波阶数。

根据一个或更多个实施例的层间偏移确定器16可通过使用基本层图像的位于与增强层预测图像的当前区域相应的共同定位(collocated)区域中的SAO参数，确定用于增强层预测图像的当前区域的SAO类型和偏移。

根据一个或更多个实施例的层间SAO参数确定器18可通过使用基本层图像的共同定位区域中的SAO参数来确定指示是否确定用于增强层预测图像的SAO偏移的基本层SAO合并信息。层间SAO参数确定器18可输出包括基本层SAO合并信息的SAO参数。

例如，如果基本层SAO合并信息指示通过使用基本层图像的共同定位区域中的SAO参数的每条信息来确定用于增强层预测图像的SAO参数，则用于增强层预测图像的SAO参数可不被编码。

例如，层间偏移确定器16可通过使用基本层图像的共同定位区域中的一些SAO参数来确定用于增强层预测图像的当前区域的一些SAO参数。在这种情况下，用于增强层当前区域的SAO参数可不包括通过使用基本层共同定位区域中的SAO参数而确定的一些参数。

更详细地，层间偏移确定器16可通过使用基本层图像的位于与增强层预测图像的当前区域相应的共同定位区域中的SAO类型来确定用于增强层预测图像的当前区域的层间SAO的SAO类型。在这种情况下，用于当前区域的层间SAO参数可包括基本层SAO合并信息和SAO偏移并可不包括SAO类型。

根据一个或更多个实施例的可伸缩视频编码设备10可包括用于共同地控制基本层编码器12、增强层编码器14、层间偏移确定器16和层间SAO参数确定器18的中央处理器(未示出)。可选择地，基本层编码器12、增强层编码器14、层间偏移确定器16和层间SAO参数确定器18可由它们的单独的处理器(未示出)驱动，其中，它们的单独的处理器合作地进行操作以控制可伸缩视频编码设备10。可选择地，可伸缩视频编码设备10外部的外部处理器(未示出)可控制基本层编码器12、增强层编码器14、层间偏移确定器16和层间SAO参数确定器18。

可伸缩视频编码设备10可包括用于存储基本层编码器12、增强层编码器14、层间偏移确定器16和层间SAO参数确定器18的输入和输出数据的一个或更多个数据存储器单元(未示出)。可伸缩视频编码设备10可包括用于管理输入到数据存储器单元和从数据存储器单元输出的数据的存储器控制器(未示出)。

为了执行包括变换的视频编码操作并输出视频编码操作的结果，可伸缩视频编码设备10可与内部或外部视频编码处理器相关联地进行操作。可伸缩视频编码设备10的内部视频编码处理器可以是用于执行视频编码操作的独立的处理器。另外，可伸缩视频编码设备10、中央处理单元(CPU)或图形处理单元(GPU)可包括用于执行基本视频编码操作的视频编码处理器模块。

图2a和图2b分别是根据一个或更多个实施例的可伸缩视频解码设备20的框图和可伸缩视频解码方法的流程图。

根据一个或更多个实施例的可伸缩视频解码设备20包括层间SAO参数获取器22、层间偏移确定器24、增强层解码器26和基本层解码器28。

根据一个或更多个实施例的可伸缩视频解码设备20可接收通过使用可伸缩编码方法的根据层的比特流。由可伸缩视频解码设备20接收的比特流的层数未被限制。然而，为了描述方便，对以下实施例进行描述：在该实施例中，可伸缩视频解码设备20的基本层解码器28接收基本层流并对基本层流进行解码，可伸缩视频解码设备20的增强层解码器26接收增强层流并对增强层流进行解码。

例如，基于空间可伸缩性的可伸缩视频解码设备20可接收被解码为包含具有不同分辨率的图像序列的不同层的流。可通过对基本层流进行解码来重构低分辨率图像序列，并可通过对增强层流进行解码来重构高分辨率图像序列。

作为另一示例，可根据可伸缩视频编码对多视点视频进行解码。当立体视频流作为多个层被接收时，可通过对基本层流进行解码来重构左视点图像。可通过基于基本层流进一步对增强层流进行解码来重构右视点图像。

可选择地，当多视点视频流作为多个层被接收时，可通过对基本层流进行解码来重构中心视点图像。可通过基于基本层流进一步对第一增强层流进行解码来重构左视点图像。可通过基于基本层流进一步对第二增强层流进行解码来重构右视点图像。

作为另一示例，基于时间可伸缩性的可伸缩视频编码可被执行。可通过对基本层流进行解码来重构基本帧率的图像。可通过基于基本层流进一步对增强层流进行解码来重构高帧率的图像。

当存在三个或更多个增强层时，可针对第一增强层从第一增强层流重构第一增强层图像，并可通过进一步对第二增强层流进行解码来进一步重构第二增强层图像。可通过基于第一增强层流进一步对第K增强层流进行解码来进一步重构第K增强层图像。

可伸缩视频解码设备20可从基本层流和增强层流获得基本层图像和增强层图像的编码数据，并可进一步获得通过帧间预测产生的运动矢量和通过层间预测产生的预测信息。

例如，可伸缩视频解码设备20可对用于每个层的帧间预测数据进行解码，并对多个层之间的层间预测数据进行解码。可通过基于根据实施例的CU或预测单元的运动补偿和层间解码来执行图像的重构。

通过针对每个层流参考通过相同层的帧间预测而预测的重构图像来对当前图像执行运动补偿，从而图像可被重构。运动补偿表示通过将当前图像的残差分量与通过使用当前图像的运动矢量确定的参考图像进行组合来对当前图像的重构图像进行重新构造的操作。

根据实施例的可伸缩视频解码设备20可通过参考基本层图像来执行层间解码，以重构通过层间预测而预测的增强层图像。层间解码表示通过将当前图像的残差分量与被确定用于预测当前图像的其它层的参考图像进行组合来产生当前图像的重构图像的操作。

根据实施例的可伸缩视频解码设备20可执行层间解码，以重构通过参考第一增强层图像而预测的第二增强层图像。后面将参照图3对层间预测结构进行描述。

然而，根据一个或更多个实施例的增强层解码器26可对增强层流进行解码而不参考基本层图像序列。因此，增强层解码器26不应被解释为仅执行层间预测以对增强层图像序列进行编码。

可伸缩视频解码设备20针对每个块对视频的每个图像进行解码。根据实施例的块可以是根据树结构的编码单元中的LCU、CU、预测单元或变换单元。

基本层解码器28可通过使用解析的基本层图像的编码符号来对基本层图像进行解码。如果可伸缩视频解码设备20接收基于具有树结构的编码单元编码的流，基本层解码器28可对基本层流的每个LCU，执行基于具有树结构的编码单元的解码。

基本层解码器28可通过对每个LCU执行熵解码来获得编码信息和编码数据。基本层解码器28可通过对从流获得的编码数据执行反量化和逆变换来重构残差分量。根据另一实施例的基本层解码器28可直接接收量化的变换系数的比特流。图像的残差分量可被重构为对量化的变换系数执行反量化和逆变换的结果。

基本层解码器28可通过对相同层图像执行运动补偿将预测图像与残差分量进行组合来重构基本层图像。

增强层解码器26可根据层间预测结构通过使用基本层重构图像的样点来产生增强层预测图像。增强层解码器26可通过对增强层流进行解码来获得由层间预测引起的预测误差。增强层解码器26可通过将增强层预测图像与预测误差进行组合来产生增强层重构图像。

根据一个或更多个实施例的基本层解码器28可通过从基本层流获得SAO参数来对基本层原始图像与基本层重构图像之间的编码误差进行补偿。与SAO参数、SAO类型、分类和种类有关的信息和概念与上面参照图1a描述的相同。

更详细地，基本层解码器28可通过经由反量化、逆变换、帧间预测或运动补偿对基本层图像的根据具有树结构的编码单元而编码的样点进行解码来重构包括在当前LCU中的样点。可通过对样点进行编码并随后对编码的样点的先前的条带进行解码来产生重构图像。先前的条带的重构图像可被参考以对当前条带执行帧间预测。因此，先前的条带的重构图像可被用作用于当前条带的预测图像。

基本层解码器28可从基本层流获得用于当前LCU的SAO参数并基于SAO参数中的SAO类型来确定SAO参数是关闭类型、边缘类型还是带类型。

基本层解码器28可从SAO参数获得根据种类的偏移。基本层解码器28可从根据SAO类型的种类中确定预测图像中的当前块的每个重构的样点所属于的种类。因此，基本层解码器28可通过将样点值与根据对每个重构的样点确定的种类的偏移进行组合来对基本层重构图像的编码误差进行补偿。

根据一个或更多个实施例的增强层解码器26可从SAO参数获得根据层间预测结构的增强层预测块与增强层原始块之间的预测误差(即，残差分量)。

基本层解码器28可执行SAO操作作为在基本层图像被预测之后用于对重构图像与原始图像之间的误差进行补偿的后处理操作，而增强层解码器26可执行层间SAO操作以确定将被参考以根据层间预测结构对增强层图像进行预测的预测图像。也就是说，SAO偏移可被用作层间预测误差，即，根据层间预测的残差分量。

以下将参照图2对可伸缩视频解码设备20的操作进行描述。

在操作21，层间SAO参数获取器22可从接收的增强层流获得层间SAO使用信息和SAO参数。增强层解码器26可基于层间SAO使用信息确定是否对基本层重构图像与增强层预测图像之间的层间预测误差进行补偿。

在操作23，层间偏移确定器24可从SAO参数确定增强层预测图像的SAO类型和通过根据种类对层间预测误差进行分类而确定的偏移。

层间偏移确定器24可基于SAO参数顺序地确定增强层预测图像的SAO类型、根据种类的偏移和偏移的符号。当SAO参数不包括关于偏移的符号的信息时，层间偏移确定器24可基于SAO类型、种类以及层之间的分辨率比率中的至少一个来确定偏移的符号。

层间偏移确定器24可从SAO参数获得被限制为低于最大绝对值的偏移。

层间偏移确定器24可确定用于增强层预测图像的每个样点的两个或更多个种类以从SAO参数获得根据相应的两个或更多个种类的偏移。在这种情况下，增强层解码器26可通过因此将增强层预测图像的样点与根据两个或更多个种类的偏移进行组合来更新增强层预测图像，以将层间SAO应用于增强层预测图像。

更具体地，层间偏移确定器24可从增强层预测图像的SAO参数获得指示边缘类型的信息和根据基于边缘形状的种类的偏移。

层间偏移确定器24可将增强层预测图像的当前像素的垂直方向上的邻近像素的样点值与当前像素的样点值进行比较并确定当前像素属于第一种类。增强层解码器26可通过将当前像素的样点值与根据第一种类的第一偏移进行组合来纠正当前像素的样点值。

层间偏移确定器24可将增强层预测图像的当前像素的水平方向上的邻近像素的样点值与当前像素的样点值进行比较并确定当前像素属于第二种类。层间偏移确定器24可另外地对通过使用根据第一种类的第一偏移而纠正的当前像素的样点值与根据第二种类的第二偏移进行组合，以再次纠正当前像素的样点值。相应地，当针对单个样点确定了多个种类时，可从而通过使用根据种类的多个偏移对样点值进行补偿。

当SAO参数不包括相应的种类的偏移时，层间偏移确定器24可将预定种类的偏移确定为0。

虽然基于层间SAO使用信息对层间预测误差进行补偿，但是层间偏移确定器24可仅针对增强层预测图像中的增强层区域来确定层间SAO偏移，其中，通过根据包括帧内基本层预测模式Intra BL模式和差预测模式Diff模式的预测模式之一使用基本层重构图像，增强层区域被预测。也就是说，层间偏移确定器24可仅针对通过根据预测模式使用基本层数据单元重构的增强层数据单元，将根据层间预测的差分量确定为层间SAO偏移。

根据一个或更多个实施例，可根据边缘类型的样点所属于的边缘的形状或根据带类型的样点所属于的样点值的范围来对种类进行分类。另外，可基于层间预测结构中的层之间的分辨率比率、插值滤波器的相移和插值滤波器的滤波阶数中的至少一个来对样点种类进行分类。

根据一个或更多个实施例的层间SAO参数获取器22可从增强层流获得指示是否通过使用基本层图像的共同定位区域中的SAO参数来确定用于增强层预测图像的SAO参数的基本层SAO合并信息。

例如，层间SAO参数获取器22可基于基本层SAO合并信息，通过使用基本层图像的位于与增强层预测图像中的当前区域相应的共同定位区域中的SAO参数来确定用于增强层预测图像中的当前区域的SAO参数。

如果层间SAO参数获取器22基于基本层SAO合并信息通过使用基本层图像的共同定位区域中的SAO参数的每条信息来确定增强层预测图像的当前图像的SAO参数，则层间SAO参数获取器22可不从增强层流直接获得用于增强层图像的当前图像的SAO参数。

层间偏移确定器24可通过使用与基本层图像的共同定位区域中的SAO参数中的至少一个有关的信息来确定与用于增强层预测图像的当前图像的SAO参数中的至少一个有关的信息。

例如，层间SAO参数获取器22可通过使用基本层图像的共同定位区域中的SAO类型来确定用于增强层预测图像的当前区域的偏移的SAO类型。

在操作25，增强层解码器26可确定用于增强层预测图像的每个像素位置的当前样点的种类并通过使用从SAO参数获得的偏移中的用于当前种类的偏移来对当前样点进行补偿。增强层解码器26可通过使用每个偏移对增强层预测图像的样点进行补偿，以产生增强层重构图像。

增强层解码器26可通过使用由基本层解码器28解码的基本层重构图像来确定增强层预测图像。增强层解码器26可根据层间预测结构来确定诸如增强层图像的CU或预测单元的块将参考的基本层图像的块。例如，基本层图像的位于与增强层图像的当前块的位置相应的重构块可被确定。增强层解码器26可通过使用与增强层块相应的基本层重构块来确定增强层预测块。

根据实施例的增强层解码器26可使用根据层间预测结构通过使用基本层重构块而确定的增强层预测块作为用于增强层原始块的层间预测的参考图像。在这种情况下，增强层解码器26可通过将使用基本层重构图像而确定的增强层预测块的样点值与从SAO参数获得的偏移(即，根据层间预测的残差分量)进行组合来重构增强层块。

根据空间可伸缩视频编码，当基本层解码器28重构与增强层图像具有不同分辨率的基本层图像时，增强层解码器26可对基本层重构图像进行插值以将基本层重构图像调整为具有与增强层原始图像相同的分辨率。插值后的基本层重构图像可被确定为用于层间预测的增强层预测图像。

因此，可伸缩视频解码设备20的基本层解码器28可对基本层流进行解码并重构基本层图像序列，并且可伸缩视频解码设备20的增强层解码器26可对增强层流进行解码并重构增强层图像序列。

根据一个或更多个实施例的可伸缩视频解码设备20可包括用于共同地控制层间SAO参数获取器22、层间偏移确定器24、增强层解码器26和基本层解码器28的中央处理器(未示出)。可选择地，层间SAO参数获取器22、层间偏移确定器24、增强层解码器26和基本层解码器28可由它们自身的单独的处理器(未示出)驱动，其中，它们自身的单独的处理器合作地进行操作以控制可伸缩视频解码设备20。可选择地，可伸缩视频编码设备10外部的外部处理器(未示出)可控制层间SAO参数获取器22、层间偏移确定器24、增强层解码器26和基本层解码器28。

可伸缩视频解码设备20可包括用于存储层间SAO参数获取器22、层间偏移确定器24、增强层解码器26和基本层解码器28的输入和输出数据的一个或更多个数据存储器单元(未示出)。可伸缩视频解码设备20可包括用于管理输入到数据存储器单元和从数据存储器单元输出的数据的存储器控制器(未示出)。

为了执行包括变换的视频解码操作并输出视频解码操作的结果，可伸缩视频解码设备20可与内部或外部视频解码处理器相关联地进行操作。可伸缩视频解码设备20的内部视频解码处理器可以是用于执行视频解码操作的独立的处理器。另外，可伸缩视频解码设备20、CPU或GPU可包括用于执行基本视频解码操作的视频解码处理器模块。

基于参照图1a和图1b描述的根据一个或更多个实施例的可伸缩视频编码设备10，可通过使用SAO参数对用于对增强层图像进行预测的层间预测误差进行编码。因此，不必根据像素位置对层间预测误差进行编码，可通过使用基于预测误差的样点值的分布和关于根据种类的偏移的信息而确定的SAO类型来对层间预测误差进行编码。

参照图2a和图2b描述的根据一个或更多个实施例的可伸缩视频解码设备20可从接收的比特流获得SAO类型和偏移并根据增强层预测层的每个像素的样点值的分布来确定SAO种类，从而可通过使用每个像素所属于的SAO类型和偏移来获得分配给SAO种类的偏移。因此，不必接收每个像素的层间预测误差，增强层预测图像的每个像素被补偿根据相应的种类的偏移，从而增强层重构图像可被产生。

现将参照图3详细描述可由根据一个或更多个实施例的可伸缩视频编码设备10的增强层解码器14实现的层间预测结构。

图3是根据一个或更多个实施例的层间预测结构的框图。

层间编码系统1600包括基本层编码端1610、增强层编码端1660以及在基本层编码端1610与增强层编码端1660之间的层间预测端1650。基本层编码端1610和增强层编码端1660可分别示出基本层编码器1410和增强层编码器1420的详细结构。

基本层编码端1610接收基本层图像序列的输入并对每个图像序列进行编码。增强层编码端1660接收增强层图像虚列的输入并对每个图像序列进行编码。后面将同时对由基本层编码端1610和增强层编码端1660两者执行的共同操作进行描述。

块划分器1618和1668将输入图像(低分辨率图像和高分辨率图像)划分为LCU、编码单元、预测单元和变换单元。为了对从块划分器1618和1668输出的编码单元进行编码，可对编码单元的每个预测单元执行帧内预测或帧间预测。根据每个预测单元的预测模式是帧内预测模式还是帧间预测模式，预测开关1648和1698可通过参考从运动补偿器1640和1690输出的先前重构图像来执行帧间预测，或可通过使用从帧内预测器1645和1695输出的当前输入图像内的当前预测单元的邻近预测单元来执行帧内预测。可通过帧间预测对每个预测单元产生残差信息。

对编码单元的每个预测单元，预测单元与周围图像之间的残余分量被输入到变换器/量化器1620和1670。变换器/量化器1620和1670可对每个变换单元执行变换和量化，并基于编码单元的变化单元输出量化的变换系数。

缩放器/逆变换器1625和1675可针对编码单元的每个变换单元再次对量化的系数执行缩放和逆变换，并产生空间域的残差信息。在预测开关1648和1698被控制为帧间模式时，残差分量可与先前重构图像或邻近预测单元组合，从而包括当前预测单元的重构图像可被产生并且当前重构图像可被存储在存储单元1630和1680中。可根据接下来将被编码的预测单元的预测模式再次将当前重构图像传送到帧内预测器1645和1695以及运动补偿器1640和1690。

具体地，在帧间模式中，环路滤波器1635可针对每个编码单元对存储在存储单元1630和1680中的当前重构图像执行去块滤波、SAO操作和自适应环路滤波(ALF)中的至少一个。可对编码单元、包括在编码单元中的预测单元和变换单元执行去块滤波、SAO操作和ALF中的至少一个。

去块滤波用于减小数据单元的块效应。SAO操作用于对由数据编码和解码修改的像素值进行补偿。可针对每个预测单元将由环路滤波器1635滤波的数据传送到运动补偿器1640和1690。为了再次对具有从块划分器1618和1668输出的下一序列的编码单元进行编码，从运动补偿器1640和1690输出的当前重构图像与从块划分器1618和1668输出的接下来的编码单元之间的残差分量可被产生。

可按照与上述相同方式重复地执行上述对输入图像的每个编码单元的编码操作。

增强层编码端1660可参考存储在基本层编码端1610的存储单元1630中的重构图像用于层间预测。基本层编码端1610的编码控制单元1615可控制基本层编码端1610的存储单元1630并将基本层编码端1610的重构图像传送到增强层编码端1660。传送的基本层重构图像可被用作增强层预测图像。

在基本层图像与增强层图像具有不同分辨率的情况下，层间预测端1650的层间SAO预测器1655可对基本层重构图像进行上取样并传送到增强层编码端1660。因此，上取样的基本层重构图像可被用作增强层预测图像。

在根据增强层编码端1660的编码控制单元1665的开关1698的控制来执行层间预测的情况下，可通过参考通过层间预测端1650传送的基本层重构图像来执行增强层图像的层间预测。

对于图像编码，可对编码单元、预测单元和变换单元设置各种编码模式。例如，深度或划分标记可被设置为用于编码单元的编码模式。预测模式、分区类型、帧内方向标记和参考列表标记可被设置为用于预测单元的编码模式。变换深度或划分标记可被设置为变换单元的编码模式。

基本层编码端1610可根据通过应用以下信息执行编码而获得的结果确定具有最高编码效率的编码深度、预测模式、分区类型、帧内方向和参考列表、变换深度：用于编码单元的各种深度、用于预测单元的各种预测模式、各种分区类型、各种帧内方向、各种参考列表以及用于变换单元的各种变换深度。然而，本公开不限于由基本层编码端1610确定的上述编码模式。

基本层编码端1610的编码控制单元1615可控制将各种编码模式合适地应用于元件的操作。对于增强层编码端1660的层间视频编码，编码控制单元1615可控制增强层编码端1660以通过参考基本层编码端1610的编码结果来确定编码模式或残差分量。

例如，增强层编码端1660可将基本层编码端1610的编码模式用作增强层图像的编码模式，或可通过参考基本层编码端1610的编码模式来确定增强层图像的编码模式。基本层编码端1610的编码控制单元1615可控制基本层编码端1610的编码控制单元1615的控制信号，并且为了确定增强层编码端1660的当前编码模式，可基于基本层编码端1610的编码模式使用当前编码模式。

具体地，根据实施例的增强层编码端1660可通过使用SAO参数对层间预测误差进行编码。因此，从基本层重构图像确定的增强层预测图像与增强层重构图像之间的预测误差可作为SAO参数的偏移而被编码。

与根据图3的层间预测方法的层间编码系统1600相似，根据层间预测方法的层间解码系统也可被实现。也就是说，层间解码系统可接收基本层比特流和增强层比特流。层间解码系统的基本层解码端可对基本层比特流进行解码以产生基本层重构图像。层间解码系统的增强层解码端可对增强层比特流进行解码以产生增强层重构图像。

如果根据一个或更多个实施例的可伸缩视频编码设备10的基本层编码器12执行层间预测，可伸缩视频解码设备20的增强层解码器26可根据上述层间解码系统产生多层重构图像。

如果层间编码系统1600通过使用SAO参数对层间预测误差进行编码，则层间解码系统可从增强层流获得SAO参数，并确定SAO参数中的SAO类型和根据种类的偏移。层间解码系统可基于从基本层重构图像确定的增强层预测图像的样点分布来确定每个样点的种类。因此，层间解码系统可通过对样点值补偿相应种类的偏移来产生增强层重构图像。

图4a到图4c是根据一个或更多个实施例的层间SAO的概念性示图。

图4a示出一般SAO结构。基本SAO参数偏移用于按照单层编码结构对重构图像与原始图像之间的编码误差进行编码。在基本层图像预测结构中，在对基本层原始图像411进行编码之后产生的基本层重构图像431与基本层原始图像411之间的编码误差可作为基本层SAO参数被编码。在增强层图像单层编码结构中，在对增强层原始图像441进行编码之后产生的增强层重构图像421与增强层原始图像441之间的编码误差可作为增强层SAO参数被编码。

图4b和图4c示出可伸缩视频编码结构中的层间SAO结构。基本层图像与增强层图像之间的层间预测被执行，从而可通过使用基本层重构图像对增强层图像进行预测。

参照图4b，在基于空间可伸缩性的层间视频编码结构中，低分辨率图像在基本层中被编码，高分辨率图像在增强层中被编码。基本层图像预测结构与图4a的相同。

然而，在增强层图像层间预测结构中，可通过使用通过对基本层重构图像451进行插值和上取样而产生的基本层重构图像453来对基本层原始图像45进行预测。基本层原始图像45与基本层重构图像之间的基本层编码误差出现，并且插值被执行以获得上取样的基本层重构图像453，这会引起插值误差。为了对由层间预测引起的包括基本层编码误差和差值误差的误差进行补偿，上取样的基本层重构图像453与增强层原始图像46之间的层间预测误差可做为层间SAO参数被编码。

参照图4c，在基于SNR可伸缩性的层间视频编码结构中，低质量图像在基本层中被编码，高质量图像在增强层中被编码。基本层图像预测结构与图4a和图4b的相同。然而，在增强层图像层间预测结构中，可通过使用基本层重构图像471来对增强层原始图像48进行预测。为了对由层间预测引起的包括基本层原始图像47与基本层重构图像471之间的基本层编码误差的误差进行补偿，基本层重构图像471与增强层原始图像48之间的层间预测误差可作为层间SAO参数被编码。

根据一个或更多个实施例的层间SAO参数可包括用于根据SAO类型对样点进行分类的种类、关于偏移符号的信息，并使用有关信息的概念，诸如，基本SAO参数的SAO偏移、种类、偏移符号等。下面将参照图5a到图5d详细描述SAO参数的SAO类型、种类和偏移符号。

根据SAO操作，可基于重构的像素的边缘类型或重构的像素的带类型对像素进行分类。可通过使用SAO类型来限定是基于边缘类型还是带类型来对像素进行分类。

现将参照图5a到图5c详细描述根据SAO操作基于边缘类型对象素进行分类的实施例。

当当前LCU的边缘类型的偏移被确定时，包括在当前LCU中的每个重构的像素的边缘分类可被确定。换句话说，通过比较当前重构的像素与邻近像素的像素值，当前重构的像素的边缘分类可被限定。现将参照图5a详细描述确定边缘分类的示例。

图5a是示出根据一个或更多个实施例的边缘类型的边缘分类的表。

索引0、1、2和3可被连续指定给边缘分类41、42、43和44。如果边缘类型频繁出现，则小的索引可被分配给该边缘类型。

边缘分类可指示在当前重构的像素X0与两个邻近像素之间形成的1维边缘的方向。具有索引0的边缘分类41指示当边缘在当前重构的像素X0与两个水平邻近像素X1和X2之间形成时的情况。具有索引1的边缘分类42指示当边缘在当前重构的像素X0与两个垂直邻近像素X3和X4之间形成时的情况。具有索引2的边缘分类43指示当边缘在当前重构的像素X0与两个135°对角邻近像素X5和X8之间形成时的情况。具有索引3的边缘分类44指示当边缘在当前重构的像素X0与两个45°对角邻近像素X6和X7之间形成时的情况。

因此，通过分析包括在当前LCU中的重构的像素的边缘方向并从而确定当前LCU中的强边缘方向，当前LCU的边缘分类可被确定。

针对每个边缘分类，可根据当前像素的边缘形状对种类进行分类。现将参照图5b和图5c来描述根据边缘形状的种类的示例。

图5b和图5c是示出根据一个或更多个实施例的边缘类型的种类的表和图表。

边缘种类指示当前像素是相应于凹形边缘的最低点、布置在凹形边缘的最低点周围的弧形拐角的像素、凸形边缘的最高点还是相应于布置在凸形边缘的最高点周围的弧形拐角的像素。

图5b示例性地示出用于确定边缘的种类的情况。图5c示例性地示出重构的像素与邻近像素之间的边缘形状以及它们的像素值c、a和b。

c指示当前重构的像素的索引，a和b指示根据边缘方向的在当前重构的像素的两侧的邻近像素的索引。Xa、Xb和Xc分别指示具有索引a、b和c的重构的像素的像素值。在图5b中，x轴指示当前重构的像素以及在当前重构的像素的两侧的邻近像素的索引，y轴指示样点的像素值。

种类1指示当当前样点与凹形边缘的最低点(即，局部谷底(Xc＜Xa&&Xc＜Xb))相应时的情况。如图表51所示，如果邻近像素a与b之间的当前重构的像素c与凹形边缘的最低点相应，则当前重构的像素可被分类为种类1。

种类2指示当当前样点被布置在凹形边缘的最低点周围的弧形拐角(即，凹形拐角(Xc＜Xa&&Xc＝＝Xb||Xc＝＝Xa&&Xc＜Xb))时的情况。如图表52所示，如果邻近像素a与b之间的当前重构的像素c被布置在凹形边缘的下行曲线的终点(Xc＜Xa&&Xc＝＝Xb)，或者如图表53所示，如果当前重构的像素c被布置在凹形边缘的向上曲线的起点(Xc＝＝Xa&&Xc＜Xb)，则当前重构的像素可被分类为种类2。

种类3指示当当前样点被布置在凸形边缘的最高点周围的弧形拐角(即，凸形拐角(Xc＞Xa&&Xc＝＝Xb||Xc＝＝Xa&&Xc＞Xb))时的情况。如图表54所示，如果邻近像素a与b之间的当前重构的像素c被布置在凸形边缘的向下曲线的起点(Xc＝＝Xa&&Xc＞Xb)，或者如图表55所示，如果当前重构的像素c被布置在凸形边缘的向上曲线的终点(Xc＞Xa&&Xc＝＝Xb)，则当前重构的像素可被分类为种类3。

种类4指示当当前样点与凸形边缘的最高点(即，局部凸峰(Xc＞Xa&&Xc＞Xb))相应时的情况。如图表56所示，如果邻近像素a与b之间的当前重构的像素c与凸形边缘的最高点相应，则当前重构的像素可被分类为种类4。

如果当前重构的像素不满足种类1、2、3和4的情况中的任意一种，则当前重构的像素不与边缘相应，从而被分类为种类0，并且种类0的偏移不需要被编码。

根据一个或更多个实施例，针对与相同种类相应的重构的像素，重构的像素与原始像素之间的差值的平均值可被确定为当前种类的偏移。另外，所有种类的偏移可被确定。

如果通过使用正偏移值对重构的像素值进行调整，则种类1和2的凹形边缘可被平滑，并且使用负偏移值，种类1和2的凹形边缘可被锐化。使用负偏移值，种类3和4的凸形边缘可被平滑，使用正偏移值，种类3和4的凸形边缘可被锐化。

根据实施例的层间SAO补偿可不允许边缘的锐化效果。在这种情况下，种类1和2的凹形边缘需要正偏移值，种类3和4的凸形边缘需要负偏移值。也就是说，可总基于边缘的种类确定偏移值的符号。因此，可伸缩视频编码设备10和可伸缩视频解码设备20可不发送和接收边缘类型的偏移值的符号，并可仅发送和接收偏移值的绝对值。

因此，可伸缩视频编码设备10可对根据当前边缘分类的种类的偏移值进行编码并发送，可伸缩视频解码设备20可通过使用接收的偏移值来调整种类的重构的像素。

例如，如果边缘类型的偏移值被确定为0，则可伸缩视频编码设备10可仅发送SAO类型和边缘分类信息。

例如，如果边缘类型的绝对偏移值不是0，则可伸缩视频编码设备10可发送SAO类型、绝对偏移值和边缘分类信息。针对边缘类型，偏移值的符号不需要被发送。

如果接收的绝对偏移值不是0，则可伸缩视频解码设备20可读取边缘类型的绝对偏移值。可根据基于重构的像素与邻近像素之间的边缘形状的边缘种类来对偏移值的符号进行预测。

因此，根据实施例的可伸缩视频编码设备10可根据边缘方向和边缘形状对象素进行分类，可将具有相同特征的像素之间的平均误差值确定为偏移值，并可确定根据种类的偏移值。可伸缩视频编码设备10可对指示边缘类型的SAO类型信息、指示边缘方向的SAO分类信息以及偏移值进行编码并发送。

可伸缩视频解码设备20可接收SAO类型信息、SAO分类信息以及偏移值，并可根据SAO类型信息和SAO分类信息确定边缘方向。可伸缩视频解码设备20可根据边缘方向确定与边缘形状相应的种类的增强层预测图像的样点的偏移值，并可将样点值调整偏移值，从而产生具有原始图像与重构图像之间的最小误差的增强层重构图像。

现将参照图5d详细描述根据SAO技术基于带类型对样点进行分类的实施例。

图5d是SAO带类型的SAO种类的图表50。

图表50示出针对重构的样点的根据样点值带的样点数。

根据实施例，重构的样点的每个样点值可属于多个带之一。例如，样点值可具有从最小值Min到最大值Max的总范围，即，根据p比特取样的Min、…、(Min+2^(p-1)(＝Max)。如果样点值的总范围(Min，Max)被划分为K段，则样点值的每个段被称为带。如果B_k指示第k带的最大值，则带[B₀，B₁-1]、[B₁，B₂-1]、[B₂，B₃-1]、…、[B_k-1，B_k]可被划分。如果当前重构的样点的样点值属于带[B_k-1，B_k]，则可确定当前样点属于带k。带可被均匀或非均匀地划分。

例如，如果样点值被分类为均等的8比特样点带，则样点值可被划分为32个带。更具体地，样点值可被分类为带[0，7]、[8，15]、…、[240，247]和[248，255]。

在根据带类型分类的多个带中，重构的样点的每个样点值所属于的带可被确定。另外，可确定这样的偏移值：该偏移值指示每个带中的原始样点与重构的样点之间的误差的平均值。

因此，可伸缩视频编码设备10和可伸缩视频解码设备20可对与根据当前带类型分类的每个带相应的偏移进行编码和发送，并可接收偏移并将重构的样点调整偏移。

因此，针对带类型，根据实施例的可伸缩视频编码设备10和可伸缩视频解码设备20可根据样点值所属于的带来对增强层预测图像的样点进行分类，可将偏移确定为属于相同带的重构的像素的误差值的平均，并可将样点调整所述偏移，从而产生具有原始图像与重构图像之间的最小误差的增强层重构图像。

当根据带类型的偏移被确定时，可伸缩视频编码设备10和可伸缩视频解码设备20可根据带位置将重构的像素分类为多个种类。例如，如果像素值的总范围被划分为K个带，则可根据指示第k带的带索引k对种类编制索引。种类的数量可被确定为与带的数量相应。

然而，为了减少数据，可伸缩视频编码设备10和可伸缩视频解码设备20可限制用于根据SAO方案确定偏移的种类的数量。例如，可将按照带索引增加的方向从具有预定的开始位置的带连续的预定数量的带分配到多个种类，并且可仅确定每个种类的偏移。

例如，如果具有索引12的带的起始点被确定的起始带位置501，则从起始带开始的四个带(即，具有索引12、13、14、和15的带)可被分别分配到种类1、2、3和4。因此，包括在具有索引12的带中的重构的样点与原始样点之间的平均误差可被确定为种类1的偏移。类似地，包括在具有索引13的带中的重构的样点与原始样点之间的平均误差可被确定为种类2的偏移，包括在具有索引14的带中的重构的样点与原始样点之间的平均误差可被确定为种类3的偏移，包括在具有索引15的带中的重构的样点与原始样点之间的平均误差可被确定为种类4的偏移。

在这种情况下，需要关于带范围的起始带位置501(即，左侧带的位置)的信息以确定分配到种类的带的位置。因此，根据实施例的可伸缩视频编码设备10可对指示左侧带的位置的左侧起始点信息作为SAO分类进行编码并发送。可伸缩视频编码设备10可对指示带类型的SAO类型、SAO分类和根据种类的偏移值进行编码并发送。

根据实施例的可伸缩视频解码设备20可接收SAO类型、SAO分类和根据种类的偏移值。如果接收的SAO类型是带类型，则可伸缩视频解码设备20可从SAO分类读取起始带位置。可伸缩视频解码设备20可在从起始带开始的四个带中确定增强层预测图像的样点所属于的带，可在根据种类的偏移值中确定分配到当前带的偏移值，并可将样点值调整该偏移值。

图6是根据一个或更多个实施例的针对层之间的分辨率比率的SAO种类的示图。

在基于空间可伸缩性的层间预测结构中，可对基本层重构图像执行插值滤波以将基本层重构图像的分辨率转换为增强层图像的分辨率。在根据实施例的层间预测结构中，用于获得基本层重构图像的子像素的样点值的插值滤波被执行以增加分辨率。

参照图6，如果基本层图像与增强层图像之间的分辨率比率是2，则插值滤波可被执行以对基本层重构的样点60、61、62和63进行上缩放。可在通过插值滤波而被上缩放的基本层样点位置中确定增强层样点60、61、62、63、64、65、66、67和68。

然而，可在不进行插值滤波的情况下获得被上缩放以与基本层样点位置690重叠的基本层样点位置691的样点。

可通过针对基本层重构的样点60、61、62和63按照水平方向或垂直方向进行1-D滤波来获得位于一维(1-D)方向上的基本层样点位置690和增强层样点位置692的样点64、65、66和67。

可通过针对基本层重构的样点60、61、62和63按照水平方向执行1-D滤波来和按照垂直方向执行1-D滤波来获得位于二维(2-D)方向上的基本层样点位置690和增强层样点位置693的样点68。

编码单元的插值滤波可产生编码误差，诸如根据插值滤波器的相移的振铃现象。插值滤波器可根据子像素的位置而不同，插值滤波器的相移可根据子像素的位置被确定。例如，用于对1/2、1/3、1/4、3/4、…、1/16像素进行插值的插值滤波器的相移可彼此不同。用于根据层之间的分辨率比率的层间预测的插值滤波器的相移可被确定，从而可根据分辨率比率和相移来选择不同的插值滤波器。

为了考虑在层间预测期间引起的插值误差，可根据层之间的分辨率比率和插值滤波器的相移来对层间预测误差进行分类。因此，除了分辨率比率和插值滤波器的相移之外，可基于边缘形状或样点值带来确定层间SAO种类。

边缘类型和带类型被引入为SAO类型，并且上面已经描述了根据SAO类型的SAO分类和种类。下面将详细描述用于确定由可伸缩视频编码设备10发送并由可伸缩视频解码设备20接收的SAO参数的区域。

可针对视频序列、画面、条带、并行块、LCU和具有树结构的编码单元中的预定数据单元来确定和作为信号发送根据一个或更多个实施例的SAO参数。

在根据实施例的层间预测结构中，可对增强层图像的每个预定数据单元确定SAO参数。

在根据另一实施例的层间预测结构中，可不在增强层图像的每个数据单元中执行层间预测。因此，如果不在预定数据单元中执行层间预测，则不会出现层间预测误差。因此，可仅对被执行层间预测的增强层数据单元确定根据层间预测的SAO参数。

下面将描述根据实施例的对每个LCU确定的层间SAO参数。

可对每个颜色分量确定根据实施例的层间SAO开/关信息。例如，针对YCrCb彩色图像，可对亮度分量(Y分量)以及第一和第二色度分量(Cr和Cb分量)中的每一个执行层间SAO补偿。可对亮度分量以及第一和第二色度分量中的每一个确定指示是否执行层间SAO补偿的层间SAO开/关信息。

指示是否对当前条带的亮度分量执行层间SAO补偿的亮度层间SAO开/关信息可被确定。如果对亮度分量执行层间SAO补偿，则指示是否对当前条带的第一和第二色度分量执行层间SAO补偿的色度层间SAO开/关信息可被进一步确定。如果对第一色度分量执行层间SAO补偿，也可对第二色度分量执行层间SAO补偿。如果不对第一色度分量执行层间SAO补偿，也可不对第二色度分量执行层间SAO补偿。

可在用于确定不同SAO参数的数据单元和不同类型的数据单元中确定根据实施例的层间SAO开/关信息。例如，可对每个条带确定层间SAO开/关信息，而可对每个LCU确定剩余的SAO参数。也就是说，如果根据层间SAO开/关信息对当前条带执行层间SAO补偿，则可对包括在当前条带中的每个LCU确定剩余的SAO参数。同时，如果指示不对当前条带执行层间SAO补偿的层间SAO开/关信息被确定，则可不对包括在当前条带中的每个LCU确定剩余的参数。

如上所述，确定SAO类型和种类的样点分类方法被先前确定。例如，每个样点可被分类到按照垂直方向的边缘偏移EO_0、按照水平方向的边缘偏移EO_1、按照45°方向的边缘偏移EO_2、按照135°方向的边缘偏移EO_3和带偏移BO。

根据实施例的层间SAO分类方法可针对当前区域仅根据单样点分类方法来确定偏移。确定的关于SAO类型的信息和偏移可作为SAO参数被编码和发送。

根据另一实施例的层间SAO分类方法可针对当前区域根据每个样点分类方法来确定偏移。在这种情况下，由于不必通知关于特定SAO类型的信息，故关于SAO类型的信息可从SAO参数中被排除，从而关于SAO类型的信息可不被编码和发送。例如，可通过使用边缘偏移EO_0来对被分类到属于按照垂直方向的边缘的样点进行补偿。可通过使用边缘偏移EO_1来对被分类到属于按照水平方向的边缘的样点进行补偿。可通过使用边缘偏移EO_2来对被分类到属于按照45°方向的边缘的样点进行补偿。可通过使用边缘偏移EO_3来对被分类到属于按照135°方向的边缘的样点进行补偿。可通过使用相应的样点值带偏移来对根据带类型的样点进行补偿。因此，用于每个SAO类型的根据类型的偏移可从而被应用于当前区域的样点。

在根据层间SAO类型的种类中，具有除了0之外的偏移的种类的数量可被先前确定。例如，四个种类可被允许用于每个SAO类型。

在根据一个或更多个实施例的层间SAO偏移中，用于每个画面的在边缘类型的凸峰点确定的偏移可具有除了0之外的值。例如，凹形边缘拐角和块边缘拐角中的偏移可被确定为0。为了减小不必要的开销，与边缘拐角相应的种类的偏移可被认为是0，关于根据相应的种类的偏移的信息可不被发送或解析。也就是说，可仅发送根据与边缘凸峰相应的种类的偏移值。

根据一个或更多个实施例的用于层间SAO偏移的最大绝对值可被限制。可基于SAO类型、种类和层之间的分辨率比率中的至少一个来确定最大绝对值。

当偏移绝对值是0时，符号信息或剩余的偏移值可不必编码。然而，当偏移绝对值不是0时，SAO参数的符号信息和其它偏移绝对值可被进一步发送。

在根据一个或更多个实施例的层间SAO偏移中，偏移的符号可确定SAO补偿的效果。也就是说，负偏移值可导致边缘平滑效果，正偏移值可导致边缘锐化效果。

当层间SAO类型是预定类型或具有预定分辨率比率时，偏移符号可被先前固定。例如，在边缘类型中，仅用于边缘平滑的偏移可被允许，符号信息可不被发送。例如，当分辨率比率是2时，仅用于边缘平滑的偏移可被允许，而当分辨率比率是1.5时，仅用于边缘锐化的偏移可被允许。偏移符号被固定，从而关于偏移符号的信息可从SAO参数中排除。

作为另一示例，当边缘平滑和边缘锐化两者被允许时，关于偏移符号的信息可被包括在SAO参数中。

当层间SAO类型是带类型时，可针对限制数量的种类(即，限制数量的连续样点值带)来确定带偏移。因此，关于起始带位置的信息可被包括在连续样点值带中的SAO参数中。

可对连续样点值带的多个集合确定层间SAO偏移。例如，编码误差可聚焦于总样点值范围的整个带中的两端的带上。在这种情况下，可针对整个带中的在两端的相同数量的连续带来确定偏移。关于起始带的信息可针对在两端的连续带被独立地编码。可选择地，由于相同数量的带处于两端，因此虽然关于在一端的带的起始带的信息被编码，但是剩余的带的位置可被类似地确定。

图7a是根据一个或更多个实施例的被参考以将SAO参数与当前LCU合并的数据单元的示图。

当前块CTB(LCU)71可包括亮度CTB 711、Cb色度块712和Cr色度块713。可对如上所述的亮度CTB 711、Cb色度块712和Cr色度块713执行层间SAO补偿。可对当前块CTB 71的亮度CTB 711、Cb色度块712和Cr色度块713中的每一个确定层间SAO偏移值。

增强层图像70中的块中的邻近块被配置为相同图像，从而存在每个块的SAO类型和/或偏移值在邻近块之间会是相同的高可能性。当根据实施例的可伸缩视频编码设备10将当前块CTB 71的SAO参数与邻近块的SAO参数进行比较并确定SAO参数相同时，可伸缩视频编码设备10可合并当前块CTB 71和邻近块的SAO参数并对合并的SAO参数进行编码。如果邻近块的SAO参数被在先编码，则邻近块的SAO参数可被选择为当前块CTB 71的SAO参数。因此，可伸缩视频编码设备10可不对当前块CTB 71的SAO参数进行编码而对关于当前块CTB 71的SAO合并信息进行编码。

根据实施例的可伸缩视频解码设备20可在解析SAO参数之前从接收的比特流解析SAO合并信息，并可确定是否解析SAO参数。可伸缩视频解码设备20可基于关于当前块CTB 71的SAO合并信息来确定邻近块是否包括具有与当前块CTB 71相同的SAO参数的块。

例如，当可伸缩视频解码设备20基于SAO合并信息确定邻近块包括具有与当前块CTB 71相同的SAO参数的块时，可伸缩视频解码设备20可不解析当前块CTB 71的SAO参数，但可选择邻近块的重构的SAO参数作为当前块CTB 71的SAO参数。因此，可伸缩视频解码设备20可将当前块CTB 71的SAO参数重构为与邻近块的SAO参数相同。可伸缩视频解码设备20可基于SAO合并信息从邻近块中确定SAO参数将被参考的块。

然而，当基于SAO合并信息，邻近块的SAO参数与当前块CTB 71的SAO参数不同时，可伸缩视频解码设备20可从比特流解析并重构当前块CTB 71的SAO参数。

例如，在与当前块CTB 71相同层的增强层图像70的LCU中，与当前块CTB 71邻近的左侧块72、与当前块CTB 71邻近的上侧块73和基本层重构图像75中的与当前块CTB 71的位置相应的共同定位块74可被包括在合并候选列表中。

因此，根据实施例的可伸缩视频编码设备10可根据包括在合并候选列表中的块的参考顺序将包括在合并候选列表中的邻近块的SAO参数与当前块CTB 71的SAO参数进行比较。例如，可按照左侧块72、上侧块73和共同定位块74的顺序将SAO参数与当前块CTB 71的SAO参数进行比较。在比较的左侧块72、上侧块73和共同定位块74中，具有与当前块CTB 71相同的SAO参数的块可被确定为参考块。

为了对当前块CTB 71的SAO参数进行预测，可伸缩视频编码设备10和可伸缩视频解码设备20可参考参考块的SAO参数。指示具有将被参考的SAO参数的块的SAO合并信息也可被信号发送。根据实施例的可伸缩视频解码设备20可基于SAO合并信息从合并候选列表中选择一个块，并可将当前块CTB71的剩余的SAO参数确定为与选择的块的SAO参数相同。

例如，指示当前块CTB 71的SAO参数是否与左块72的SAO参数相同的向左SAO合并信息、指示当前块CTB 71的SAO参数是否与上块73的SAO参数相同的向上SAO合并信息和指示当前块CTB 71的SAO参数是否与共同定位块74的SAO参数相同的基本层SAO合并信息可作为SAO合并信息被编码。

如果左侧块72、上侧块73和共同定位块74中的至少一个的SAO参数与当前块CTB 71的SAO参数相同，则可伸缩视频编码设备10可仅对向左SAO合并信息、向上SAO合并信息或基本层SAO合并信息进行编码，并可不对当前块CTB 71的SAO参数进行编码。

如果左侧块72、上侧块73和共同定位块74中的全部的SAO参数与当前块CTB 71的SAO参数不同，则可伸缩视频编码设备10可对向左SAO合并信息、向上SAO合并信息、基本层SAO合并信息和当前块CTB 71的SAO参数进行编码。

如果可伸缩视频解码设备20基于用于层间预测SAO的SAO参数中的向左SAO合并信息、向上SAO合并信息和基本层SAO合并信息选择左侧块72、上侧块73和共同定位块74的SAO参数作为当前块CTB 71的SAO参数，则可伸缩视频解码设备20可不从增强层流直接获得当前块CTB 71的SAO参数。

如果基于向左SAO合并信息、向上SAO合并信息和基本层SAO合并信息不存在SAO参数将被参考的块，则可伸缩视频解码设备20可不从增强层流直接获得当前块CTB 71的SAO参数。

基于基本层SAO合并信息可使用基本层共同定位块的仅一些SAO参数。例如，虽然增强层块与基本层共同定位块之间的边缘分布相似，但是用于对基本层预测误差进行补偿的基本层SAO偏移值和用于对层间预测误差进行补偿的层间SAO偏移值可不同。

因此，虽然当前块CTB 71的基本层SAO合并信息被允许用于通过使用共同定位块74的SAO参数来确定当前块CTB 71的SAO参数，但是可从共同定位块74的SAO参数中将SAO类型选择为当前块CTB 71的SAO类型。增强层的当前块CTB 71的偏移值可作为层间SAO参数被直接信号发送。

图7b是示出根据一个或更多个实施例的SAO合并信息的码字的表。

根据第一实施例的SAO合并信息可被编码为3比特。根据第一实施例，指示是否使用左侧块72的SAO参数的向左SAO合并信息、指示是否使用上侧块73的SAO参数的向上SAO合并信息和指示是否使用共同定位块74的SAO参数的基本层SAO合并信息可被顺序地确定。因此，如果确定左侧块72或上侧块73的SAO参数被首先使用，则用于参考共同定位块74的SAO参数的基本层SAO合并信息可不被信号发送。

根据第二实施例的SAO合并信息可被编码为2比特。根据第二实施例，向左SAO合并信息和基本层SAO合并信息可被顺序地确定。因此，如果确定左侧块72的SAO参数被首先使用，则用于参考共同定位块74的SAO参数的基本层SAO合并信息可不被信号发送。

虽然根据第三实施例的SAO合并信息可被编码为3比特，但是第三实施例中的确定目标中的顺序与第一实施例中的不同。根据第三实施例，指示是否使用共同定位块74的SAO参数的基本层SAO合并信息、向左SAO合并信息和向上SAO合并信息可被顺序地确定。因此，可首先确定是否在左侧块72或上侧块73之前参考共同定位块74的SAO参数。

与增强层图像70的当前块CTB 71相应的共同定位块74可被确定为基本层图像75上的当前块74的左上角的位置被投影的位置的块CTB。作为另一示例，当基本层图像75的像素被投影在增强层图像70上时，投影在当前块CTB 71上的多个基本层像素所属于的基本层块CTB可被确定为共同定位块74。

当前块CTB 71的亮度CTB 711、Cb色度块712和Cr色度块713之间的SAO参数可通过使用彼此而被预测。

例如，公共SAO合并信息可被应用于当前块CTB 71的亮度CTB 711、Cb色度块712和Cr色度块713。也就是说，基于一条SAO合并信息，亮度CTB 711的SAO参数可与合并候选列表的亮度块的SAO参数进行比较以确定它们之间的SAO参数是否相同，Cb色度块712的SAO参数可与合并候选列表的Cb色度块的SAO参数进行比较以确定它们之间的SAO参数是否相同，Cr色度块713的SAO参数可与合并候选列表的Cr色度块的SAO参数进行比较以确定它们之间的SAO参数是否相同。

例如，公共SAO类型信息可被应用于Cb色度块712和Cr色度块713。也就是说，基于一条SAO类型信息，可确定是否对Cb色度块712和Cr色度块713两者同时执行层间SAO补偿。基于一条SAO类型信息，可确定Cb色度块712和Cr色度块713的SAO类型是边缘类型还是带类型。也就是说，基于一条SAO类型信息，可根据Cb色度块712和Cr色度块713是边缘类型还是带类型来确定偏移值。

基于一条SAO类型信息，Cb色度块712和Cr色度块713可共享相同的SAO分类。如果基于一条SAO类型信息，SAO类型是边缘类型，则Cb色度块712和Cr色度块713可共享相同的边缘方向。如果基于一条SAO类型信息，SAO类型是带类型，则Cb色度块712和Cr色度块713可共享相同的起始带位置。

图7c示出根据一个或更多个实施例的编码单元的SAO语法。

由于对LCU的每个颜色分量执行SAO操作，故可针对每个颜色分量分别获得图7c的SAO参数76。如果指示亮度分量或者第一或第二色度分量的颜色索引“cIdx”改变，则附加SAO参数76可被获得。

SAO参数76可包括指示向左SAO合并信息的参数“sao_merge_left_flag”、指示向上SAO合并信息的参数“sao_merge_up_flag”、指示SAO类型信息的参数“sao_type_idx”、指示带类型的带位置信息的参数“sao_band_position”、指示绝对偏移值信息的参数“sao_offset_abs”和指示偏移符号信息的参数“sao_offset_sign”。因此，每当颜色索引“cIdx”被设置为0、1或2时，“sao_merge_left_flag”、“sao_merge_up_flag”、“sao_type_idx”、“sao_band_position”、“sao_offset_abs”和“sao_offset_sign”可被重新获得。

具体地，可针对四个SAO种类另外获得指示绝对偏移值信息的参数“sao_offset_abs”和指示偏移符号信息的参数“sao_offset_sign”。因此，可针对四个种类中的每一个和每个颜色分量获得“sao_offset_abs”和“sao_offset_sign”。

根据实施例的使用SAO补偿的可伸缩视频编码设备10和可伸缩视频解码设备20可基于诸如LCU的边缘类型或带类型的图像特征对由层间预测引起的预测误差进行分类，并可发送和接收包括作为被分类为相同特征的样点的平均预测误差的偏移值的层间SAO参数。因此，根据从基本层重构样点确定的增强层预测图像的样点的种类，样点被补偿通过使用SAO参数获得的层间预测误差，从而产生增强层重构图像。

根据实施例的可伸缩视频编码设备10和可伸缩视频解码设备20可将从视频数据划分的块划分为具有树结构的编码单元，并可使用编码单元用于针对如上所述的编码单元、预测单元和变换单元的层间预测或帧间预测。以下，将参照图8到图20描述基于具有树结构的编码单元和变换单元的视频编码方法、视频编码设备、视频解码方法和视频解码设备。

在多层视频编码和解码处理期间，对基本层图像的编码/解码处理以及对增强层图像的编码/解码处理被单独执行。也就是说，当对在多层视频中发生层间预测时，虽然单层视频编码/解码结果可互相参考，但是针对单层视频中的每一个来单独进行编码/解码处理。

因此，为了描述方便，随后将参照图8到图20描述的基于具有树结构的编码单元的视频编码处理和视频解码处理是对单层视频进行的视频编码处理和视频解码处理，因此详细描述帧间预测和运动补偿。然而，如上参照图1a到图7b所述，执行基本层图像与增强层图像之间的层间预测和补偿，从而执行视频流编码/解码。

因此，根据实施例，为了使可伸缩视频编码设备10的基本层编码器12基于具有树结构的编码单元对多层视频进行编码，包括在基本层编码器12中的图8的视频编码设备100的数量可以与多层视频的数量一样多，以用于对每个单层视频执行视频编码，基本层编码器12可被控制用于对分配给每个视频编码设备100的单层视频进行编码。视频编码设备100可通过使用每个视频编码设备100的单独的单视点的编码结果来执行视点之间的预测。因此，可伸缩视频编码设备10的基本层编码器12可产生基本层视频流和增强层视频流，其中，基本层视频流和增强层视频流记录有对每个层的编码结果。

相似地，根据实施例，为了使可伸缩视频解码设备20的增强层解码器26基于具有树结构的编码单元对多层视频进行解码，包括在增强层解码器26中的图8的视频解码设备200的数量可以与多层视频的数量一样多，以用于对接收的基本层视频流和增强层视频流的每个层执行视频解码，增强层解码器26可被控制用于对分配给每个视频解码设备200的单层视频进行解码。视频解码设备200可通过使用每个视频解码设备200的单独的单视点的解码结果来执行层间补偿。因此，可伸缩视频解码设备20的增强层解码器26可对每个层产生基本层重构图像和增强层重构图像。

图8是根据一个或更多个实施例的基于具有树结构的编码单元的视频编码设备100的框图。

涉及基于具有树结构的编码单元的视频预测的视频编码设备100包括编码单元确定器120和输出器130。

编码单元确定器120可基于图像的当前画面的作为具有最大尺寸的编码单元的LCU来对当前画面进行划分。如果当前画面大于LCU，则可将当前画面的图像数据划分为至少一个LCU。根据一个或更多个实施例的LCU可以是尺寸为32×32、64×64、128×128、256×256等的数据单元，其中，数据单元的形状是宽度和长度为2的若干次方的正方形。

根据一个或更多个实施例的编码单元可由最大尺寸和深度表征。深度表示编码单元从LCU被空间划分的次数，并且随着深度加深，根据深度的较深层编码单元可从LCU被划分到最小编码单元(SCU)。LCU的深度为最高深度，SCU的深度为最低深度。由于随着LCU的深度加深，与每个深度相应的编码单元的尺寸减小，因此与更高深度相应的编码单元可包括与多个更低深度相应的多个编码单元。

如上所述，当前画面的图像数据根据编码单元的最大尺寸被划分为LCU，并且每个LCU可包括根据深度被划分的较深层编码单元。由于根据深度对根据一个或更多个实施例的LCU进行划分，因此可根据深度对包括在LCU中的空间域的图像数据进行分层地分类。

可预先确定编码单元的最大深度和最大尺寸，所述最大深度和最大尺寸限制对LCU的高度和宽度进行分层划分的总次数。

编码单元确定器120对通过根据深度对LCU的区域进行划分而获得的至少一个划分区域进行编码，并且根据所述至少一个划分区域来确定用于输出最终编码图像数据的深度。换句话说，编码单元确定器120通过根据当前画面的LCU以根据深度的较深层编码单元对图像数据进行编码，选择具有最小编码误差的深度，来确定编码深度。确定的编码深度和根据确定的编码深度的编码的图像数据被输出到输出器130。

基于与等于或低于最大深度的至少一个深度相应的较深层编码单元，对LCU中的图像数据进行编码，并且基于每个较深层编码单元比较对图像数据进行编码的结果。在对较深层编码单元的编码误差进行比较之后，可选择具有最小编码误差的深度。可针对每个LCU选择至少一个编码深度。

随着编码单元根据深度而被分层地划分并且编码单元的数量增加，LCU的尺寸被划分。另外，即使在一个LCU中编码单元与同一深度相应，也通过分别测量每个编码单元的图像数据的编码误差来确定是否将与同一深度相应的每个编码单元划分到更低深度。因此，即使当图像数据被包括在一个LCU中时，在一个LCU中编码误差可根据区域而不同，因此在图像数据中编码深度可根据区域而不同。因此，可在一个LCU中确定一个或更多个编码深度，并且可根据至少一个编码深度的编码单元来对LCU的图像数据进行划分。

因此，编码单元确定器120可确定包括在LCU中的具有树结构的编码单元。根据一个或更多个实施例的“具有树结构的编码单元”包括在LCU中所包括的所有较深层编码单元中的与确定为编码深度的深度相应的编码单元。可根据LCU的相同区域中的深度来分层地确定编码深度的编码单元，并可在不同区域中独立地确定编码深度的编码单元。类似地，可从另一区域的编码深度独立地确定当前区域中的编码深度。

根据一个或更多个实施例的最大深度是与从LCU到SCU的划分次数有关的索引。根据一个或更多个实施例的第一最大深度可表示从LCU到SCU的总划分次数。根据一个或更多个实施例的第二最大深度可表示从LCU到SCU的深度等级的总数。例如，当LCU的深度是0时，对LCU划分一次的编码单元的深度可被设置为1，对LCU划分两次的编码单元的深度可被设置为2。这里，如果SCU是对LCU划分四次的编码单元，则存在深度0、1、2、3和4的5个深度等级，并因此第一最大深度可被设置为4，第二最大深度可被设置为5。

可根据LCU执行预测编码和变换。还根据LCU，基于根据等于或小于最大深度的深度的较深层编码单元来执行预测编码和变换。

由于每当根据深度对LCU进行划分时，较深层编码单元的数量增加，因此对随着深度加深而产生的所有较深层编码单元执行包括预测编码和变换的编码。为了便于描述，在LCU中，现在将基于当前深度的编码单元来描述预测编码和变换。

视频编码设备100可不同地选择用于对图像数据进行编码的数据单元的尺寸或形状。为了对图像数据进行编码，执行诸如预测编码、变换和熵编码的操作，此时，可针对所有操作使用相同的数据单元，或者可针对每个操作使用不同的数据单元。

例如，视频编码设备100不仅可选择用于对图像数据进行编码的编码单元，还可选择不同于编码单元的数据单元，以便对编码单元中的图像数据执行预测编码。

为了在CU中执行预测编码，可基于与编码深度相应的编码单元(即，基于不再被划分成与更低深度相应的编码单元的编码单元)来执行预测编码。在下文中，不再被划分且成为用于预测编码的基本单元的编码单元现在将被称为“预测单元”。通过划分预测单元而获得的分区可包括预测单元或者通过对预测单元的高度和宽度中的至少一个进行划分而获得的数据单元。分区是编码单元的预测单元被划分的数据单元，预测单元可以是具有与编码单元相同的尺寸的分区。

例如，当2N×2N(其中，N是正整数)的编码单元不再被划分，并且成为2N×2N的预测单元时，分区的尺寸可以是2N×2N、2N×N、N×2N或N×N。分区类型的示例包括通过对预测单元的高度或宽度进行对称地划分而获得的对称分区、通过对预测单元的高度或宽度按照诸如1:n或n:1进行非对称地划分而获得的分区、通过对预测单元进行几何地划分而获得的分区以及具有任意形状的分区。

预测单元的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个。例如，可对2N×2N、2N×N、N×2N或N×N的分区执行帧内模式或帧间模式。另外，可仅对2N×2N的分区执行跳过模式。可对编码单元中的一个预测单元独立地执行编码，从而选择具有最小编码误差的预测模式。

视频编码设备100不仅可基于用于对图像数据进行编码的编码单元还可基于与编码单元不同的数据单元，来对编码单元中的图像数据执行变换。为了在编码单元中执行变换，可基于具有小于或等于编码单元的尺寸的数据单元，来执行变换。例如，用于变换的数据单元可包括帧内模式的数据单元和帧间模式的数据单元。

与根据树结构的编码单元的方式类似，编码单元中的变换单元可被递归地划分为更小尺寸的区域。因此，可基于根据变换深度的具有树结构的变换单元，对编码单元中的残差进行划分。

还可在变换单元中设置变换深度，其中，变换深度表示通过对编码单元的高度和宽度进行划分以获得变换单元的划分次数。例如，在2N×2N的当前编码单元中，当变换单元的尺寸是2N×2N时，变换深度可以是0，当变换单元的尺寸是N×N时，变换深度可以是1，当变换单元的尺寸是N/2×N/2时，变换深度可以是2。换句话说，可根据变换深度设置具有树结构的变换单元。

根据与编码深度相应的编码单元的编码信息不仅需要关于编码深度的信息，还需要与预测编码和变换相关的信息。因此，编码单元确定器120不仅确定具有最小编码误差的编码深度，还确定预测单元中的分区类型、根据预测单元的预测模式和用于变换的变换单元的尺寸。

稍后将参照图10至图20详细描述根据一个或更多个实施例的LCU中的具有树结构的编码单元以及确定预测单元/分区和变换单元的方法。

编码单元确定器120可通过使用基于拉格朗日乘数的率失真优化，来测量根据深度的较深层编码单元的编码误差。

输出器130在比特流中输出LCU的图像数据和关于根据编码深度的编码模式的信息，其中，所述LCU的图像数据基于由编码单元确定器120确定的至少一个编码深度被编码。

可通过对图像的残差进行编码来获得编码的图像数据。

关于根据编码深度的编码模式的信息可包括关于编码深度的信息、关于在预测单元中的分区类型的信息、关于预测模式的信息和关于变换单元的尺寸的信息。

可通过使用根据深度的划分信息来定义关于编码深度的信息，其中，根据深度的划分信息指示是否对更低深度而不是当前深度的编码单元执行编码。如果当前编码单元的当前深度是编码深度，则对当前编码单元中的图像数据进行编码并输出该图像数据，因此可定义划分信息以不将当前编码单元划分到更低深度。可选地，如果当前编码单元的当前深度不是编码深度，则对更低深度的编码单元执行编码，并因此可定义划分信息以将当前编码单元划分以获得更低深度的编码单元。

如果当前深度不是编码深度，则对被划分为更低深度的编码单元的编码单元执行编码。由于更低深度的至少一个编码单元存在于当前深度的一个编码单元中，因此对更低深度的每个编码单元重复执行编码，并因此可对具有相同深度的编码单元递归地执行编码。

由于针对一个LCU确定具有树结构的编码单元，并且针对编码深度的编码单元确定关于至少一个编码模式的信息，所以可针对一个LCU确定关于至少一个编码模式的信息。另外，由于根据深度对LCU的图像数据进行分层划分，因此LCU的图像数据的编码深度可根据位置而不同，因此可针对图像数据设置关于编码深度和编码模式的信息。

因此，输出器130可将关于相应的编码深度和编码模式的编码信息分配给包括在LCU中的编码单元、预测单元和最小单元中的至少一个。

根据一个或更多个实施例的最小单元是通过将构成最低深度的SCU划分为4份而获得的矩形数据单元。可选择地，根据实施例的最小单元可以是包括在LCU中的所有编码单元、预测单元、分区单元和变换单元中可包括的最大矩形数据单元。

例如，通过输出器130输出的编码信息可被分类为根据较深层编码单元的编码信息和根据预测单元的编码信息。根据较深层编码单元的编码信息可包括关于预测模式的信息和关于分区尺寸的信息。根据预测单元的编码信息可包括关于帧间模式的估计方向的信息、关于帧间模式的参考图像索引的信息、关于运动矢量的信息、关于帧内模式的色度分量的信息以及关于帧内模式的插值方法的信息。

根据画面、条带或GOP定义的关于编码单元的最大尺寸的信息和关于最大深度的信息可被插入到比特流的头、序列参数集或画面参数集。

还可通过比特流的头、序列参数集或画面参数集输出针对当前视频被允许的关于变换单元的最大尺寸的信息和关于变换单元的最小尺寸的信息。输出器130可对与预测有关的参考信息、预测信息和条带类型信息进行编码，并输出这些信息。

在视频编码设备100中，较深层编码单元可以是通过将更高深度的编码单元(更高一层)的高度或宽度划分成两份而获得的编码单元。换言之，当当前深度的编码单元的尺寸是2N×2N时，更低深度的编码单元的尺寸是N×N。另外，尺寸为2N×2N的当前深度的编码单元可包括最多4个更低深度的编码单元。

因此，视频编码设备100可基于考虑当前画面的特征而确定的LCU的尺寸和最大深度，通过针对每个LCU确定具有最优形状和最优尺寸的编码单元来形成具有树结构的编码单元。另外，由于可通过使用各种预测模式和变换中的任意一个对每个LCU执行编码，因此可考虑各种图像尺寸的编码单元的特征来确定最优编码模式。

因此，如果以现有技术的宏块对具有高分辨率或大数据量的图像进行编码，则每个画面的宏块的数量极度增加。因此，针对每个宏块产生的压缩信息的条数增加，因此难以发送压缩的信息，并且数据压缩效率降低。然而，通过使用视频编码设备100，由于在考虑图像的尺寸的同时增加编码单元的最大尺寸，并同时在考虑图像的特征的同时调整编码单元，因此可提高图像压缩效率。

上面参照图1a描述的包括在可伸缩视频编码设备10中的视频编码设备100的数量可与层的数量一样多，以针对多层视频的每个层，对单层图像进行编码。例如，基本层编码器12可包括一个视频编码设备100，包括在增强层编码器14中的视频编码设备100的数量可与增强层的数量一样多。

当视频编码设备100对基本层图像进行编码时，编码单元确定器120可根据具有树结构的编码单元针对每个LCU确定用于图像之间的预测的预测单元，并针对每个预测单元执行图像之间的预测。

当视频编码设备100对增强层图像进行编码时，编码单元确定器120可确定具有树结构的编码单元和预测单元，并针对每个预测单元执行帧间预测。

视频编码设备100可通过使用SAO对用于预测增强层图像的层间预测误差进行编码。因此，不必根据像素位置对预测误差进行编码，可通过使用关于SAO类型的信息和基于预测误差的样点值分布的偏移来对增强层图像的预测误差进行编码。

图9是根据一个或更多个实施例的基于具有树结构的编码单元的视频解码设备200的框图。

涉及基于具有树结构的编码单元的视频预测的视频解码设备200包括接收器210、图像数据和编码信息提取器220以及图像数据解码器230。

用于视频解码设备200的解码操作的各种术语(诸如编码单元、深度、预测单元、变换单元和关于各种编码模式的信息)的定义与参照图8和视频编码设备100描述的定义相同。

接收器210接收和解析编码视频的比特流。图像数据和编码信息提取器220从解析的比特流，针对每个编码单元提取编码的图像数据，并将提取的图像数据输出到图像数据解码器230，其中，编码单元具有根据每个LCU的树结构。图像数据和编码信息提取器220可从关于当前画面的头、序列参数集或画面参数集提取关于当前画面的编码单元的最大尺寸的信息。

另外，图像数据和编码信息提取器220从解析的比特流，根据每个LCU，提取关于具有树结构的编码单元的编码深度和编码模式的信息。提取的关于编码深度和编码模式的信息被输出到图像数据解码器230。换言之，比特流中的图像数据被划分为LCU，使得图像数据解码器230针对每个LCU对图像数据进行解码。

可针对关于与编码深度相应的至少一个编码单元的信息来设置关于根据LCU的编码深度和编码模式的信息，关于编码模式的信息可包括关于与编码深度相应的相应编码单元的分区类型的信息、关于预测模式的信息和关于变换单元的尺寸的信息。另外，根据深度的划分信息可被提取为关于编码深度的信息。

关于由图像数据和编码信息提取器220提取的根据每个LCU的编码深度和编码模式的信息是这样的关于编码深度和编码模式的信息：该信息被确定为在编码器(诸如，视频编码设备100)根据每个LCU对根据深度的每个较深层编码单元重复地执行编码时产生最小编码误差。因此，视频解码设备200可通过根据产生最小编码误差的编码深度和编码模式对图像数据进行解码来重构图像。

由于关于编码深度和编码模式的编码信息可被分配给相应的编码单元、预测单元和最小单元中的预定数据单元，因此图像数据和编码信息提取器220可根据预定数据单元，提取关于编码深度和编码模式的信息。如果关于相应LCU的编码深度和编码模式的信息根据预定数据单元被记录，则可将被分配了相同的关于编码深度和编码模式的信息的预定数据单元推断为是包括在同一LCU中的数据单元。

图像数据解码器230基于关于根据LCU的编码深度和编码模式的信息，通过对每个LCU中的图像数据进行解码，来重构当前画面。换言之，图像数据解码器230可基于针对包括在每个LCU中的具有树结构的编码单元之中的每个编码单元的关于分区类型、预测模式和变换单元的提取的信息，对编码的图像数据进行解码。解码处理可包括预测(包含帧内预测和运动补偿)和逆变换。

图像数据解码器230可基于关于根据编码深度的编码单元的预测单元的分区类型和预测模式的信息，根据每个编码单元的分区和预测模式，执行帧内预测或运动补偿。

另外，为了针对每个LCU执行逆变换，图像数据解码器230可读取针对每个编码单元的关于根据树结构的变换单元的信息，从而基于每个编码单元的变换单元执行逆变换。经由逆变换，可重构编码单元的空间域的像素值。

图像数据解码器230可通过使用根据深度的划分信息来确定当前LCU的编码深度。如果划分信息指示图像数据在当前深度中不再被划分，则当前深度是编码深度。因此，针对与编码深度相应的每个编码单元，图像数据解码器230可通过使用关于预测单元的分区类型的信息、关于预测模式的信息和关于变换单元的尺寸的信息，对当前LCU中的编码数据进行解码。

换言之，可通过观察分配给编码单元、预测单元和最小单元中的预定数据单元的编码信息集来收集包含包括相同划分信息的编码信息的数据单元，并且收集的数据单元可被认为是将由图像数据解码器230以相同编码模式进行解码的一个数据单元。这样，通过获得关于每个编码单元的编码模式的信息，可对当前编码单元进行解码。

参照图2a描述的可伸缩视频解码设备20中包括的视频解码设备200的数量可与视点的数量一样多，以对接收的基本层图像流和接收的增强层图像流进行解码并产生基本层重构图像和增强层重构图像。

当基本层图像流被接收时，视频解码设备200的图像数据解码器230可将由图像数据和编码信息提取器220从基本层图像流提取的基本层图像的样点划分为根据树结构的LCU的编码单元。图像数据解码器230可针对根据树结构的基本层图像的样点的每个编码单元根据用于图像之间的预测的预测单元来执行运动补偿，并产生基本层重构图像。

当增强层图像流被接收时，视频解码设备200的图像数据解码器230可将由图像数据和编码信息提取器220从增强层图像流提取的增强层图像的样点划分为根据树结构的LCU的编码单元。图像数据解码器230可针对根据树结构的增强层图像的样点的每个编码单元根据用于图像之间的预测的预测单元来执行运动补偿，并产生增强层重构图像。

图像数据和编码信息提取器220可从接收的增强层比特流获得SAO类型和偏移并针对增强层预测图像的每个像素根据样点值的分布来确定SAO种类，从而通过使用SAO类型和偏移获得根据SAO种类的偏移。因此，虽然根据像素的预测误差未被接收，但是图像数据解码器230可对增强层预测图像的每个像素补偿根据相应种类的偏移，并通过参考补偿的增强层预测图像来确定增强层重构图像。

因此，视频解码设备200可获得关于当针对每个LCU递归地执行编码时产生最小编码误差的至少一个编码单元的信息，并且可使用所述信息来对当前画面进行解码。换言之，被确定为每个LCU中的最优编码单元的具有树结构的编码单元可被解码。

因此，即使图像数据具有高分辨率和大数据量，也可通过使用编码单元的尺寸和编码模式，对图像数据进行有效地解码和重构，其中，通过使用从编码器接收到的关于最优编码模式的信息，根据图像数据的特征自适应地确定所述编码单元的尺寸和编码模式。

图10是用于描述根据一个或更多个实施例的编码单元的概念的示图。

编码单元的尺寸可被表示为“宽度×高度”，并可以是64×64、32×32、16×16和8×8。64×64的编码单元可被划分为64×64、64×32、32×64或32×32的分区，32×32的编码单元可被划分为32×32、32×16、16×32或16×16的分区，16×16的编码单元可被划分为16×16、16×8、8×16或8×8的分区，8×8的编码单元可被划分为8×8、8×4、4×8或4×4的分区。

在视频数据310中，分辨率是1920×1080，编码单元的最大尺寸是64，最大深度是2。在视频数据320中，分辨率是1920×1080，编码单元的最大尺寸是64，最大深度是3。在视频数据330中，分辨率是352×288，编码单元的最大尺寸是16，最大深度是1。图10中示出的最大深度表示从LCU到最小解码单元的划分总次数。

如果分辨率高或数据量大，则编码单元的最大尺寸可能较大，从而不仅提高编码效率，而且准确地反映图像的特征。因此，具有比视频数据330更高分辨率的视频数据310和320的编码单元的最大尺寸可以是64。

由于视频数据310的最大深度是2，因此由于通过对LCU划分两次，深度加深至两层，因此视频数据310的编码单元315可包括长轴尺寸为64的LCU和长轴尺寸为32和16的编码单元。由于视频数据330的最大深度是1，因此由于通过对LCU划分一次，深度加深至一层，因此视频数据330的编码单元335可包括长轴尺寸为16的LCU和长轴尺寸为8的编码单元。

由于视频数据320的最大深度是3，因此由于通过对LCU划分三次，深度加深至3层，因此视频数据320的编码单元325可包括长轴尺寸为64的LCU和长轴尺寸为32、16和8的编码单元。随着深度加深，详细信息可被精确地表示。

图11是根据一个或更多个实施例的基于编码单元的图像编码器400的框图。

图像编码器400执行视频编码设备100的编码单元确定器120的操作来对图像数据进行编码。换言之，帧内预测器410对帧内模式下的编码单元执行帧内预测，运动估计器420和运动补偿器425通过使用当前帧405和参考帧495，对当前帧405中的帧间模式下的编码单元执行帧间估计和运动补偿。

从帧内预测器410、运动估计器420和运动补偿器425输出的数据通过变换器430和量化器440被输出为量化后的变换系数。量化后的变换系数通过反量化器460和逆变换器470被重构为空间域中的数据，重构的空间域中的数据在通过去块单元480和SAO操作器490后处理之后被输出为参考帧495。量化后的变换系数可通过熵编码器450被输出为比特流455。

为了将图像编码器400应用于视频编码设备100中，图像编码器400的所有元件(即，帧内预测器410、运动估计器420、运动补偿器425、变换器430、量化器440、熵编码器450、反量化器460、逆变换器470、去块单元480和SAO操作器490)在考虑每个LCU的最大深度的同时，基于具有树结构的编码单元中的每个编码单元执行操作。

具体地，帧内预测器410、运动估计器420和运动补偿器425在考虑当前LCU的最大尺寸和最大深度的同时，确定具有树结构的编码单元中的每个编码单元的分区和预测模式，变换器430确定具有树结构的编码单元中的每个编码单元中的变换单元的尺寸。

图12是根据一个或更多个实施例的基于编码单元的图像解码器500的框图。

解析器510从比特流505解析将被解码的编码的图像数据和解码所需的关于编码的信息。编码图像数据通过熵解码器520和反量化器530被输出为反量化的数据，反量化的数据通过逆变换器540被重构为空间域中的图像数据。

针对空间域中的图像数据，帧内预测器550对帧内模式下的编码单元执行帧内预测，运动补偿器560通过使用参考帧585对帧间模式下的编码单元执行运动补偿。

通过帧内预测器550和运动补偿器560的空间域中的图像数据可在通过去块滤波器570和SAO操作器580后处理之后被输出为重构帧595。另外，通过去块滤波器570和SAO操作器580后处理的图像数据可被输出为参考帧585。

为了在视频解码设备200的图像数据解码器230中对图像数据进行解码，图像解码器500可执行在解析器510之后执行的操作。

为了将图像解码器500应用到视频解码设备200中，图像解码器500的所有元件(即，解析器510、熵解码器520、反量化器530、逆变换器540、帧内预测器550、运动补偿器560、去块滤波器570和SAO操作器580)针对每个LCU，基于具有树结构的编码单元执行操作。

具体地，帧内预测器550和运动补偿器560基于具有树结构的编码单元中的每一个的分区和预测模式来执行操作，逆变换器540基于每个编码单元的变换单元的尺寸来执行操作。

图11的编码操作和图12的解码操作分别涉及单层中的视频流编码操作和视频流解码操作。因此，如果图1a的基本层编码器12对两个或更多个层的视频流进行编码，则图像编码器400可根据层而被包括。相似地，如果图2a的增强层解码器26对两个或更多个层的视频流进行解码，则图像解码器500可根据层而被包括。

图13是根据一个或更多个实施例的根据深度的较深层编码单元以及分区的示图。

视频编码设备100和视频解码设备200使用分层编码单元以考虑图像的特征。可根据图像的特征自适应地确定编码单元的最大高度、最大宽度和最大深度，或可由用户不同地设置编码单元的最大高度、最大宽度和最大深度。可根据编码单元的预定最大尺寸来确定根据深度的较深层编码单元的尺寸。

在编码单元的分层结构600中，根据一个或更多个实施例，编码单元的最大高度和最大宽度均是64，最大深度是3。在这种情况下，最大深度表示编码单元从LCU被划分到SCU的总次数。由于深度沿着分层结构600的垂直轴加深，因此较深层编码单元的高度和宽度均被划分。另外，预测单元和分区沿着分层结构600的水平轴被示出，其中，所述预测单元和分区是对每个较深层编码单元进行预测编码的基础。

换言之，在分层结构600中，编码单元610是LCU，其中，深度为0，尺寸(即，高度乘宽度)为64×64。深度沿着垂直轴加深，存在尺寸为32×32和深度为1的编码单元620、尺寸为16×16和深度为2的编码单元630、尺寸为8×8和深度为3的编码单元640。尺寸为8×8和深度为3的编码单元640是SCU。

编码单元的预测单元和分区根据每个深度沿着水平轴被排列。换言之，如果尺寸为64×64和深度为0的编码单元610是预测单元，则可将预测单元划分成包括在编码单元610中的分区，即，尺寸为64×64的分区610、尺寸为64×32的分区612、尺寸为32×64的分区614或尺寸为32×32的分区616。

类似地，可将尺寸为32×32和深度为1的编码单元620的预测单元划分成包括在编码单元620中的分区，即，尺寸为32×32的分区620、尺寸为32×16的分区622、尺寸为16×32的分区624和尺寸为16×16的分区626。

类似地，可将尺寸为16×16和深度为2的编码单元630的预测单元划分成包括在编码单元630中的分区，即，包括在编码度单元630中的尺寸为16×16的分区、尺寸为16×8的分区632、尺寸为8×16的分区634和尺寸为8×8的分区636。

类似地，可将尺寸为8×8和深度为3的编码单元640的预测单元划分成包括在编码单元640中的分区，即，包括在编码单元640中的尺寸为8×8的分区、尺寸为8×4的分区642、尺寸为4×8的分区644和尺寸为4×4的分区646。

为了确定构成LCU 610的编码单元的至少一个编码深度，视频编码设备100的编码单元确定器120对与包括在LCU 610中的与每个深度相应的编码单元执行编码。

随着深度加深，包括相同范围和相同尺寸的数据的根据深度的较深层编码单元的数量增加。例如，需要四个与深度2相应的编码单元来覆盖包括在与深度1相应的一个编码单元中的数据。因此，为了根据深度比较对相同数据进行编码的结果，与深度1相应的编码单元和四个与深度2相应的编码单元均被编码。

为了针对多个深度中的当前深度执行编码，可沿着分层结构600的水平轴，通过对与当前深度相应的编码单元中的每个预测单元执行编码，来针对当前深度选择最小编码误差。可选地，随着深度沿着分层结构600的垂直轴加深，可通过针对每个深度执行编码，比较根据深度的最小编码误差，来搜索最小编码误差。在编码单元610中的具有最小编码误差的深度和分区可被选为编码单元610的编码深度和分区类型。

图14是用于描述根据一个或更多个实施例的编码单元710与变换单元720之间的关系的示图。

视频编码设备100或视频解码设备200针对每个LCU，根据具有小于或等于LCU的尺寸的编码单元，对图像进行编码或解码。可基于不大于相应的编码单元的数据单元，来选择用于在编码期间进行变换的变换单元的尺寸。

例如，在视频编码设备100或视频解码设备200中，如果编码单元710的尺寸是64×64，则可通过使用尺寸为32×32的变换单元720来执行变换。

此外，可通过对小于64×64的尺寸为32×32、16×16、8×8和4×4的每个变换单元执行变换，来对尺寸为64×64的编码单元710的数据进行编码，然后可选择具有最小编码误差的变换单元。

图15是用于描述根据一个或更多个实施例的与编码深度相应的编码单元的编码信息的示图。

视频编码设备100的输出单元130可对与编码深度相应的每个编码单元的关于分区类型的信息800、关于预测模式的信息810以及关于变换单元尺寸的信息820进行编码，并将信息800、信息810和信息820作为关于编码模式的信息来发送。

信息800指示关于通过划分当前编码单元的预测单元而获得的分区的形状的信息，其中，所述分区是用于对当前编码单元进行预测编码的数据单元。例如，可将尺寸为2N×2N的当前编码单元CU_0划分成以下分区中的任意一个：尺寸为2N×2N的分区802、尺寸为2N×N的分区804、尺寸为N×2N的分区806以及尺寸为N×N的分区808。这里，关于分区类型的信息800被设置以指示尺寸为2N×N的分区804、尺寸为N×2N的分区806以及尺寸为N×N的分区808中的一个。

信息810指示每个分区的预测模式。例如，信息810可指示对由信息800指示的分区执行的预测编码的模式，即，帧内模式812、帧间模式814或跳过模式816。

信息820指示当对当前编码单元执行变换时所基于的变换单元。例如，变换单元可以是第一帧内变换单元822、第二帧内变换单元824、第一帧间变换单元826或第二帧内变换单元828。

视频解码设备200的图像数据和编码信息提取器220可根据每个较深层编码单元，提取并使用用于解码的信息800、810和820。

图16是根据一个或更多个实施例的根据深度的较深层编码单元的示图。

划分信息可用来指示深度的改变。划分信息指示当前深度的编码单元是否被划分成更低深度的编码单元。

用于对深度为0和尺寸为2N_0×2N_0的编码单元900进行预测编码的预测单元910可包括以下分区类型的分区：尺寸为2N_0×2N_0的分区类型912、尺寸为2N_0×N_0的分区类型914、尺寸为N_0×2N_0的分区类型916和尺寸为N_0×N_0的分区类型918。图9仅示出了通过对称地划分预测单元910而获得的分区类型912至918，但是分区类型不限于此，并且预测单元910的分区可包括非对称分区、具有预定形状的分区和具有几何形状的分区。

根据每种分区类型，对尺寸为2N_0×2N_0的一个分区、尺寸为2N_0×N_0的两个分区、尺寸为N_0×2N_0的两个分区和尺寸为N_0×N_0的四个分区重复地执行预测编码。可对尺寸为2N_0×2N_0、N_0×2N_0、2N_0×N_0和N_0×N_0的分区执行帧内模式和帧间模式下的预测编码。可仅对尺寸为2N_0×2N_0的分区执行跳过模式下的预测编码。

如果在分区类型912至916中的一个分区类型中编码误差最小，则可不将预测单元910划分到更低深度。

如果在分区类型918中编码误差最小，则深度从0改变到1以在操作920中划分分区类型918，并对深度为2和尺寸为N_0×N_0的编码单元930重复地执行编码来搜索最小编码误差。

用于对深度为1和尺寸为2N_1×2N_1(＝N_0×N_0)的编码单元930进行预测编码的预测单元940可包括以下分区类型的分区：尺寸为2N_1×2N_1的分区类型942、尺寸为2N_1×N_1的分区类型944、尺寸为N_1×2N_1的分区类型946以及尺寸为N_1×N_1的分区类型948。

如果在分区类型948中编码误差最小，则深度从1改变到2以在操作950中划分分区类型948，并对深度为2和尺寸为N_2×N_2的编码单元960重复执行编码来搜索最小编码误差。

当最大深度是d时，根据每个深度的划分操作可被执行直到深度变为d-1，并且划分信息可被编码直到深度是0到d-2中的一个。换句话说，在与深度d-2相应的编码单元在操作970中被划分之后编码被执行直到当深度是d-1时，用于对深度为d-1和尺寸为2N_(d-1)×2N_(d-1)的编码单元980进行预测编码的预测单元990可包括以下分区类型的分区：尺寸为2N_(d-1)×2N(d-1)的分区类型992、尺寸为2N_(d-1)×N(d-1)的分区类型994、尺寸为N_(d-1)×2N(d-1)的分区类型996和尺寸为N_(d-1)×N(d-1)的分区类型998。

可对分区类型992至998中的尺寸为2N_(d-1)×2N_(d-1)的一个分区、尺寸为2N_(d-1)×N_(d-1)的两个分区、尺寸为N_(d-1)×2N_(d-1)的两个分区、尺寸为N_(d-1)×N_(d-1)的四个分区重复地执行预测编码，以搜索具有最小编码误差的分区类型。

即使当分区类型998具有最小编码误差时，由于最大深度是d，因此深度为d-1的编码单元CU_(d-1)也不再被划分到更低深度，构成当前LCU 900的编码单元的编码深度被确定为d-1，并且当前LCU 900的分区类型可被确定为N_(d-1)×N(d-1)。此外，由于最大深度是d并且具有最低深度d-1的SCU 980不再被划分至更低深度，因此不设置SCU 980的划分信息。

数据单元999可以是用于当前LCU的“最小单元”。根据一个或更多个实施例的最小单元可以是通过将SCU 980划分成4份而获得的正方形数据单元。通过重复地执行编码，视频编码设备100可通过比较根据编码单元900的深度的编码误差来选择具有最小编码误差的深度以确定编码深度，并将相应分区类型和预测模式设置为编码深度的编码模式。

这样，在所有深度1至d中对根据深度的最小编码误差进行比较，并且具有最小编码误差的深度可被确定为编码深度。编码深度、预测单元的分区类型和预测模式可作为关于编码模式的信息被编码并发送。另外，由于编码单元从0的深度被划分到编码深度，因此仅编码深度的划分信息被设置为0，并且除了编码深度以外的深度的划分信息被设置为1。

视频解码设备200的图像数据和编码信息提取器220可提取并使用关于编码单元900的编码深度和预测单元的信息，来对分区912进行解码。视频解码设备200可通过使用根据深度的划分信息，将划分信息为0的深度确定为编码深度，并且使用关于相应深度的编码模式的信息来进行解码。

图17至图19是用于描述根据一个或更多个实施例的编码单元1010、预测单元1060和变换单元1070之间的关系的示图。

编码单元1010是LCU中的与由视频编码设备100确定的编码深度相应的具有树结构的编码单元。预测单元1060是每个编码单元1010的预测单元的分区，变换单元1070是每个编码单元1010的变换单元。

当在编码单元1010中LCU的深度是0时，编码单元1012和编码单元1054的深度是1，编码单元1014、1016、1018、1028、1050和1052的深度是2，编码单元1020、1022、1024、1026、1030、1032和1048的深度是3，编码单元1040、1042、1044和1046的深度是4。

在预测单元1060中，通过划分编码单元1010中的编码单元来获得一些编码单元1014、1016、1022、1032、1048、1050、1052和1054。换句话说，编码单元1014、1022、1050和1054中的分区类型的尺寸是2N×N，编码单元1016、1048和1052中的分区类型的尺寸是N×2N，编码单元1032的分区类型的尺寸是N×N。编码单元1010的预测单元和分区小于或等于每个编码单元。

在小于编码单元1052的数据单元中的变换单元1070中，对编码单元1052的图像数据执行变换或逆变换。另外，在尺寸和形状方面，变换单元1070中的编码单元1014、1016、1022、1032、1048、1050和1052不同于预测单元1060中的编码单元1014、1016、1022、1032、1048、1050和1052。换句话说，视频编码设备100和视频解码设备200可对同一编码单元中的数据单元独立地执行帧内预测、运动估计、运动补偿、变换和逆变换。

因此，对LCU的每个区域中的具有分层结构的每个编码单元递归地执行编码来确定最优编码单元，从而可获得具有递归树结构的编码单元。编码信息可包括关于编码单元的划分信息、关于分区类型的信息、关于预测模式的信息和关于变换单元的尺寸的信息。表1示出可由视频编码设备100和视频解码设备200设置的编码信息。

[表1]

      

视频编码设备100的输出器130可输出关于具有树结构的编码单元的编码信息，视频解码设备200的图像数据和编码信息提取器220可从接收到的比特流提取关于具有树结构的编码单元的编码信息。

划分信息指示是否将当前编码单元划分成更低深度的编码单元。如果当前深度d的划分信息是0，则当前编码单元不再被划分成更低深度的深度是编码深度，从而可针对所述编码深度来定义关于分区类型、预测模式和变换单元的尺寸的信息。如果当前编码单元根据划分信息被进一步划分，则对更低深度的四个划分编码单元独立地执行编码。

预测模式可以是帧内模式、帧间模式和跳过模式中的一种。可在所有分区类型中定义帧内模式和帧间模式，仅在尺寸为2N×2N的分区类型中定义跳过模式。

关于分区类型的信息可指示通过对称地划分预测单元的高度或宽度而获得的尺寸为2N×2N、2N×N、N×2N和N×N的对称分区类型，以及通过非对称地划分预测单元的高度或宽度而获得的尺寸为2N×nU、2N×nD、nL×2N和nR×2N的非对称分区类型。可通过按1:3和3:1来划分预测单元的高度来分别获得尺寸为2N×nU和2N×nD的非对称分区类型，可通过按1:3和3:1来划分预测单元的宽度来分别获得尺寸为nL×2N和nR×2N的非对称分区类型。

可将变换单元的尺寸设置成帧内模式下的两种类型和帧间模式下的两种类型。换句话说，如果变换单元的划分信息是0，则变换单元的尺寸可以是2N×2N，即当前编码单元的尺寸。如果变换单元的划分信息是1，则可通过对当前编码单元进行划分来获得变换单元。另外，如果尺寸为2N×2N的当前编码单元的分区类型是对称分区类型时，则变换单元的尺寸可以是N×N，如果当前编码单元的分区类型是非对称分区类型，则变换单元的尺寸可以是N/2×N/2。

关于具有树结构的编码单元的编码信息可包括与编码深度相应的编码单元、预测单元和最小单元中的至少一个。与编码深度相应的编码单元可包括包含相同编码信息的预测单元和最小单元中的至少一个。

因此，通过比较邻近数据单元的编码信息来确定邻近数据单元是否被包括在与编码深度相应的同一编码单元中。另外，通过使用数据单元的编码信息来确定与编码深度相应的相应编码单元，并因此可确定LCU中的编码深度的分布。

因此，如果基于邻近数据单元的编码信息对当前编码单元进行预测，则可直接参考并使用与当前编码单元邻近的较深层编码单元中的数据单元的编码信息。

可选地，如果基于邻近数据单元的编码信息对当前编码单元进行预测，则使用数据单元的编码信息来搜索与当前编码单元邻近的数据单元，并可参考搜索到的邻近编码单元以用于对当前编码单元进行预测。

图20是用于描述根据表1的编码模式信息的编码单元、预测单元和变换单元之间的关系的示图。

LCU 1300包括编码深度的编码单元1302、1304、1306、1312、1314、1316和1318。这里，由于编码单元1318是编码深度的编码单元，因此划分信息可以被设置成0。可将关于尺寸为2N×2N的编码单元1318的分区类型的信息设置成以下分区类型中的一种：尺寸为2N×2N的分区类型1322、尺寸为2N×N的分区类型1324、尺寸为N×2N的分区类型1326、尺寸为N×N的分区类型1328、尺寸为2N×nU的分区类型1332、尺寸为2N×nD的分区类型1334、尺寸为nL×2N的分区类型1336以及尺寸为nR×2N的分区类型1338。

变换单元的划分信息(TU尺寸标记)是一类变换索引。与变换索引相应的变换单元的尺寸可根据编码单元的预测单元类型或分区类型而改变。

例如，当分区类型被设置成对称(即，分区类型1322、1324、1326或1328)时，如果变换单元的TU尺寸标记是0，则设置尺寸为2N×2N的变换单元1342，如果TU尺寸标记是1，则设置尺寸为N×N的变换单元1344。

当分区类型被设置成非对称(即，分区类型1332、1334、1336或1338)时，如果TU尺寸标记是0，则设置尺寸为2N×2N的变换单元1352，如果TU尺寸标记是1，则设置尺寸为N/2×N/2的变换单元1354。

参照图20，TU尺寸标记是具有值0或1的标记，但是TU尺寸标记不限于1比特，在TU尺寸标记从0增加的同时，变换单元可被分层划分以具有树结构。变换单元的划分信息(TU尺寸标记)可以是变换索引的示例。

在这种情况下，可通过使用根据本公开的实施例的变换单元的TU尺寸标记以及变换单元的最大尺寸和最小尺寸来表示实际上已使用的变换单元的尺寸。视频编码设备100能够对最大变换单元尺寸信息、最小变换单元尺寸信息和最大TU尺寸标记进行编码。对最大变换单元尺寸信息、最小变换单元尺寸信息和最大TU尺寸标记进行编码的结果可被插入SPS。视频解码设备200可通过使用最大变换单元尺寸信息、最小变换单元尺寸信息和最大TU尺寸标记来对视频进行解码。

例如，(a)如果当前编码单元的尺寸是64×64并且最大变换单元尺寸是32×32，则(a-1)当TU尺寸标记为0时，变换单元的尺寸可以是32×32，(a-2)当TU尺寸标记为1时，变换单元的尺寸可以是16×16，(a-3)当TU尺寸标记为2时，变换单元的尺寸可以是8×8。

作为另一示例，(b)如果当前编码单元的尺寸是32×32并且最小变换单元尺寸是32×32，则(b-1)当TU尺寸标记为0时，变换单元的尺寸可以是32×32。这里，由于变换单元的尺寸不能够小于32×32，因此TU尺寸标记不能够被设置为除了0以外的值。

作为另一示例，(c)如果当前编码单元的尺寸是64×64并且最大TU尺寸标记为1，则TU尺寸标记可以是0或1。这里，TU尺寸标记不能够被设置为除了0或1以外的值。

因此，当TU尺寸标记为0时，如果定义最大TU尺寸标记为“MaxTransformSizeIndex”，最小变换单元尺寸为“MinTransformSize”，变换单元尺寸为“RootTuSize”，则可通过等式(1)来定义可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”：

等式(1)：

CurrMinTuSize＝max(MinTransformSize,RootTuSize/(2^MaxTransformSizeIndex))……(1)

与可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”相比，当TU尺寸标记为0时，变换单元尺寸“RootTuSize”可指示可在系统中选择的最大变换单元尺寸。在等式(1)中，“RootTuSize/(2^MaxTransformSizeIndex)”指示当TU尺寸标记为0时，当将变换单元尺寸“RootTuSize”划分了与最大TU尺寸标记相应的次数时的变换单元尺寸，“MinTransformSize”指示最小变换尺寸。因此，“RootTuSize/(2^MaxTransformSizeIndex)”和“MinTransformSize”中较小的值可以是可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”。

根据本公开的实施例，最大变换单元尺寸“RootTuSize”可根据预测模式的类型而改变。

例如，如果当前预测模式是帧间模式，则可通过使用以下的等式(2)来确定“RootTuSize”。在等式(2)中，“MaxTransformSize”指示最大变换单元尺寸，“PUSize”指示当前预测单元尺寸：

RootTuSize＝min(MaxTransformSize,PUSize)……(2)

换句话说，如果当前预测模式是帧间模式，则当TU尺寸标记为0时的变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前预测单元尺寸中较小的值。

如果当前分区单元的预测模式是帧内模式，则可通过使用以下的等式(3)来确定“RootTuSize”。在等式(3)中，“PartitionSize”指示当前分区单元的尺寸：

RootTuSize＝min(MaxTransformSize,PartitionSize)……(3)

换句话说，如果当前预测模式是帧内模式，则当TU尺寸标记为0时的变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前分区单元的尺寸之中较小的值。

然而，根据分区单元中的预测模式的类型而改变的当前最大变换单元尺寸“RootTuSize”仅是示例，并且本公开不限于此。

根据如上参照图8至图20描述的基于具有树结构的编码单元的视频编码方法，针对树结构的每个编码单元对空间域的图像数据进行编码。根据基于具有树结构的编码单元的视频解码方法，针对每个LCU执行解码以重构空间域的图像数据。因此，可重构画面和视频(即，画面序列)。重构的视频可通过再现设备被再现，可被存储在存储介质中，或者可通过网络被发送。

实施例可被编写为计算机程序，并可在使用计算机可读记录介质执行程序的通用数字计算机中被实现。计算机可读记录介质的示例包括磁存储介质(例如，ROM、软盘、硬盘等)和光记录介质(例如，CD-ROM或DVD)。

为了便于解释，上面已参照图1a至图20描述的可伸缩视频编码方法和/或视频编码方法将被称为“根据本公开的视频编码方法”。另外，上面已参照图1a至图20描述的可伸缩视频解码方法和/或视频解码方法将被称为“根据本公开的视频解码方法”。

另外，已参照图1a至图20描述的视频编码设备(包括可伸缩视频编码设备10、视频编码设备100或图像编码器400)将被称为“根据本公开的视频编码设备”。另外，已参照图1a至图20描述的视频解码设备(包括可伸缩视频解码设备20、视频解码设备200或图像解码器500)将被称为“根据本公开的视频解码设备”。

现在将详细描述根据一个或更多个实施例的存储程序的计算机可读记录介质(例如，盘26000)。

图21是根据一个或更多个实施例的存储程序的盘26000的物理结构的示图。作为存储介质的盘26000可以是硬盘驱动器、致密盘只读存储器(CD-ROM)盘、蓝光盘或数字多功能盘(DVD)。盘26000包括多个同心磁道Tr，每个同心磁道Tr沿盘26000的圆周方向被划分成特定数量的扇区Se。在盘26000的特定区域中，可分配并存储执行如上所描述的量化参数确定方法、视频编码方法和视频解码方法的程序。

现在将参照图22来描述使用存储以下程序的存储介质来实现的计算机系统，其中，所述程序用于执行如上所述的视频编码方法和视频解码方法。

图22是通过使用盘26000来记录和读取程序的盘驱动器26800的示图。计算机系统26700可经由盘驱动器26800将执行根据一个或更多个实施例的视频编码方法和视频解码方法中的至少一个的程序存储在盘26000中。为了在计算机系统26700中运行存储在盘26000中的程序，可通过使用盘驱动器26800从盘26000读取程序并将程序发送到计算机系统26700。

执行根据一个或更多个实施例的视频编码方法和视频解码方法中的至少一个的程序不仅可被存储在图21或图22中示出的盘26000中，还可被存储在存储卡、ROM卡带或固态驱动器(SSD)中。

以下将描述应用以上所描述的视频编码方法和视频解码方法的系统。

图23是用于提供内容分配服务的内容供应系统11000的整体结构的示图。将通信系统的服务区域划分成预定尺寸的小区，并将无线基站11700、11800、11900和12000分别安装在这些小区中。

内容供应系统11000包括多个独立装置。例如，诸如计算机12100、个人数字助理(PDA)12200、视频相机12300和移动电话12500的多个独立装置经由互联网服务提供器11200、通信网络11400和无线基站11700、11800、11900和12000连接到互联网11100。

然而，内容供应系统11000不限于如图24中所示，并且装置可选择性地被连接到内容供应系统11000。多个独立装置可不经由无线基站11700、11800、11900和12000而直接连接到通信网络11400。

视频相机12300是能够捕捉视频图像的成像装置，例如，数字视频相机。移动电话12500可利用各种协议(例如，个人数字通信(PDC)、码分多址(CDMA)、宽带码分多址(W-CDMA)、全球移动通信系统(GSM)和个人手持电话系统(PHS))中的至少一种通信方法。

视频相机12300可经由无线基站11900和通信网络11400连接到流服务器11300。流服务器11300允许经由视频相机12300从用户接收到的内容经由实时广播被流传输。可使用视频相机12300或流服务器11300来对从视频相机12300接收到的内容进行编码。通过视频相机12300捕捉到的视频数据可经由计算机12100被发送到流服务器11300。

通过相机12600捕捉到的视频数据也可经由计算机12100被发送到流服务器11300。与数码相机类似，相机12600是能够捕捉静止图像和视频图像两者的成像装置。可通过使用相机12600或计算机12100对通过相机12600捕捉到的视频数据进行编码。可将对视频执行编码和解码的软件存储在可由计算机12100访问的计算机可读记录介质(例如，CD-ROM盘、软盘、硬盘驱动器、SSD或存储卡)中。

如果视频数据通过内置在移动电话12500中的相机被捕捉到，则可从移动电话12500接收视频数据。

还可通过安装在视频相机12300、移动电话12500或相机12600中的大规模集成电路(LSI)系统来对视频数据进行编码。

内容供应系统1100可对由用户使用视频相机12300、相机12600、移动电话12500或另一成像装置所记录的内容数据(例如，在音乐会期间记录的内容)进行编码，并将编码后的内容数据发送到流服务器11300。流服务器11300可将编码后的内容数据以流内容的形式发送到请求内容数据的其它客户机。

客户机是能够对编码后的内容数据进行解码的装置，例如，计算机12100、PDA 12200、视频相机12300或移动电话12500。因此，内容供应系统11000允许客户机接收并再现编码后的内容数据。此外，内容供应系统11000允许客户机实时接收编码后的内容数据并对编码后的内容数据进行解码和再现，从而能够进行个人广播。

包括在内容供应系统11000中的多个独立装置的编码和解码操作可类似于根据一个或更多个实施例的视频编码设备和视频解码设备的编码和解码操作。

现在将参照图24和图25更加详细地描述包括在根据一个或更多个实施例的内容供应系统11000中的移动电话12500。

图24示出了根据一个或更多个实施例的应用了视频编码方法和视频解码方法的移动电话12500的外部结构。移动电话12500可以是智能电话，所述智能电话的功能不受限，并且所述智能电话的许多功能可被改变或扩展。

移动电话12500包括可与图21的无线基站12000交换射频(RF)信号的内部天线12510，并包括用于显示由相机12530捕捉到的图像或经由天线12510接收到的和解码的图像的显示屏12520，例如，液晶显示器(LCD)或有机发光二极管(OLED)屏幕。移动电话12500包括包含有控制按钮和触摸面板的操作面板12540。如果显示屏12520是触摸屏，则操作面板12540还包括显示屏12520的触摸感测面板。移动电话12500包括用于输出语音和声音的扬声器12580或另一类型声音输出器以及用于输入语音和声音的麦克风12550或另一类型声音输入器。移动电话12500还包括用于捕捉视频和静止图像的相机12530，诸如电荷耦合器件(CCD)相机。移动电话12500还可包括：存储介质12570，用于存储通过相机12530捕捉到的、经由电子邮件接收到的或根据各种方式获得的编码/解码数据(例如，视频或静止图像)；插槽12560，存储介质12570经由插槽12560被装入到移动电话12500中。存储介质12570可以是闪存，例如，包括在塑料壳中的安全数字(SD)卡或电可擦和可编程只读存储器(EEPROM)。

图25示出了根据一个或更多个实施例的移动电话12500的内部结构。为了系统地控制包括显示屏12520和操作面板12540的移动电话12500的部件，供电电路12700、操作输入控制器12640、图像编码器12720、相机接口12630、LCD控制器12620、图像解码器12690、复用器/解复用器12680、记录器/读取器12670、调制器/解调器12660以及声音处理器12650经由同步总线12730被连接到中央控制器12710。

如果用户操作电源按钮，并从“电源关闭”状态设置为“电源开启”状态，则供电电路12700从电池组向移动电话12500的所有部件供电，从而将移动电话12500设置为操作模式。

中央控制器12710包括中央处理单元(CPU)、ROM和RAM。

在移动电话12500将通信数据发送到外部的同时，在中央控制器12710的控制下，由移动电话12500产生数字信号。例如，声音处理器12650可产生数字声音信号，图像编码器12720可产生数字图像信号，并且消息的文本数据可经由操作面板12540和操作输入控制器12640被产生。当在中央控制器12710的控制下数字信号被发送到调制器/解调器12660时，调制器/解调器12660对数字信号的频带进行调制，并且通信电路12610对频带调制数字声音信号执行数模转换(DAC)和频率转换。从通信电路12610输出的发送信号可经由天线12510被发送到语音通信基站或无线基站12000。

例如，当移动电话12500处于通话模式时，在中央控制器12710的控制下，经由麦克风12550获得的声音信号通过声音处理器12650被变换成数字声音信号。数字声音信号可经由调制器/解调器12660和通信电路12610被变换成发送信号，并可经由天线12510被发送。

当文本消息(例如，电子邮件)在数据通信模式下被发送时，文本消息的文本数据经由操作面板12540被输入，并经由操作输入控制器12640被发送到中央控制器12710。在中央控制器12710的控制下，文本数据经由调制器/解调器12660和通信电路12610被变换成发送信号，并经由天线12510被发送到无线基站12000。

为了在数据通信模式下发送图像数据，由相机12530捕捉到的图像数据经由相机接口12630被提供给图像编码器12720。捕捉到的图像数据可经由相机接口12630和LCD控制器12620被直接显示在显示屏12520上。

图像编码器12720的结构可与以上描述的根据本公开的视频编码方法的结构相应。图像编码器12720可基于以上描述的根据本公开的视频编码方法，将从相机12530接收到的图像数据变换为压缩和编码后的图像数据，并然后将编码后的图像数据输出到复用器/解复用器12680。在相机12530的记录操作期间，由移动电话12500的麦克风12550获得的声音信号可经由声音处理器12650被变换成数字声音数据，并且数字声音数据可被发送到复用器/解复用器12680。

复用器/解复用器12680对从图像编码器12720接收到的编码后的图像数据与从声音处理器12650接收到的声音数据一起进行复用。对数据进行复用的结果可经由调制器/解调器12660和通信电路12610被变换成发送信号，然后可经由天线12510被发送。

当移动电话12500从外部接收通信数据时，可对经由天线12510接收到的信号执行频率恢复和ADC以将信号变换成数字信号。调制器/解调器12660对数字信号的频带进行调制。根据频带调制后的数字信号的类型将所述数字信号发送到视频解码单元12690、声音处理器12650或LCD控制器12620。

在通话模式下，移动电话12500对经由天线12510接收到的信号进行放大，并通过对放大后的信号执行频率转换和ADC来获得数字声音信号。在中央控制器12710的控制下，接收到的数字声音信号经由调制器/解调器12660和声音处理器12650被变换成模拟声音信号，并且模拟声音信号经由扬声器12580被输出。

当在数据通信模式下时，接收在互联网网站上访问的视频文件的数据，经由调制器/解调器12660将经由天线12510从无线基站12000接收到的信号输出为复用数据，并将复用数据发送到复用器/解复用器12680。

为了对经由天线12510接收到的复用数据进行解码，复用器/解复用器12680将复用数据解复用成编码后的视频数据流和编码后的音频数据流。经由同步总线12730，编码后的视频数据流和编码后的音频数据流分别被提供给视频解码单元12690和声音处理器12650。

图像解码器12690的结构可与以上描述的根据本公开的视频解码方法的结构相应。图像解码器12690可通过使用以上描述的根据本公开的视频解码方法，对编码后的视频数据进行解码来获得重构的视频数据，并经由LCD控制器12620将重构的视频数据提供给显示屏12520。

因此，可将在互联网网站上访问的视频文件的数据显示在显示屏12520上。同时，声音处理器12650可将音频数据变换成模拟声音信号，并将模拟声音信号提供给扬声器12580。因此，也可经由扬声器12580再现在互联网网站上访问的视频文件中包含的音频数据。

移动电话12500或另一类型的通信终端可以是包括根据一个或更多个实施例的视频编码设备和视频解码设备两者的收发终端，可以是仅包括视频编码设备的收发终端，或者可以是仅包括视频解码设备的收发终端。

根据本公开的通信系统不限于以上参照图24描述的通信系统。例如，图26示出根据一个或更多个实施例的采用通信系统的数字广播系统。图26的数字广播系统可通过使用根据一个或更多个实施例的视频编码设备和视频解码设备来接收经由卫星或地面网络发送的数字广播。

具体地，广播站12890通过使用无线电波将视频数据流发送到通信卫星或广播卫星12900。广播卫星12900发送广播信号，广播信号经由家用天线12860被发送到卫星广播接收器。在每个房屋中，可通过TV接收器12810、机顶盒12870或另一装置对编码后的视频流进行解码并再现。

当根据一个或更多个实施例的视频解码设备被实现在再现设备12830中时，再现设备12830可对记录在存储介质12820(诸如盘或存储卡)上的编码后的视频流进行解析和解码，以重构数字信号。因此，可在例如监视器12840上再现重构的视频信号。

在被连接到用于卫星/地面广播的天线12860或用于接收有线电视(TV)广播的线缆天线12850的机顶盒12870中，可安装根据一个或更多个实施例的视频解码设备。从机顶盒12870输出的数据也可被再现在TV监视器12880上。

如另一示例，可将根据一个或更多个实施例的视频解码设备安装在TV接收器12810中，而不是机顶盒12870中。

具有适当天线12910的汽车12920可接收从卫星12900或图21的无线基站11700发送的信号。可在内置在汽车12920中的汽车导航系统12930的显示屏上再现解码后的视频。

视频信号可由根据一个或更多个实施例的视频编码设备来编码，然后可被存储在存储介质中。具体地，可由DVD记录器将图像信号存储在DVD盘12960中，或可由硬盘记录器12950将图像信号存储在硬盘中。如另一示例，可将视频信号存储在SD卡12970中。如果硬盘记录器12950包括根据一个或更多个实施例的视频解码设备，则记录在DVD盘12960、SD卡12970或另一存储介质上的视频信号可被再现于TV监视器12880上。

汽车导航系统12930可不包括图24的相机12530、图25的相机接口12630和图像编码器12720。例如，计算机12100和TV接收器12810可不包括相机12530、相机接口12630和图像编码单元12720。

图27是根据一个或更多个实施例的使用视频编码设备和视频解码设备的云计算系统的网络结构的示图。

云计算系统可包括云计算服务器14000、用户数据库(DB)14100、多个计算资源14200和用户终端。

响应于来自用户终端的请求，云计算系统经由数据通信网络(例如，互联网)提供多个计算资源14200的点播外包服务。在云计算环境下，服务提供商通过使用虚拟技术组合位于不同的物理位置的数据中心处的计算资源，来为用户提供期望的服务。服务用户不必将计算资源(例如，应用、存储器、操作系统(OS)和安全)安装在他/她拥有的终端中以使用它们，但可在想要的时间点在通过虚拟技术产生的虚拟空间中从服务中选择和使用期望的服务。

被指定的服务用户的用户终端经由包括互联网和移动电信网络的数据通信网络被连接到云计算服务器14000。可从云计算服务器14000向用户终端提供云计算服务，特别是视频再现服务。用户终端可以是能够被连接到互联网的各种类型的电子装置，例如，桌上型PC 14300、智能TV 14400、智能电话14500、笔记本计算机14600、便携式多媒体播放器(PMP)14700、平板PC 14800等。

云计算服务器14000可组合分布在云网络中的多个计算资源14200，并向用户终端提供组合的结果。所述多个计算资源14200可包括各种数据服务，并可包括从用户终端上载的数据。如上所描述的，云计算服务器14000可通过根据虚拟技术组合分布在不同区域中的视频数据库来向用户终端提供期望的服务。

将关于已经订购云计算服务的用户的用户信息存储在用户DB 14100中。用户信息可包括用户的登陆信息、地址、姓名和个人信用信息。用户信息还可包括视频的索引。这里，所述索引可包括已经被再现的视频的列表、正在被再现的视频的列表、之前被再现的视频的暂停点等。

可在用户装置之间共享存储在用户DB 14100中的关于视频的信息。例如，当响应于来自笔记本计算机14600的请求将视频服务提供给笔记本计算机14600时，视频服务的再现历史被存储在用户DB 14100中。当从智能电话14500接收到用于再现此视频服务的请求时，云计算服务器14100基于用户DB 14100搜索并再现此视频服务。当智能电话14500从云计算服务器14000接收到视频数据流时，通过对视频数据流进行解码来再现视频的处理与以上参照图24描述的移动电话12500的操作类似。

云计算服务器14000可参考存储在用户DB 14100中的期望的视频服务的再现历史。例如，云计算服务器14000从用户终端接收用于再现存储在用户DB 14100中的视频的请求。如果此视频之前被再现过，则由云计算服务器14000执行的对此视频进行流传输的方法可根据来自用户终端的请求(即，根据是将从视频的起点还是视频的暂停点来再现视频)而改变。例如，如果用户终端请求从视频的起点开始再现视频，则云计算服务器14000将从视频的第一帧开始的视频的流数据发送到用户终端。如果用户终端请求从视频的暂停点开始再现视频，则云计算服务器14000将从与暂停点相应的帧开始的视频的流数据发送到用户终端。

在此情况下，用户终端可包括如以上参照图1a至图20描述的视频解码设备。如另一示例，用户终端可包括如以上参照图1a至图20描述的视频编码设备。可选地，用户终端可包括如以上参照图1a至图20描述的视频解码设备和视频编码设备两者。

以上已经参照图21至图27描述了以上参照图1a至图20描述的根据一个或更多个实施例的视频编码方法、视频解码方法、视频编码设备和视频解码设备的各种应用。然而，根据本公开的各个实施例的将视频编码方法和视频解码方法存储在存储介质中的方法或者将视频编码设备和视频解码设备实现在装置中的方法不限于以上参照图21至图27描述的实施例。

虽然已参照示例性实施例具体示出并描述了一个或更多个实施例，但是本领域的普通技术人员将理解，在不脱离由权利要求书限定的本发明的精神和范围的情况下，可进行形式和细节上的各种改变。示例性实施例应仅按照描述意义被理解，而不是出于限制的目的。因此，本发明的范围不是由本发明的详细描述限定，而是由权利要求书限定，并且在该范围内的所有区别将被解释为包括在一个或更多个实施例中。

Claims (15)

1.一种可伸缩视频解码方法，包括：

从接收的增强层流获得层间样点自适应偏移(SAO)使用信息和SAO参数，其中，层间SAO使用信息指示是否对根据基本层重构图像与增强层预测图像之间的层间预测的预测误差进行补偿，SAO参数指示偏移和增强层预测图像的SAO类型；

从获得的SAO参数确定增强层预测图像的SAO类型和与预测误差相应的根据种类而被分类的偏移；以及

通过使用被补偿了确定的偏移的增强层预测图像来产生增强层重构图像，其中，确定的偏移是通过针对增强层预测图像的每个像素位置确定当前样点的种类而被确定的。

2.如权利要求1所述的方法，其中，产生增强层重构图像的步骤包括：

通过使用从基本层流解码的基本层重构图像来确定增强层预测图像；以及

通过将偏移应用于增强层预测图像来对增强层预测图像进行补偿。

3.如权利要求2所述的方法，其中，确定增强层预测图像的步骤包括：通过对基本层重构图像进行插值以将基本层重构图像的尺寸调整为具有与增强层原始图像的分辨率相同的分辨率，来确定增强层预测图像。

4.如权利要求1所述的方法，其中，获得SAO参数的步骤包括：

获得用于增强层预测图像的画面、条带、最大编码单元(LCU)和编码单元中的一个的每个数据单元的SAO参数，

其中，确定偏移的步骤包括：基于SAO参数连续地确定指示增强层预测图像的数据单元的每个样点是否构成边缘的SAO类型、根据针对SAO类型的种类而被分类的指示预测误差的平均值的偏移以及偏移的符号，

其中，根据层间SAO的偏移的符号是基于SAO类型、种类以及基本层图像与增强层图像之间的分辨率比率中的至少一个而被确定的。

5.如权利要求1所述的方法，其中，确定偏移的步骤包括：当层间预测误差基于获得的层间SAO使用信息而被补偿时，针对增强层区域使用从SAO参数获得的偏移，其中，所述增强层区域是通过根据帧内基本层预测模式和差预测模式之一使用基本层重构图像中的基本层区域而被预测出的。

6.如权利要求1所述的方法，其中，确定偏移的步骤包括：

从SAO参数获得根据基于以下信息而确定的种类的偏移：增强层预测图像的边缘方向或样点值范围；以及

还获得根据基于以下信息中的至少一个而确定的种类的偏移：基本层图像与增强层图像之间的分辨率比率、用于将基本层重构图像的尺寸调整为具有与增强层原始图像的分辨率相同的分辨率的插值滤波器的相移以及插值滤波器的滤波阶数。

7.如权利要求1所述的方法，其中，获得SAO参数的步骤包括：通过使用基本层图像的共同定位区域的SAO参数来获得指示是否确定用于增强层预测图像的偏移的基本层SAO合并信息，以及

其中，确定偏移的步骤包括：基于基本层SAO合并信息，通过使用与和增强层预测图像的当前区域相应的基本层图像的共同定位区域的SAO参数中的至少一个有关的信息，来确定与用于增强层预测图像的当前区域的SAO参数中的至少一个有关的信息。

8.一种可伸缩视频编码方法，包括：

针对增强层图像的每个像素位置确定增强层预测图像的样点与增强层原始图像的样点之间的预测误差；

基于增强层预测图像的样点值的分布，确定增强层预测图像的SAO类型和与预测误差相应的根据种类而被分类的偏移；以及

确定层间样点自适应偏移(SAO)使用信息以及SAO参数，其中，层间SAO使用信息指示是否对根据基本层重构图像与增强层预测图像之间的层间预测的预测误差进行补偿，SAO参数指示偏移和增强层预测图像的SAO类型。

9.如权利要求8所述的方法，其中，确定样点之间的预测误差的步骤包括：

通过使用基本层重构图像来确定增强层预测图像；以及

针对每个像素位置确定增强层预测图像的样点与增强层原始图像的样点之间的预测误差，

所述方法还包括：通过使用通过将预测误差应用于增强层预测图像而被补偿的增强层预测图像来产生增强层重构图像。

10.如权利要求8所述的方法，其中，确定样点之间的预测误差的步骤包括：

通过对基本层重构图像进行插值以将基本层重构图像的尺寸调整为具有与增强层原始图像的分辨率相同的分辨率，来确定增强层预测图像；以及

针对每个像素位置确定增强层预测图像的样点与增强层原始图像的样点之间的预测误差。

11.如权利要求8所述的方法，其中，确定偏移的步骤包括：通过使用与和增强层预测图像的当前区域相应的基本层图像的共同定位区域的SAO参数中的至少一个有关的信息，来确定与用于增强层预测图像的当前区域的SAO参数中的至少一个有关的信息，以及

其中，确定SAO参数的步骤包括：通过使用基本层图像的共同定位区域的SAO参数来输出包括基本层SAO合并信息的SAO参数，其中，所述基本层SAO合并信息指示是否确定用于增强层预测图像的偏移。

12.一种可伸缩视频解码设备，包括：

层间SAO参数获取器，用于从接收的增强层流获得层间样点自适应偏移(SAO)使用信息和SAO参数，其中，层间SAO使用信息指示是否对根据基本层重构图像与增强层预测图像之间的层间预测的预测误差进行补偿，SAO参数指示偏移和增强层预测图像的SAO类型；

层间偏移确定器，用于从获得的SAO参数确定增强层预测图像的SAO类型和与预测误差相应的根据种类而被分类的偏移；以及

增强层解码器，用于通过使用经由使用确定的偏移而被补偿的增强层预测图像来产生增强层重构图像，其中，确定的偏移是通过针对增强层预测图像的每个像素位置确定当前样点的种类而被确定的。

13.一种可伸缩视频编码设备，包括：

增强层图像编码器，用于产生增强层预测图像以对增强层图像进行编码；

层间偏移确定器，用于针对增强层图像的每个像素位置确定增强层预测图像的样点与增强层原始图像的样点之间的预测误差，基于增强层预测图像的样点值的分布，确定增强层预测图像的SAO类型和与预测误差相应的根据种类而被分类的偏移；以及

层间SAO参数确定器，用于确定层间样点自适应偏移(SAO)使用信息和SAO参数，其中，层间SAO使用信息指示是否对根据基本层重构图像与增强层预测图像之间的层间预测的预测误差进行补偿，SAO参数指示偏移和增强层预测图像的SAO类型。

14.一种记录有用于执行权利要求1的方法的计算机程序的非暂时性计算机可读记录介质。

15.一种记录有用于执行权利要求8的方法的计算机程序的非暂时性计算机可读记录介质。