HK1260985B

HK1260985B - 图像编码装置、图像解码装置及其方法

Info

Publication number: HK1260985B
Application number: HK19120842.0A
Authority: HK
Inventors: 峯泽彰; 杉本和夫; 日和佐宪道; 关口俊一
Original assignee: 三菱电机株式会社
Priority date: 2012-04-13
Filing date: 2019-03-12
Publication date: 2021-04-01

Description

图像编码装置、图像解码装置及其方法

本申请是申请号为201380019619.0、申请日为2013年4月3日、名称为“运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法”的发明专利申请的分案申请。

技术领域

本发明涉及对运动图像高效地进行编码的运动图像编码装置以及运动图像编码方法、和对高效地编码了的运动图像进行解码的运动图像解码装置以及运动图像解码方法。

背景技术

以往，在MPEG、ITU-T H.26x等国际标准影像编码方式中，以由16×16像素块构成的宏块为单位分割输入影像帧，在实施了运动补偿预测之后，按照块单位对预测误差信号进行正交变换、量化，从而进行信息压缩。

但是，存在如下问题：如果压缩率变高，则由于在实施运动补偿预测时所使用的预测参照图像的品质降低，从而妨碍压缩效率。

因此，在MPEG-4AVC/H.264的编码方式(参照非专利文献1)中，通过实施环内去块滤波(deblocking filtering)的处理，去除伴随正交变换系数的量化而发生的预测参照图像的块失真。

此处，图21是示出非专利文献1公开的运动图像编码装置的结构图。

在该运动图像编码装置中，如果块分割部101输入了编码对象的图像信号，则按照宏块单位分割该图像信号，将宏块单位的图像信号作为分割图像信号而输出到预测部102。

预测部102如果从块分割部101接收到分割图像信号，则在帧内或者帧间预测宏块内的各颜色分量的图像信号，计算预测误差信号。

特别是在帧间实施运动补偿预测的情况下，按照宏块自身或者将宏块进一步细致地分割而得到的子块的单位来搜索运动矢量。

然后，使用该运动矢量，实施针对由存储器107储存着的参照图像信号的运动补偿预测，从而生成运动补偿预测图像，求出表示该运动补偿预测图像的预测信号和分割图像信号的差分，由此计算预测误差信号。

另外，预测部102将在得到预测信号时所决定的预测信号生成用参数输出到可变长编码部108。

另外，在预测信号生成用参数中，例如包括表示如何进行帧内的空间预测的帧内部预测模式、表示帧间的运动量的运动矢量等信息。

压缩部103如果从预测部102接收到预测误差信号，则实施针对该预测误差信号的DCT(离散余弦变换)处理从而去除信号相关，之后，进行量化从而得到压缩数据。

局部解码部104如果从压缩部103接收到压缩数据，则对该压缩数据进行逆量化，实施逆DCT处理，从而计算与从预测部102输出了的预测误差信号相当的预测误差信号。

加法器105如果从局部解码部104接收到预测误差信号，则对该预测误差信号和从预测部102输出了的预测信号进行相加，生成局部解码图像。

环路滤波器106去除在表示由加法器105所生成的局部解码图像的局部解码图像信号中重叠着的块失真，将去除失真后的局部解码图像信号作为参照图像信号而储存到存储器107。

可变长编码部108如果从压缩部103接收到压缩数据，则对该压缩数据进行熵编码，输出作为其编码结果的比特流。

另外，可变长编码部108在输出比特流时，将从预测部102输出了的预测信号生成用参数复用到比特流而输出。

此处，在非专利文献1公开的方式中，环路滤波器106针对DCT的块边界的周边像素，根据量化的粗糙度、编码模式、运动矢量的偏差程度等信息来决定平滑化强度，降低在块边界中发生的失真。

由此，参照图像信号的品质得到改善，能够提高以后的编码中的运动补偿预测的效率。

另一方面，在非专利文献1公开的方式中，存在如下问题：越是以高压缩率进行编码，越是损失信号的高频分量，画面整体被过度地平滑化而影像变得模糊。

为了解决这个问题，在非专利文献2中提出了如下的自适应偏移处理(像素自适应偏移处理)：作为环路滤波器106，将画面分割为多个块，按照该所分割的块单位对块内的各像素进行级别分类，针对每个级别，相加使作为原图像信号的编码对象的图像信号、与对应于该图像信号的参照图像信号的平方误差失真最小化的偏移值。

非专利文献1：MPEG-4AVC(ISO/IEC 14496-10)/ITU-T H.264规格

非专利文献2：“CE13：Sample Adaptive Offset with LCU-IndependentDecoding”，JCT-VC Document JCTVC-E049，March 2011，Geneva，CH.

发明内容

以往的运动图像编码装置如以上那样构成，所以需要按照将画面进行分割而得到的块单位，对与级别数相应的偏移进行编码。因此，存在如下课题：为了在像素自适应偏移处理中进行高精度的失真补偿处理，将画面分割为越细小的块，偏移的编码所需的代码量越增大，编码效率降低。

本发明是为了解决上述那样的课题而完成的，其目的在于得到一种能够削减偏移的编码所需的代码量来提高编码效率的运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法。

在本发明的运动图像编码装置中，滤波部件实施如下的像素自适应偏移处理：按照最大尺寸的编码块单位来决定级别的分类方法，使用上述分类方法，实施该块内的各像素的分级，计算每个级别的偏移值，将该偏移值相加到属于对应的级别的像素的像素值，可变长编码部件对表示由滤波部件所决定的最大尺寸的编码块单位的级别的分类方法的索引进行可变长编码，并且根据利用截断一元码的2值化处理，对与最大尺寸的每个编码块的各级别的偏移值有关的参数进行可变长编码。

根据本发明，滤波部件实施如下的像素自适应偏移处理：按照最大尺寸的编码块单位来决定级别的分类方法，使用上述分类方法，实施该块内的各像素的分级，计算每个级别的偏移值，将该偏移值相加到属于对应的级别的像素的像素值，可变长编码部件对表示由滤波部件所决定的最大尺寸的编码块单位的级别的分类方法的索引进行可变长编码，并且根据利用截断一元码的2值化处理，对与最大尺寸的每个编码块的各级别的偏移值有关的参数进行可变长编码，所以具有能够削减偏移的编码所需的代码量而提高编码效率的效果。

附图说明

图1是示出本发明的实施方式1的运动图像编码装置的结构图。

图2是示出本发明的实施方式1的运动图像编码装置的处理内容(运动图像编码方法)的流程图。

图3是示出本发明的实施方式1的运动图像解码装置的结构图。

图4是示出本发明的实施方式1的运动图像解码装置的处理内容(运动图像解码方法)的流程图。

图5是示出最大编码块被层次性地分割为多个编码块的例子的说明图。

图6的(a)是示出分割后的编码块以及预测块的分布的图，(b)是示出通过层次分割而分配编码模式m(B_n)的状况的说明图。

图7是示出编码块Bⁿ内的各预测块P_i ⁿ可选择的帧内部预测参数(帧内部预测模式)的一个例子的说明图。

图8是示出在生成l_i ⁿ＝m_i ⁿ＝4时的预测块P_i ⁿ内的像素的预测值时使用的像素的一个例子的说明图。

图9是示出以预测块P_i ⁿ内的左上像素为原点的相对坐标的说明图。

图10是示出量化矩阵的一个例子的说明图。

图11是示出在本发明的实施方式1的运动图像编码装置的环路滤波器部中使用多个环路滤波处理时的结构例的说明图。

图12是示出在本发明的实施方式1的运动图像解码装置的环路滤波器部中使用多个环路滤波处理时的结构例的说明图。

图13是示出作为进行像素自适应偏移处理时的级别分类方法之一的BO方法的说明图。

图14是示出作为进行像素自适应偏移处理时的级别分类方法之一的EO方法的说明图。

图15是示出编码比特流的一个例子的说明图。

图16是示出像素自适应偏移处理的级别分类方法的索引的说明图。

图17是示出像素自适应偏移处理的每个级别的偏移值的组合的表格的一个例子的说明图。

图18是示出编码了多个序列等级头部的编码比特流的一个例子的说明图。

图19是示出针对每个比特深度切换像素自适应偏移处理的每个级别的偏移值的组合的表格的一个例子的说明图。

图20是示出在一个表格中针对每个比特深度切换像素自适应偏移处理的每个级别的偏移值的组合的表格的偏移的组合数的一个例子的说明图。

图21是示出非专利文献1公开的运动图像编码装置的结构图。

图22是示出包括IDR图片的图片构造的一个例子的说明图。

图23是示出包括CRA图片的图片构造的一个例子的说明图。

图24是示出从IDR图片或者CRA图片开始的解码处理中的自适应参数集合的无效化处理的编码比特流的说明图。

图25是示出编码对象码元的范围是0至5时的truncated unary(截断一元)码的说明图。

图26是示出unary(一元)码的说明图。

图27是示出自适应参数集合的语法的一个例子的说明图。

图28是在解码侧调换了图24的编码比特流内的数据的顺序时的说明图。

(符号说明)

1：块分割部(块分割部件)；2：编码控制部(编码参数决定部件)；3：切换开关；4：帧内部预测部(预测部件)；5：运动补偿预测部(预测部件)；6：减法部(差分图像生成部件)；7：变换/量化部(图像压缩部件)；8：逆量化/逆变换部(局部解码图像生成部件)；9：加法部(局部解码图像生成部件)；10：帧内部预测用存储器(预测部件)；11：环路滤波器部(滤波部件)；12：运动补偿预测帧存储器(预测部件)；13：可变长编码部(可变长编码部件)；14：切片分割部(切片分割部件)；31：可变长解码部(可变长解码部件)；32：逆量化/逆变换部(差分图像生成部件)；33：切换开关；34：帧内部预测部(预测部件)；35：运动补偿部(预测部件)；36：加法部(解码图像生成部件)；37：帧内部预测用存储器(预测部件)；38：环路滤波器部(滤波部件)；39：运动补偿预测帧存储器(预测部件)；101：块分割部；102：预测部；103：压缩部；104：局部解码部；105：加法器；106：环路滤波器；107：存储器；108：可变长编码部。

具体实施方式

以下，为了更详细地说明本发明，依照附图来说明用于实施本发明的方式。

实施方式1.

在图1中，切片分割部14实施如下处理：如果作为输入图像输入了影像信号，则将该输入图像依照由编码控制部2所决定的切片分割信息，分割为1个以上的“切片”这样的部分图像。切片的分割单位能够细化至后述的编码块单位。另外，切片分割部14构成了切片分割部件。

块分割部1实施如下处理：每当输入由切片分割部14所分割的切片时，将该切片分割为由编码控制部2所决定的最大尺寸的编码块即最大编码块，并且直至达到由编码控制部2所决定的上限的层次数为止，将该最大编码块层次性地分割为各编码块。

即，块分割部1实施如下处理：将切片根据由编码控制部2所决定的分割而分割为各编码块，输出该编码块。另外，各编码块被分割为成为预测处理单位的一个或多个预测块。

另外，块分割部1构成了块分割部件。

编码控制部2实施如下处理：决定成为实施编码处理时的处理单位的编码块的最大尺寸，并且决定最大尺寸的编码块被层次性地分割时的上限的层次数，从而决定各个编码块的尺寸。

另外，编码控制部2实施如下处理：从可选择的1个以上的编码模式(表示预测处理单位的预测块的尺寸等不同的1个以上的帧内部编码模式、预测块的尺寸等不同的1个以上的帧间编码模式)中，选择适用于从块分割部1输出的编码块的编码模式。作为选择方法的例子有如下方法：从可选择的1个以上的编码模式中，选择针对从块分割部1输出的编码块的编码效率最高的编码模式。

另外，编码控制部2实施如下处理：在编码效率最高的编码模式是帧内部编码模式的情况下，将在该帧内部编码模式下实施针对编码块的帧内部预测处理时所使用的帧内部预测参数，针对作为上述帧内部编码模式所表示的预测处理单位的每个预测块来决定，在编码效率最高的编码模式是帧间编码模式的情况下，将在该帧间编码模式下实施针对编码块的帧间预测处理时所使用的帧间预测参数，针对作为上述帧间编码模式所表示的预测处理单位的每个预测块来决定。

而且，编码控制部2实施如下处理：决定对变换/量化部7以及逆量化/逆变换部8提供的预测差分编码参数。在预测差分编码参数中，包括表示成为编码块中的正交变换处理单位的正交变换块的分割信息的正交变换块分割信息、对进行变换系数的量化时的量化步长进行规定的量化参数等。

另外，编码控制部2构成了编码参数决定部件。

切换开关3实施如下处理：如果由编码控制部2所决定的编码模式是帧内部编码模式，则将从块分割部1输出了的编码块输出到帧内部预测部4，如果由编码控制部2所决定的编码模式是帧间编码模式，则将从块分割部1输出了的编码块输出到运动补偿预测部5。

帧内部预测部4实施如下处理：在由编码控制部2选择了帧内部编码模式作为与从切换开关3输出了的编码块对应的编码模式的情况下，针对作为进行该编码块的预测处理时的预测处理单位的每个预测块，一边参照在帧内部预测用存储器10中储存着的局部解码图像，一边实施使用了由编码控制部2所决定的帧内部预测参数的帧内部预测处理(帧内预测处理)来生成帧内部预测图像。

运动补偿预测部5实施如下处理：在由编码控制部2选择了帧间编码模式作为与从切换开关3输出了的编码块对应的编码模式的情况下，将编码块和在运动补偿预测帧存储器12中储存着的1帧以上的局部解码图像，按照作为预测处理单位的预测块单位进行比较而搜索运动矢量，使用该运动矢量和由编码控制部2所决定的参照的帧编号等帧间预测参数，按照预测块单位来实施针对该编码块的帧间预测处理(运动补偿预测处理)，生成帧间预测图像。

另外，由帧内部预测部4、帧内部预测用存储器10、运动补偿预测部5以及运动补偿预测帧存储器12构成了预测部件。

减法部6实施如下处理：从由块分割部1输出了的编码块，减去由帧内部预测部4所生成的帧内部预测图像或者由运动补偿预测部5所生成的帧间预测图像，将表示作为其减法结果的差分图像的预测差分信号输出到变换/量化部7。另外，减法部6构成了差分图像生成部件。

变换/量化部7实施如下处理：参照由编码控制部2所决定的预测差分编码参数中包含的正交变换块分割信息，按照正交变换块单位来实施针对从减法部6输出了的预测差分信号的正交变换处理(例如DCT(离散余弦变换)、DST(离散正弦变换)、预先对特定的学习序列进行了基底设计的KL变换等正交变换处理)而计算变换系数，并且参照在该预测差分编码参数中包含的量化参数，对该正交变换块单位的变换系数进行量化，将作为量化后的变换系数的压缩数据输出到逆量化/逆变换部8以及可变长编码部13。

另外，变换/量化部7构成了图像压缩部件。

变换/量化部7也可以在对变换系数进行量化时，使用将根据上述量化参数计算的量化步长针对每个变换系数进行缩放的量化矩阵，实施变换系数的量化处理。

此处，图10是示出8×8DCT的量化矩阵的一个例子的说明图。

图中的数字表示各变换系数的量化步长的缩放值。关于缩放值为0的系数，由于量化步长成为0，所以等效于“无量化”。

例如，为了抑制编码比特率，如图10所示，越是高频的变换系数，将量化步长缩放为越大的值，从而能够抑制在复杂的图像区域等中发生的高频的变换系数来抑制代码量，并且不会遗漏地对大幅影响主观品质的低频的系数的信息进行编码。

这样，在希望控制每个变换系数的量化步长的情况下，使用量化矩阵即可。

另外，关于量化矩阵，能够以各正交变换尺寸针对每个颜色信号、编码模式(是帧内部编码还是帧间编码)使用独立的矩阵，能够分别选择是从作为初始值预先在运动图像编码装置以及运动图像解码装置中共同地准备的量化矩阵或已经编码了的量化矩阵中选择、还是使用新的量化矩阵。

因此，变换/量化部7对于各正交变换尺寸，针对颜色信号、编码模式的每一个，将表示是否使用新的量化矩阵的标志信息设定为应编码的量化矩阵参数。

而且，在使用新的量化矩阵的情况下，将图10所示那样的量化矩阵的各缩放值设定为应编码的量化矩阵参数。另一方面，在不使用新的量化矩阵的情况下，将从作为初始值预先在运动图像编码装置以及运动图像解码装置中共同地准备的量化矩阵、或者已经编码了的量化矩阵中确定要使用的矩阵的索引，设定为应编码的量化矩阵参数。但是，在不存在可参照的已经编码了的量化矩阵的情况下，仅能够选择预先在运动图像编码装置以及运动图像解码装置中共同地准备的量化矩阵。

然后，变换/量化部7将所设定的量化矩阵参数作为自适应参数集合的一部分而输出到可变长编码部13。

逆量化/逆变换部8实施如下处理：参照由编码控制部2所决定的预测差分编码参数中包含的量化参数以及正交变换块分割信息，按照正交变换块单位对从变换/量化部7输出了的压缩数据进行逆量化，并且实施针对作为逆量化后的压缩数据的变换系数的逆正交变换处理，计算与从减法部6输出了的预测差分信号相当的局部解码预测差分信号。另外，在变换/量化部7使用量化矩阵实施了量化处理的情况下，在逆量化处理时，也参照该量化矩阵来实施对应的逆量化处理。

加法部9实施如下处理：将由逆量化/逆变换部8计算出的局部解码预测差分信号、和由帧内部预测部4所生成的帧内部预测图像或者由运动补偿预测部5所生成的帧间预测图像进行相加，计算与从块分割部1输出了的编码块相当的局部解码图像。

另外，由逆量化/逆变换部8以及加法部9构成了局部解码图像生成部件。

帧内部预测用存储器10是储存由加法部9计算出的局部解码图像的记录介质。

环路滤波器部11实施如下处理：对由加法部9计算出的局部解码图像实施规定的滤波处理，输出滤波处理后的局部解码图像。

具体而言，进行如下处理：降低在正交变换块的边界、预测块的边界中发生的失真的滤波(去块滤波)处理、按照像素单位自适应地相加偏移的(像素自适应偏移)处理、自适应地切换维纳滤波器等线性滤波器来进行滤波处理的自适应滤波处理等。

其中，环路滤波器部11对于上述去块滤波处理、像素自适应偏移处理以及自适应滤波处理的各个处理，决定是否进行处理，将各处理的有效标志作为应编码的自适应参数集合的一部分以及切片等级头部的一部分而输出到可变长编码部13。另外，在使用多个上述滤波处理时，依次实施各滤波处理。图11示出使用多个滤波处理时的环路滤波器部11的结构例。

一般使用的滤波处理的种类越多，图像品质越提高，但另一方面，处理负荷变高。即，图像品质和处理负荷处于折衷的关系。另外，各滤波处理的图像品质改善效果根据滤波处理对象图像的特性而不同。因此，依照运动图像编码装置容许的处理负荷、编码处理对象图像的特性，决定要使用的滤波处理即可。

另外，环路滤波器部11构成了滤波部件。

此处，在去块滤波处理中，能够从初始值变更在对块边界施加的滤波强度的选择中使用的各种参数。在变更的情况下，将该参数作为应编码的自适应参数集合的一部分而输出到可变长编码部13。

在像素自适应偏移处理中，最初，将图像分割为多个块，按照该块单位，在未进行偏移处理的情况下也定义为级别分类方法之一，从预先准备的多个级别分类方法中选择一个级别分类方法。

接下来，通过所选择的级别分类方法，对块内的各像素进行级别分类，针对每个级别，计算补偿编码失真的偏移值。

最后，进行对局部解码图像的亮度值相加其偏移值的处理，从而改善局部解码图像的图像品质。

因此，在像素自适应偏移处理中，将块分割信息、表示各块的级别分类方法的索引、确定块单位的各级别的偏移值的偏移信息，作为应编码的自适应参数集合的一部分而输出到可变长编码部13。

另外，在像素自适应偏移处理中，例如也可以始终按照最大编码块这样的固定尺寸的块单位进行分割，针对每个该块来选择级别分类方法，进行每个级别的自适应偏移处理。在该情况下，不需要上述块分割信息，能够将代码量削减与块分割信息所需的代码量相应的量。

在自适应滤波处理中，通过规定的方法对局部解码图像进行级别分类，针对属于各级别的每个区域(局部解码图像)，设计对重叠了的失真进行补偿的滤波器，使用该滤波器来实施该局部解码图像的滤波处理。

然后，将针对每个级别所设计的滤波器，作为应编码的自适应参数集合的一部分而输出到可变长编码部13。

作为级别分类方法，有如下方法：将图像在空间上等间隔地划分的简易的方法、按照块单位根据图像的局部性的特性(分散等)而分类的方法。

另外，关于在自适应滤波处理中使用的级别数，既可以预先设定为在运动图像编码装置以及运动图像解码装置中公用的值，也可以作为应编码的自适应参数集合的一部分。

相比于前者，后者能够更自由地设定所使用的级别数，所以图像品质改善效果提高，但另一方面，为了对级别数进行编码，代码量相应地增加。

而且，也可以不针对整个图像，而是例如针对最大编码块这样的固定尺寸的每个块，进行自适应滤波处理的级别分类以及滤波器设计/滤波处理。

即，也可以按照对固定尺寸的块内进行分割而得到的多个小块单位，根据图像的局部性的特性(分散等)来进行级别分类，针对每个级别进行滤波器设计以及滤波处理，从而针对固定尺寸的每个块，将各级别的滤波器作为自适应参数集合的一部分而实施编码。

由此，相比于针对整个图像实施级别分类以及滤波器设计/滤波处理的情况，能够实现与局部性的性质对应的高精度的滤波处理。

另外，在进行像素自适应偏移处理以及自适应滤波处理的情况下，需要在环路滤波器部11中参照影像信号，所以需要变更图1的运动图像编码装置以使影像信号被输入到环路滤波器部11。

运动补偿预测帧存储器12是储存环路滤波器部11的滤波处理后的局部解码图像的记录介质。

可变长编码部13对从变换/量化部7输出了的压缩数据、编码控制部2的输出信号(最大编码块内的块分割信息、编码模式、预测差分编码参数、帧内部预测参数或者帧间预测参数)、以及从运动补偿预测部5输出了的运动矢量(编码模式是帧间编码模式的情况)进行可变长编码来生成编码数据。

另外，可变长编码部13如图15例示，作为编码比特流的头部信息，对序列等级头部、图片等级头部、自适应参数集合进行编码，并与图片数据一起生成编码比特流。

另外，可变长编码部13构成了可变长编码部件。

其中，图片数据由1个以上的切片数据构成，各切片数据是将切片等级头部和该切片内存在的上述编码数据汇总而得到的数据。

序列等级头部是将图像尺寸、颜色信号格式、亮度信号、色差信号的信号值的比特深度、序列单位下的环路滤波器部11中的各滤波处理(自适应滤波处理、像素自适应偏移处理、去块滤波处理)的有效标志信息、量化矩阵的有效标志信息等一般按照序列单位成为共同的头部信息进行汇总而得到的。

图片等级头部是将参照的序列等级头部的索引、运动补偿时的参照图片数、熵编码的概率表格初始化标志等按照图片单位来设定的头部信息进行汇总而得到的。

切片等级头部是将表示该切片处于图片的哪个位置的位置信息、表示参照哪个图片等级头部的索引、切片的编码类型(所有帧内部编码、帧间编码等)、在该切片中使用的自适应参数集合的索引以及表示是否进行使用了上述索引所表示的自适应参数集合的环路滤波器部11中的各滤波处理(自适应滤波处理、像素自适应偏移处理、去块滤波处理)的标志信息等切片单位的参数进行汇总而得到的。

自适应参数集合是分别具有是否存在与自适应滤波处理、像素自适应偏移处理、去块滤波处理有关的参数(滤波参数)以及与量化矩阵有关的参数(量化矩阵参数)的标志、并具有仅与上述标志是“有效”的参数对应的参数的参数集合。而且，自适应参数集合还具有用于对在编码比特流中所复用的多个自适应参数集合进行识别的索引(aps_id)。

此处，可变长编码部13如图18那样在序列的切换时对新的序列等级头部(序列等级头部2)进行编码的情况下，使在本序列等级头部之前编码了的自适应参数集合全部成为无效。

因此，在图18中，在图片数据30的编码中参照自适应参数集合2这样的跨越序列等级头部的自适应参数集合的参照被禁止。

即，在对新的序列等级头部(序列等级头部2)进行了编码之后的图片中，使用自适应参数集合内的参数的情况下，需要将该参数作为新的自适应参数集合而进行编码。因此，在由于上述自适应参数集合的无效化处理等而无法使用任何过去的自适应参数集合的情况下新编码的自适应参数集合，成为量化矩阵等参数不参照过去的自适应参数集合而仅用该自适应参数集合就能够对所有参数进行解码的自适应参数集合。

这样，在序列的切换时，通过序列等级头部，对自适应参数集合进行初始化，从而在运动图像解码装置中，在新的序列等级头部被解码之前的编码比特流中产生了错误时，能够避免由于参照处于该流内的自适应参数集合而引起的解码错误，能够提高容错性。

其中，也可以构成为在序列等级头部中具有自适应参数集合的初始化标志aps_reset_flag从而提高容错性。具体而言，仅在初始化标志aps_reset_flag是“有效”的情况下，对自适应参数集合进行初始化，在初始化标志aps_reset_flag是“无效”的情况下，不对自适应参数集合进行初始化。通过这样作为序列等级头部的参数之一而具有自适应参数集合的初始化标志，从而能够实施自适应的初始化处理，通过仅在需要提高容错性时实施初始化，能够抑制自适应参数集合的初始化所致的编码效率降低。

而且，作为对于即使在运动图像解码装置中并非从编码比特流的开头而是从途中开始解码、在规定的图片以后也能够始终正确地实施影像再生的随机存取性进行保证的特殊的图片，有IDR(instantaneous decoding refresh，即时解码刷新)图片和CRA(cleanrandom access，净随机存取)图片。

图22示出包括IDR图片的图片构造的例子。其中，在图22中，将显示顺序以及编码(解码)顺序的最初的值设为0。

IDR图片是帧内部编码图片，是如下图片：即使在从IDR图片开始了解码的情况下，也对在IDR图片之后被编码的图片(图22中的灰色的图片)进行图22所示的运动补偿时的参照图片的限制，从而能够始终正确地解码IDR图片以及在IDR图片之后被解码的图片。

接下来，图23示出包括CRA图片的图片构造的例子。其中，在图23中将显示顺序以及编码(解码)顺序的最初的值设为0。

CRA图片是帧内部编码图片，是如下图片：即使在从CRA图片开始了解码的情况下，也对在CRA图片之后被编码、且在显示顺序中也比CRA图片靠后的图片(图23中的灰色的图片)进行图23所示的运动补偿时的参照图片的限制，而且，禁止先于CRA图片被编码并且显示顺序比CRA图片靠后的图片的存在，从而能够始终正确地解码CRA图片以及在CRA图片之后被显示的图片。

此处，在通过IDR图片、CRA图片进行随机存取的情况下，如果关于自适应参数集合，未具有在上述图片之前被编码了的全部自适应参数集合，则在上述中用IDR图片、CRA图片能够正确地解码的图片有可能变得无法正确地解码(这是因为这些能够正确地解码的图片有可能参照在IDR图片、CRA图片之前被编码了的自适应参数集合)。因此，在IDR图片、CRA图片的编码数据之前的编码比特流越长，必须对越大量的自适应参数集合进行解码，或者产生由于在IDR图片、CRA图片的编码数据之前的编码比特流的错误而无法对自适应参数集合进行解码而无法正确地解码图片这样的容错性的降低，所以作为自适应参数集合的参数的一部分，具有使已编码的自适应参数集合成为无效的标志previous_aps_clear_flag。可变长编码部13在previous_aps_clear_flag是“有效”的情况下，使在该自适应参数集合之前被编码了的自适应参数集合成为无效，在previous_aps_clear_flag是“无效”的情况下，不实施上述无效化处理。

图24示出表示一部分的自适应参数集合的无效化处理的编码比特流的例子。其中，关于图24的图片数据31，参照序列等级头部2、图片等级头部3、自适应参数集合21来进行编码(解码)处理。一般，把这样将与图片数据关联的头部信息进行汇总得到的图片存取的单位称为存取单元。

关于图24的自适应参数集合，仅针对自适应参数集合21使标志previous_aps_clear_flag成为“有效”，从而从自适应参数集合1至自适应参数集合20被无效化，在编码顺序中在IDR图片或者CRA图片以后的图片中，无法参照自适应参数集合1至自适应参数集合20。因此，在进行基于IDR图片、CRA图片的随机存取的情况下，从图24的序列等级头部2解码即可。

另一方面，在随机存取时的高速的解码处理、高的容错性变得不需要的情况下，使标志previous_aps_clear_flag始终成为“无效”而不进行自适应参数集合的无效化即可。因此，能够通过标志previous_aps_clear_flag，实现自适应的自适应参数集合的无效化处理。

在上述例子中，通过自适应参数集合内的标志previous_aps_clear_flag，实现了用于随机存取的自适应的自适应参数集合的无效化处理，但也可以通过在序列等级头部或者被称为NAL单元的单元内具有在对IDR图片或者CRA图片进行编码(解码)时使一部分的自适应参数集合成为无效化的标志part_aps_clear_flag，从而实现用于随机存取的自适应的自适应参数集合的无效化处理。其中，NAL单元是指，对图15中的切片数据、序列等级头部、图片等级头部、自适应参数头部等进行储存的单元，且是具有对于在单元内储存着的数据是切片数据还是头部信息这样的内容进行识别的识别信息的单元，在切片数据的情况下，还能够通过该识别信息，识别IDR图片或者CRA图片。

具体而言，在IDR图片或者CRA图片的编码时，如果标志part_aps_clear_flag是“有效”，则可变长编码部13使IDR图片或者CRA图片的前一个图片的图片数据之前的自适应参数集合成为无效，从而实现与标志previous_aps_clear_flag的情况同样的用于随机存取的自适应的自适应参数集合的无效化处理。即，在图24的例子的情况下，通过使序列等级头部2或者图片数据31的NAL单元内存在的标志part_aps_clear_flag成为“有效”，从而在图片数据31的编码时使作为图片数据31的前一个图片数据的图片数据30之前的自适应参数集合成为无效，所以在编码顺序中在IDR图片或者CRA图片以后的图片中，无法参照自适应参数集合1至自适应参数集合20。即，包括IDR图片、CRA图片的图片数据的存取单元之前的自适应参数集合被无效化，变得无法参照。因此，在进行基于IDR图片、CRA图片的随机存取的情况下，从图24的序列等级头部2解码即可。

另外，在上述说明中，在标志part_aps_clear_flag是“有效”的情况下，进行自适应参数集合的无效化处理，但也可以不设置上述标志，而在IDR图片或者CRA图片的编码时始终进行自适应参数集合的无效化处理。由此，与上述标志的编码所需的代码量相应量的代码量被削减，另外在编码处理时参照上述标志的处理变得不需要，运动图像编码装置被简化。

而且，作为实现利用IDR图片或者CRA图片的自适应参数集合的无效化处理的其他方法，还考虑构成在自适应参数集合内具有aps_group_id这样的参数的运动图像编码装置。

在上述运动图像编码装置中，如图27所示，在自适应参数集合内设置上述参数，在可变长编码部13对IDR图片或者CRA图片进行编码时，使具有与该IDR图片或者CRA图片的图片数据所参照的自适应参数集合具有的aps_group_id不同的值的aps_group_id的自适应参数集合成为无效。

例如，在图24的情况下，通过将自适应参数集合1至自适应参数集合20的aps_group_id设为0，并在自适应参数集合21以后将aps_group_id设为1，从而在IDR图片或者CRA图片的图片数据31参照自适应参数集合21时，使具有与自适应参数集合21的aps_group_id(＝1)不同的aps_group_id(＝0)的自适应参数集合1至自适应参数集合20无效化。因此，从图片数据31以后的图片数据起，无法参照自适应参数集合1至自适应参数集合20。

这样，根据IDR图片或者CRA图片，以变更自适应参数集合的aps_group_id的值的方式实施编码，从而限制自适应参数集合的参照，运动图像解码装置如果从包括IDR图片或者CRA图片的图片数据的存取单元开始解码，则在规定的图片以后能够始终正确地解码。另外，aps_group_id也可以设为仅具有0或者1的标志，在该情况下，根据IDR图片或者CRA图片，将自适应参数集合所具有的上述标志的值从0切换为1或者从1切换为0，从而能够实现同样的自适应参数集合的无效化处理。

通过使用导入上述aps_group_id的方法，即使在由于将编码比特流分配到多个线路来发送等这样的理由而在运动图像解码装置侧接受的编码比特流内的数据的顺序从在运动图像编码装置侧编码了的次序被调换了的情况下，也能够正确地解码。具体而言，即使按照图24的顺序编码了的编码比特流如图28所示，在运动图像解码装置侧以先于图片数据30而解码自适应参数集合21、22的方式被调换，在IDR图片或者CRA图片的图片数据31参照了自适应参数集合21时，也能够使具有与自适应参数集合21不同的aps_group_id(＝0)的自适应参数集合1至自适应参数集合20适当地无效化。

另外，在导入上述aps_group_id的方法中，相比于容错性，使编码效率更优先的情况下，根据IDR图片或者CRA图片对自适应参数集合的aps_group_id的值以不切换的方式进行编码，从而自适应参数集合不被无效化也行，所以能够避免可参照的自适应参数集合被限制所致的编码效率的降低。

另外，关于在自适应参数集合内具有aps_group_id的运动图像编码装置，也可以以使具有与在对IDR图片或者CRA图片以外的图片进行解码时也参照的aps_group_id不同的值的aps_group_id的自适应参数集合成为无效的方式构成运动图像编码装置。由此，能够进行任意地执行自适应参数集合的aps_group_id的变更的定时所致的自适应参数集合的自适应的无效化处理，能够实现自适应的容错性处理。

而且，作为实现利用IDR图片或者CRA图片的自适应参数集合的无效化处理的其他方法，也可以以在对IDR图片或者CRA图片进行编码时可变长编码部13使具有比IDR图片或者CRA图片所参照的自适应参数集合的索引(aps_id)小的索引的自适应参数集合成为无效化的方式，构成运动图像编码装置。

即，在图24、图28的例子中按照编码顺序附加了自适应参数集合的索引的情况下，在IDR图片或者CRA图片的图片数据31参照了自适应参数集合21时，具有比自适应参数集合21的索引小的索引的自适应参数集合1至自适应参数集合20被无效化。因此，从图片数据31以后的图片数据起无法参照自适应参数集合1至自适应参数集合20，运动图像解码装置如果从包括IDR图片或者CRA图片的图片数据31的存取单元开始解码，则在规定的图片以后能够始终正确地解码。

而且，可变长编码部13也可以构成为并非将量化矩阵参数作为自适应参数集合来实施编码，而是作为按照图片单位可变更的参数，在图片等级头部内实施编码。由此，能够以独立的单位对量化矩阵参数和滤波参数进行编码。在该情况下，对量化矩阵参数也实施与在上述中说明了的利用序列等级头部的自适应参数集合初始化处理、或伴随IDR、CRA图片的自适应参数集合的无效化处理同样的处理。

另外，可变长编码部13也可以构成为并非将在环路滤波器部11中使用的滤波参数作为自适应参数集合而实施编码，而是对于按照切片单位使用的滤波参数，直接利用切片等级头部等切片数据实施编码。由此，在切片之间不存在重复的滤波参数的情况下，无需为了在环路滤波器部11中使用的滤波参数而对在作为切片等级头部之一的切片的解码处理时所参照的自适应参数集合的索引进行编码，所以能够削减索引的代码量，能够改善编码效率。

在图1的例子中，设想了作为运动图像编码装置的构成要素的块分割部1、编码控制部2、切换开关3、帧内部预测部4、运动补偿预测部5、减法部6、变换/量化部7、逆量化/逆变换部8、加法部9、帧内部预测用存储器10、环路滤波器部11、运动补偿预测帧存储器12以及可变长编码部13的各个由专用的硬件(例如安装了CPU的半导体集成电路、单片式微型计算机等)所构成的例子，但在运动图像编码装置由计算机构成的情况下，也可以将记述了块分割部1、编码控制部2、切换开关3、帧内部预测部4、运动补偿预测部5、减法部6、变换/量化部7、逆量化/逆变换部8、加法部9、环路滤波器部11以及可变长编码部13的处理内容的程序储存到计算机的存储器，该计算机的CPU执行在该存储器中储存着的程序。

在图3中，可变长解码部31如果输入了由图1的运动图像编码装置所生成的编码比特流，则从该比特流，解码序列等级头部、图片等级头部、自适应参数集合、切片等级头部等各头部信息，并且从该比特流，可变长解码表示层次性地分割的各个编码块的分割状况的块分割信息。

此时，从由可变长解码部31可变长解码了的自适应参数集合内的量化矩阵参数，确定该自适应参数集合的量化矩阵。具体而言，在针对各正交变换尺寸的颜色信号、编码模式的每一个，量化矩阵参数表示是作为初始值预先在运动图像编码装置以及运动图像解码装置中共同地准备的量化矩阵、或者已经解码了的量化矩阵(并非新的量化矩阵)的情况下，参照确定是上述自适应参数集合中包含的上述矩阵内的哪个量化矩阵的索引信息来确定量化矩阵，在量化矩阵参数表示使用新的量化矩阵的情况下，将量化矩阵参数中包含的量化矩阵确定为要使用的量化矩阵。

另外，可变长解码部31实施如下处理：参照各头部信息，确定切片数据中包含的最大解码块(与图1的运动图像编码装置的“最大编码块”相当的块)，参照块分割信息，确定作为对最大解码块层次性地进行分割来进行解码处理的单位的解码块(与图1的运动图像编码装置的“编码块”相当的块)，对与各个解码块有关的压缩数据、编码模式、帧内部预测参数(编码模式是帧内部编码模式的情况)、帧间预测参数(编码模式是帧间编码模式的情况)、预测差分编码参数以及运动矢量(编码模式是帧间编码模式的情况)进行可变长解码。另外，可变长解码部31构成了可变长解码部件。

逆量化/逆变换部32实施如下处理：参照由可变长解码部31可变长解码了的预测差分编码参数中包含的量化参数以及正交变换块分割信息，对由可变长解码部31可变长解码了的压缩数据按照正交变换块单位进行逆量化，并且实施针对作为逆量化后的压缩数据的变换系数的逆正交变换处理，计算与从图1的逆量化/逆变换部8输出了的局部解码预测差分信号相同的解码预测差分信号。另外，逆量化/逆变换部32构成了差分图像生成部件。

此处，在由可变长解码部31可变长解码了的各头部信息表示在该切片中使用量化矩阵来实施逆量化处理的情况下，使用量化矩阵来进行逆量化处理。

具体而言，使用在根据各头部信息确定的该切片中参照的自适应参数集合的量化矩阵来进行逆量化处理。

切换开关33实施如下处理：如果由可变长解码部31可变长解码了的编码模式是帧内部编码模式，则将由可变长解码部31可变长解码了的帧内部预测参数输出到帧内部预测部34，如果由可变长解码部31可变长解码了的编码模式是帧间编码模式，则将由可变长解码部31可变长解码了的帧间预测参数以及运动矢量输出到运动补偿部35。

帧内部预测部34实施如下处理：在根据由可变长解码部31可变长解码了的块分割信息确定的与解码块有关的编码模式是帧内部编码模式的情况下，针对作为进行该解码块的预测处理时的预测处理单位的每个预测块，一边参照在帧内部预测用存储器37中储存着的解码图像，一边实施使用了从切换开关33输出了的帧内部预测参数的帧内部预测处理(帧内预测处理)来生成帧内部预测图像。

运动补偿部35实施如下处理：在根据由可变长解码部31可变长解码了的块分割信息确定的与解码块有关的编码模式是帧间编码模式的情况下，针对作为进行上述解码块的预测处理时的预测处理单位的每个预测块，一边参照在运动补偿预测帧存储器39中储存着的解码图像，一边实施使用了从切换开关33输出了的运动矢量和帧间预测参数的帧间预测处理(运动补偿预测处理)来生成帧间预测图像。

另外，由帧内部预测部34、帧内部预测用存储器37、运动补偿部35以及运动补偿预测帧存储器39构成了预测部件。

加法部36实施如下处理：将由逆量化/逆变换部32计算出的解码预测差分信号、和由帧内部预测部34所生成的帧内部预测图像或者由运动补偿部35所生成的帧间预测图像进行相加，计算与从图1的加法部9输出了的局部解码图像相同的解码图像。另外，加法部36构成了解码图像生成部件。

帧内部预测用存储器37是储存由加法部36计算出的解码图像的记录介质。

环路滤波器部38实施如下处理：对由加法部36计算出的解码图像，实施规定的滤波处理，输出滤波处理后的解码图像。

具体而言，进行如下处理：使在正交变换块的边界、预测块的边界中发生的失真降低的滤波(去块滤波)处理、按照像素单位自适应地相加偏移的(像素自适应偏移)处理、自适应地切换维纳滤波器等线性滤波器来实施滤波处理的自适应滤波处理等。

其中，环路滤波器部38针对上述去块滤波处理、像素自适应偏移处理、自适应滤波处理的各个，参照由可变长解码部31可变长解码了的各头部信息，确定是否利用该切片来进行。

另外，在图1的运动图像编码装置中，在并非将在环路滤波器部38中使用的滤波参数作为头部信息之一的自适应参数集合的一部分而实施编码，而是对于按照切片单位使用的滤波参数分别直接利用切片数据来实施编码的情况下，可变长解码部31从切片数据，解码在环路滤波器部38中使用的滤波参数。

此时，在进行2个以上的滤波处理的情况下，如果运动图像编码装置的环路滤波器部11如图11那样构成，则如图12所示构成环路滤波器部38。

另外，环路滤波器部38构成了滤波部件。

此处，在去块滤波处理中，参照该切片所参照的自适应参数集合，当存在将对块边界施加的滤波强度的选择中使用的各种参数从初始值进行变更的信息的情况下，根据该变更信息，实施去块滤波处理。在无变更信息的情况下，依照预先决定的方法进行。

在像素自适应偏移处理中，参照该切片所参照的自适应参数集合，根据在该自适应参数集合中包含的块分割信息来分割解码图像，并按照该块单位，参照表示该自适应参数集合中包含的块单位的级别分类方法的索引，在该索引并非是表示“不进行偏移处理”的索引的情况下，按照块单位，依照上述索引表示的级别分类方法，对块内的各像素进行级别分类。

另外，作为级别分类方法的候补，预先准备了与环路滤波器部11的像素自适应偏移处理的级别分类方法的候补相同的候补。

然后，进行如下处理：参照对块单位的各级别的偏移值进行确定的偏移信息(自适应参数集合中包含的偏移信息)，对解码图像的亮度值相加偏移。

其中，在运动图像编码装置的环路滤波器部11的像素自适应偏移处理中，关于块分割信息不进行编码，而始终将图像分割为固定尺寸的块单位(例如最大编码块单位)，针对每个该块选择级别分类方法，进行每个级别的自适应偏移处理的情况下，在环路滤波器部38中，也按照与环路滤波器部11相同的固定尺寸的块单位，实施像素自适应偏移处理。

在自适应滤波处理中，参照该切片所参照的自适应参数集合，使用该自适应参数集合中包含的每个级别的滤波器，通过与图1的运动图像编码装置相同的方法来实施级别分类，之后根据该级别分类信息，进行滤波处理。

其中，在运动图像编码装置的环路滤波器部11的自适应滤波处理中，并非是针对整个图像，而是例如针对最大编码块这样的固定尺寸的每个块进行上述级别分类以及滤波器设计/滤波处理的情况下，在环路滤波器部38中，针对与环路滤波器部11相同的固定尺寸的每个块，也对在各级别中使用的滤波器进行解码来进行上述级别分类以及滤波处理。

另外，可变长解码部31如图18那样，为了序列的切换而在编码比特流的途中插入了新的序列等级头部(序列等级头部2)的情况下，在对新的序列等级头部进行解码的时间点使已经解码了的自适应参数集合全部成为无效。

因此，在图18中，在图片数据30的解码时参照自适应参数集合2这样的跨越序列等级头部的自适应参数集合的参照不会发生。而且，在通过上述自适应参数集合的无效化处理等而无法使用任何过去的自适应参数集合的情况下所解码的自适应参数集合，成为量化矩阵等的参数不参照过去的自适应参数集合而仅利用该自适应参数集合就能够对所有参数进行解码的自适应参数集合。

通过该限制，能够避免在新的序列等级头部之前的编码比特流中产生了错误时参照该比特流内存在的自适应参数集合所致的解码错误，能够提高容错性。

其中，在运动图像编码装置构成为在序列等级头部中具有自适应参数集合的初始化标志aps_reset_flag的情况下，仅在由可变长解码部31解码了的标志aps_reset_flag是“有效”的情况下，对自适应参数集合进行初始化，在标志aps_reset_flag是“无效”的情况下，不对自适应参数集合进行初始化。由此，能够对由进行利用自适应参数集合的初始化标志aps_reset_flag的自适应的初始化处理的运动图像编码装置所生成的流正确地进行解码。

而且，在运动图像编码装置构成为作为自适应参数集合的参数的一部分而具有使已解码的自适应参数集合成为无效的标志previous_aps_clear_flag的情况下，在由可变长解码部31解码了的previous_aps_clear_flag是“有效”的情况下，可变长解码部31使在该自适应参数集合之前解码了的自适应参数集合成为无效，在previous_aps_clear_flag是“无效”的情况下，不实施上述无效化处理。

即，在图24的编码比特流的例子中，如果运动图像编码装置的可变长编码部13将自适应参数集合21的标志previous_aps_clear_flag编码为“有效”，则自适应参数集合1至自适应参数集合20被无效化，在编码顺序中在IDR图片或者CRA图片以后的图片中不参照自适应参数集合1至自适应参数集合20，所以在从包括作为IDR图片或者CRA图片的图片数据31的存取单元的开头即序列等级头部2起的解码中，能够实现利用IDR图片、CRA图片的随机存取。

或者，在运动图像编码装置构成为通过在序列等级头部或者NAL单元内具有在对IDR图片或者CRA图片进行解码时使一部分的自适应参数集合成为无效化的标志part_aps_clear_flag，从而实现用于随机存取的自适应参数集合的无效化处理的情况下，如果在IDR图片或者CRA图片的解码时由可变长解码部31解码了的标志part_aps_clear_flag是“有效”，则可变长解码部31使IDR图片或者CRA图片的前一个图片的图片数据之前存在的自适应参数集合成为无效。即，在图24的例子的情况下，如果运动图像编码装置的可变长编码部13将序列等级头部2或者图片数据31的NAL单元内存在的标志part_aps_clear_flag编码为“有效”，则在图片数据31的解码时使作为图片数据31的前一个图片数据的图片数据30之前存在的自适应参数集合成为无效，所以在解码顺序中在IDR图片或者CRA图片以后的图片中，不参照自适应参数集合1至自适应参数集合20，在从序列等级头部2起的解码中，能够实现利用IDR图片、CRA图片的随机存取。

但是，在运动图像编码装置构成为不设置上述标志，而在IDR图片或者CRA图片的编码时始终进行自适应参数集合的无效化处理的情况下，通过以在IDR图片或者CRA图片的解码时可变长解码部31始终进行上述自适应参数集合的无效化处理的方式来构成运动图像解码装置，能够对由上述运动图像编码装置所生成的编码比特流正确地进行解码。

而且，作为实现利用IDR图片或者CRA图片的自适应参数集合的无效化处理的方法，在运动图像编码装置构成为在自适应参数集合内具有aps_group_id这样的参数的情况下，运动图像解码装置的可变长解码部31在对IDR图片或者CRA图片进行解码时，使具有与该IDR图片或者CRA图片的图片数据所参照的自适应参数集合所具有的aps_group_id不同的值的aps_group_id的自适应参数集合成为无效。

例如，在图24的情况下，以使自适应参数集合1至自适应参数集合20的aps_group_id成为0、在自适应参数集合21以后使aps_group_id成为1的方式，运动图像编码装置进行编码，从而运动图像解码装置的可变长解码部31在IDR图片或者CRA图片的图片数据31参照自适应参数集合21时，使具有与自适应参数集合21的aps_group_id(＝1)不同的aps_group_id(＝0)的自适应参数集合1至自适应参数集合20成为无效化，所以从图片数据31以后的图片数据起无法参照自适应参数集合1至自适应参数集合20，运动图像解码装置通过从包括IDR图片或者CRA图片的图片数据31的存取单元的开头即序列等级头部2开始解码，能够在规定的图片以后始终正确地解码。

另外，在导入上述aps_group_id的方法中，在运动图像编码装置相比于容错性使编码效率更优先，而根据IDR图片或者CRA图片以不切换自适应参数集合的aps_group_id的值的方式进行了编码的情况下，即使在运动图像解码装置中，在IDR图片或者CRA图片的图片数据参照自适应参数集合时，由于不存在具有与参照的自适应参数集合所具有的aps_group_id不同的值的aps_group_id的自适应参数集合，所以自适应参数集合不会被无效化而能够正确地解码。

另外，在以使具有与在对IDR图片或者CRA图片以外的图片进行解码时也参照的aps_group_id不同的值的aps_group_id的自适应参数集合成为无效的方式构成了运动图像编码装置的情况下，运动图像解码装置的可变长解码部31使具有与在对图片进行解码时参照的aps_group_id不同的值的aps_group_id的自适应参数集合成为无效。由此，能够对由实现因任意地进行自适应参数集合的aps_group_id的变更的定时所致的自适应参数集合的自适应的无效化处理的运动图像编码装置所生成的流正确地进行解码。

而且，作为实现利用IDR图片或者CRA图片的自适应参数集合的无效化处理的其他方法，在运动图像编码装置的可变长编码部13构成为在对IDR图片或者CRA图片进行编码时通过自适应参数集合的索引(aps_id)进行利用IDR图片或者CRA图片的自适应参数集合的无效化处理的情况下，运动图像解码装置的可变长解码部31在参照了IDR图片或者CRA图片所参照的自适应参数集合时，使具有比该自适应参数集合的索引(aps_id)小的索引的自适应参数集合成为无效化。

而且，在运动图像编码装置中，在构成为并非将量化矩阵参数作为自适应参数集合来实施编码，而是作为按照图片单位可变更的参数而在图片等级头部内实施编码的情况下，对量化矩阵参数也实施与在上述中说明了的利用序列等级头部的自适应参数集合初始化处理、或伴随IDR、CRA图片的自适应参数集合的无效化处理同样的处理。

运动补偿预测帧存储器39是储存环路滤波器部38的滤波处理后的解码图像的记录介质。

另外，一般在运动图像解码装置中，作为表示用于规定存储器容量等电路规模的制约的例子，有时规定了分布(profile)和等级。在分布中规定运动图像解码装置的规范(可变长解码部、逆量化/逆变换部、帧内部预测部、运动补偿部、环路滤波器部等的构成内容)，在等级中限制最大输入图像尺寸、帧存储器数、可取的运动矢量的范围等运动图像解码装置的必要存储器容量、对运算量有影响的设定值。另一方面，关于环路滤波器部38中的像素自适应偏移处理的每个图片的偏移数、自适应滤波处理的每个图片的滤波器数，图像的空间分辨率越高，最佳的数量越大，所以关于像素自适应偏移处理的每个图片的最大偏移数、自适应滤波处理的每个图片的最大滤波器数，也可以根据在等级中规定的最大输入图像尺寸来规定。由此，能够自适应地规定适合的最大偏移数、最大滤波器数。

在图3的例子中，设想了作为运动图像解码装置的构成要素的可变长解码部31、逆量化/逆变换部32、切换开关33、帧内部预测部34、运动补偿部35、加法部36、帧内部预测用存储器37、环路滤波器部38以及运动补偿预测帧存储器39的各个由专用的硬件(例如安装了CPU的半导体集成电路、单片式微型计算机等)构成了的例子，但在运动图像解码装置由计算机构成的情况下，也可以将记述了可变长解码部31、逆量化/逆变换部32、切换开关33、帧内部预测部34、运动补偿部35、加法部36以及环路滤波器部38的处理内容的程序储存到计算机的存储器，该计算机的CPU执行在该存储器中储存着的程序。

接下来，说明动作。

在该实施方式1中，说明将影像的各帧图像作为输入图像而实施从已编码的附近像素起的帧内部预测或者接近帧间的运动补偿预测，并对所得到的预测差分信号实施利用正交变换、量化的压缩处理，之后进行可变长编码来生成编码比特流的运动图像编码装置，以及对从该运动图像编码装置输出的编码比特流进行解码的运动图像解码装置。

图1的运动图像编码装置的特征在于，适应于影像信号的空间/时间方向的局部性的变化，将影像信号分割为各种尺寸的块，进行帧内/帧间自适应编码。

一般，影像信号具有在空间/时间上信号的复杂度局部性地变化的特性。如果在空间上观察，则在某个影像帧上，例如有时既有如天空、壁等那样的在比较宽的图像区域中具有均匀的信号特性的图样，也混合存在人物或包含细致的纹理的绘画等在小的图像区域内具有复杂的纹理图案的图样。

即使在时间上观察，关于天空或壁，局部性地时间方向的图样的变化小，但关于活动的人物、物体，其轮廓在时间上呈现刚体/非刚体的运动，所以时间上的变化大。

在编码处理中，进行通过时间/空间上的预测来生成信号功率、熵小的预测差分信号从而削减整体的代码量的处理，但只要能够将在预测中使用的参数均匀地应用于尽可能大的图像信号区域，就能够减小该参数的代码量。

另一方面，针对在时间上/空间上变化大的图像信号图案，如果将同一预测参数应用于大的图像区域，则预测的错误增加，所以预测差分信号的代码量增加。

因此，在时间上/空间上变化大的区域中，期望减小应用同一预测参数来进行预测处理的块尺寸，增加在预测中使用的参数的数据量，降低预测差分信号的功率/熵。

在该实施方式1中，进行与这样的影像信号的一般的性质适应的编码，所以构成为最初从规定的最大块尺寸开始预测处理等，层次性地分割影像信号的区域，针对所分割的每个区域，使预测处理、其预测差分的编码处理自适应化。

关于图1的运动图像编码装置设为处理对象的影像信号格式，除了由亮度信号和2个色差信号构成的YUV信号、从数字摄像元件输出的RGB信号等任意的颜色空间的彩色影像信号以外，还有单色图像信号、红外线图像信号等影像帧由水平/垂直二维的数字采样(像素)列构成的任意的影像信号。

其中，各像素的灰度既可以是8比特，也可以是10比特、12比特等灰度。

在以下的说明中，为便于说明，只要没有特别说明，就设为输入图像的影像信号是YUV信号，并且叙述处理相对亮度分量Y对2个色差分量U、V进行子采样而得到的4：2：0格式的信号的情况。

另外，将与影像信号的各帧对应的处理数据单位称为“图片”。

在该实施方式1中，将“图片”设为逐次扫描(逐行扫描)了的影像帧信号而进行说明，但在影像信号是隔行扫描信号的情况下，“图片”也可以是作为构成影像帧的单位的场图像信号。

最初，说明图1的运动图像编码装置的处理内容。

首先，编码控制部2决定成为编码对象的图片(当前图片)的切片分割状态，并且决定在图片的编码中使用的最大编码块的尺寸、和对最大编码块进行层次分割的层次数的上限(图2的步骤ST1)。

作为最大编码块的尺寸的决定方法，例如既可以根据输入图像的影像信号的分辨率，针对所有图片决定同一尺寸，也可以将输入图像的影像信号的局部性的运动的复杂度的差异作为参数而进行定量化，针对运动剧烈的图片决定小的尺寸，另一方面针对运动少的图片决定大的尺寸。

作为分割层次数的上限的决定方法，例如有如下方法：根据输入图像的影像信号的分辨率针对所有图片决定同一层次数的方法、在输入图像的影像信号的运动剧烈的情况下增大层次数而设定为能够检测更细的运动并在运动少的情况下设定为抑制层次数的方法等。

另外，关于上述最大编码块的尺寸、和对最大编码块进行层次分割的层次数的上限，既可以在序列等级头部等中编码，也可以不编码而在运动图像解码装置侧也进行相同的决定处理。前者虽然使头部信息的代码量增加，但在运动图像解码装置侧不进行上述决定处理也行，所以能够抑制运动图像解码装置的处理负荷，而且能够在运动图像编码装置侧搜索最佳的值来发送。后者相反地，在运动图像解码装置侧进行上述决定处理，所以虽然使运动图像解码装置的处理负荷增加，但头部信息的代码量不增加。

另外，编码控制部2从可利用的1个以上的编码模式中，选择与层次性地分割的各个编码块对应的编码模式(步骤ST2)。

即，编码控制部2针对最大编码块尺寸的每个图像区域，直至达到先前所决定的分割层次数的上限，层次性地分割为具有编码块尺寸的编码块，决定针对各个编码块的编码模式。

在编码模式中，有一个或多个帧内部编码模式(总称为“INTRA”)、和一个或多个帧间编码模式(总称为“INTER”)，编码控制部2从在该图片中可利用的所有编码模式或者其子集合中，选择与各个编码块对应的编码模式。

其中，关于由后述的块分割部1层次性地分割的各个编码块，被进一步分割为作为进行预测处理的单位的一个或多个预测块，预测块的分割状态也作为信息而包含于编码模式中。即，编码模式是对于是具有什么样的预测块分割的帧内部或者帧间编码模式进行识别的索引。

关于由编码控制部2实施的编码模式的选择方法，是公知的技术，所以省略详细的说明，但例如有如下方法等：使用可利用的任意的编码模式，实施针对编码块的编码处理来验证编码效率，在可利用的多个编码模式中，选择编码效率最良好的编码模式。

另外，编码控制部2针对各个编码块的每一个，决定在压缩差分图像时使用的量化参数以及正交变换块分割状态，并且决定在实施预测处理时使用的预测参数(帧内部预测参数或者帧间预测参数)。

其中，在编码块被进一步分割为进行预测处理的预测块单位的情况下，能够针对每个预测块，选择预测参数(帧内部预测参数或者帧间预测参数)。

而且，在编码模式是帧内部编码模式的编码块中，虽然在后面详细叙述，但在进行帧内部预测处理时使用与预测块邻接的已编码的像素，所以需要按照预测块单位进行编码，所以可选择的变换块尺寸被限制为预测块的尺寸以下。

编码控制部2将包括量化参数以及变换块尺寸的预测差分编码参数输出到变换/量化部7、逆量化/逆变换部8以及可变长编码部13。

另外，编码控制部2将帧内部预测参数根据需要而输出到帧内部预测部4。

另外，编码控制部2将帧间预测参数根据需要而输出到运动补偿预测部5。

切片分割部14如果作为输入图像而输入了影像信号，则将该输入图像，依照由编码控制部2所决定的切片分割信息，分割为作为1个以上的部分图像的切片。

块分割部1每当从切片分割部14输入了各切片时，将该切片分割为由编码控制部2所决定的最大编码块尺寸，进而将所分割的最大编码块层次性地分割为由编码控制部2所决定的编码块，输出该编码块。

此处，图5是示出最大编码块被层次性地分割为多个编码块的例子的说明图。

在图5中，最大编码块是记载为“第0层次”的亮度分量具有(L⁰，M⁰)的尺寸的编码块。

将最大编码块设为出发点，直至在四叉树构造中另外决定的规定的深度为止，层次性地进行分割，从而得到编码块。

在深度n中，编码块是尺寸(Lⁿ，Mⁿ)的图像区域。

其中，Lⁿ和Mⁿ既可以相同也可以不同，但在图5中，示出了Lⁿ＝Mⁿ的情形。

以后，将由编码控制部2决定的编码块尺寸定义为编码块的亮度分量中的尺寸(Lⁿ，Mⁿ)。

由于进行四叉树分割，所以(Lⁿ⁺¹，Mⁿ⁺¹)＝(Lⁿ/2，Mⁿ/2)始终成立。

另外，在RGB信号等所有颜色分量具有同一采样数的彩色影像信号(4：4：4格式)中，所有颜色分量的尺寸成为(Lⁿ，Mⁿ)，但在处理4：2：0格式的情况下，对应的色差分量的编码块尺寸成为(Lⁿ/2，Mⁿ/2)。

以后，设为用Bⁿ表示第n层次的编码块，用m(Bⁿ)表示在编码块Bⁿ中可选择的编码模式。

在由多个颜色分量构成的彩色影像信号的情况下，编码模式m(Bⁿ)既可以构成为针对每个颜色分量分别使用单独的模式，也可以构成为针对所有颜色分量使用共同的模式。以后，只要没有特别说明，就设为是指针对YUV信号、4：2：0格式的编码块的亮度分量的编码模式来进行说明。

关于编码块Bⁿ，如图5所示，通过块分割部1而被分割为表示预测处理单位的一个或多个预测块。

以后，将属于编码块Bⁿ的预测块记载为P_i ⁿ(i是第n层次中的预测块编号)。在图5中示出了P₀ ⁰和P₁ ⁰的例子。

在编码模式m(Bⁿ)中，作为信息包含有如何进行编码块Bⁿ内的预测块的分割。

关于预测块P_i ⁿ，全部依照编码模式m(Bⁿ)进行预测处理，但能够针对每个预测块P_i ⁿ，选择单独的预测参数(帧内部预测参数或者帧间预测参数)。

编码控制部2针对最大编码块，例如生成图6所示那样的块分割状态，确定编码块。

图6(a)的虚线所包围的矩形表示各编码块，各编码块内存在的用斜线涂覆了的块表示各预测块的分割状态。

在图6(b)中，用四叉树图形示出了关于图6(a)的例子通过层次分割来分配编码模式m(Bⁿ)的状况。图6(b)的□所包围的节点是分配了编码模式m(Bⁿ)的节点(编码块)。

该四叉树图形的信息与编码模式m(Bⁿ)一起从编码控制部2被输出到可变长编码部13，而复用到比特流中。

切换开关3在由编码控制部2所决定的编码模式m(Bⁿ)是帧内部编码模式的情况(m(Bⁿ)∈INTRA的情况)下，将从块分割部1输出了的编码块Bⁿ输出到帧内部预测部4。

另一方面，在由编码控制部2所决定的编码模式m(Bⁿ)是帧间编码模式的情况(m(Bⁿ)∈INTER的情况)下，将从块分割部1输出了的编码块Bⁿ输出到运动补偿预测部5。

在帧内部预测部4中，如果由编码控制部2所决定的编码模式m(Bⁿ)是帧内部编码模式(m(Bⁿ)∈INTRA的情况)，且从切换开关3接收到编码块Bⁿ(步骤ST3)，则一边参照在帧内部预测用存储器10中储存着的局部解码图像，一边使用由编码控制部2所决定的帧内部预测参数，实施针对该编码块Bⁿ内的各预测块P_i ⁿ的帧内部预测处理，生成帧内部预测图像P_INTRAi ⁿ(步骤ST4)。

另外，运动图像解码装置需要生成与帧内部预测图像P_INTRAi ⁿ完全相同的帧内部预测图像，所以在帧内部预测图像P_INTRAi ⁿ的生成中所使用的帧内部预测参数从编码控制部2被输出到可变长编码部13，而复用到比特流中。

帧内部预测部4的处理内容的详细内容后述。

在运动补偿预测部5中，如果由编码控制部2所决定的编码模式m(Bⁿ)是帧间编码模式(m(Bⁿ)∈INTER的情况)，且从切换开关3接收到编码块Bⁿ(步骤ST3)，则比较该编码块Bⁿ内的各预测块P_i ⁿ和在运动补偿预测帧存储器12中储存着的滤波处理后的局部解码图像来搜索运动矢量，使用该运动矢量和由编码控制部2所决定的帧间预测参数，实施针对该编码块Bⁿ内的各预测块P_i ⁿ的帧间预测处理，生成帧间预测图像P_INTERi ⁿ(步骤ST5)。

另外，运动图像解码装置需要生成与帧间预测图像P_INTERi ⁿ完全相同的帧间预测图像，所以在帧间预测图像P_INTERi ⁿ的生成中所使用的帧间预测参数从编码控制部2被输出到可变长编码部13，而复用到比特流中。

另外，由运动补偿预测部5搜索到的运动矢量也被输出到可变长编码部13，而复用到比特流中。

减法部6如果从块分割部1接收到编码块Bⁿ，则从该编码块Bⁿ内的预测块P_i ⁿ，减去由帧内部预测部4所生成的帧内部预测图像P_INTRAi ⁿ、或者由运动补偿预测部5所生成的帧间预测图像P_INTERi ⁿ中的某一方，将表示作为其减法结果的差分图像的预测差分信号e_i ⁿ输出到变换/量化部7(步骤ST6)。

变换/量化部7如果从减法部6接收到预测差分信号e_i ⁿ，则参照由编码控制部2所决定的预测差分编码参数中包含的正交变换块分割信息，按照正交变换块单位来实施针对该预测差分信号e_i ⁿ的正交变换处理(例如DCT(离散余弦变换)、DST(离散正弦变换)、预先对特定的学习序列进行了基底设计的KL变换等正交变换处理)，计算变换系数。

另外，变换/量化部7参照在该预测差分编码参数中包含的量化参数，对该正交变换块单位的变换系数进行量化，将作为量化后的变换系数的压缩数据输出到逆量化/逆变换部8以及可变长编码部13(步骤ST7)。此时，也可以使用将根据上述量化参数计算出的量化步长针对每个变换系数进行缩放的量化矩阵来实施量化处理。

关于量化矩阵，能够以各正交变换尺寸针对每个颜色信号、编码模式(是帧内部编码还是帧间编码)使用独立的矩阵，能够分别选择是从作为初始值预先在运动图像编码装置以及运动图像解码装置中共同地准备的量化矩阵或已经编码了的量化矩阵中选择、还是使用新的量化矩阵。

因此，变换/量化部7对各正交变换尺寸，针对颜色信号、编码模式的每一个，将表示是否使用新的量化矩阵的标志信息设定为应编码的量化矩阵参数。

逆量化/逆变换部8如果从变换/量化部7接收到压缩数据，则参照由编码控制部2所决定的预测差分编码参数中包含的量化参数以及正交变换块分割信息，按照正交变换块单位，对该压缩数据进行逆量化。

在变换/量化部7在量化处理中使用了量化矩阵的情况下，在逆量化处理时也参照该量化矩阵，实施对应的逆量化处理。

另外，逆量化/逆变换部8按照正交变换块单位，实施针对作为逆量化后的压缩数据的变换系数的逆正交变换处理(例如逆DCT、逆DST、逆KL变换等)，计算与从减法部6输出了的预测差分信号e_i ⁿ相当的局部解码预测差分信号，而输出到加法部9(步骤ST8)。

加法部9如果从逆量化/逆变换部8接收到局部解码预测差分信号，则通过将该局部解码预测差分信号、和由帧内部预测部4所生成的帧内部预测图像P_INTRAi ⁿ或者由运动补偿预测部5所生成的帧间预测图像P_INTERi ⁿ中的某一方进行相加，从而计算局部解码图像(步骤ST9)。

另外，加法部9将该局部解码图像输出到环路滤波器部11，并且将该局部解码图像储存到帧内部预测用存储器10。

该局部解码图像成为在以后的帧内部预测处理时使用的已编码的图像信号。

环路滤波器部11如果从加法部9接收到局部解码图像，则对该局部解码图像实施规定的滤波处理，将滤波处理后的局部解码图像储存到运动补偿预测帧存储器12(步骤ST10)。

其中，环路滤波器部11针对上述去块滤波处理、像素自适应偏移处理、自适应滤波处理的各个，决定是否进行处理，将各处理的有效标志作为应编码的自适应参数集合的一部分以及切片等级头部的一部分而输出到可变长编码部13。另外，在使用多个上述滤波处理时，依次实施各滤波处理。图11示出了使用多个滤波处理时的环路滤波器部11的结构例。

一般所使用的滤波处理的种类越多，图像品质越提高，但另一方面处理负荷越高。即，图像品质和处理负荷处于折衷的关系。另外，各滤波处理的图像品质改善效果根据滤波处理对象图像的特性而不同。因此，依照运动图像编码装置容许的处理负荷、编码处理对象图像的特性来决定所使用的滤波处理即可。

最后，进行对局部解码图像的亮度值相加该偏移值的处理，从而改善局部解码图像的图像品质。

作为级别分类方法，有如下方法：按照局部解码图像的亮度值的大小进行分类的方法(称为BO方法)、针对边缘的每个方向根据各像素的周围的状况(是否为边缘部等)进行分类的方法(称为EO方法)。

预先在运动图像编码装置以及运动图像解码装置中共同地准备这些方法，如图16所示，即使在不进行偏移处理的情况下也定义为级别分类方法之一，按照上述块单位，选择表示利用这些方法中的哪个方法来进行级别分类的索引。

此处，图13是示出BO方法的说明图。

在BO方法中，最初，将局部解码图像的亮度值等分为M_BO个群组。其中，M_BO是成为(亮度值的最大值)-(亮度值的最小值)+1的约数的常数，在图13的例子中，设为M_BO＝32。

接下来，将块内的各像素，按照该像素的亮度值而分类到M_BO个群组中的对应的群组。

然后，为了决定成为相加偏移的群组的级别，决定表示级别的开头位置的bo_start_position。

如图13所示，从bo_start_position表示的群组，依次决定为级别0、级别1、级别2、...、级别L_BO-1。其中，L_BO是表示级别数的常数，在图13的例子中，设为L_BO＝4。

bo_start_position是应编码的自适应参数集合的一部分，以使图像品质改善效果变得最高的方式，与对属于各级别的像素相加的偏移值一起决定bo_start_position。

另外，关于常数M_BO，值越大，能够按照越细小的单位来设定偏移，所以图像品质改善效果提高，但bo_start_position可取的范围变大，所以bo_start_position的编码所需的代码量增加。

关于常数L_BO，值越大，偏移的个数越增加，所以图像品质改善效果提高，但偏移的编码所需的代码量增加。

因此，关于常数M_BO、L_BO的值，考虑图像品质改善效果和代码量的折衷，预先在运动图像编码装置以及运动图像解码装置中设定为共同地适合的值。

另外，关于常数M_BO、L_BO的值，也可以并非是预先在运动图像编码装置以及运动图像解码装置中共同地准备的常数，而是设为应编码的自适应参数集合的一部分。在该情况下，能够自适应地设定常数M_BO、L_BO，所以图像品质改善效果提高，但另一方面，应编码的信息增加，所以代码量增加。

接下来，图14是示出EO方法的说明图。

图14的c表示偏移处理对象像素，a、b表示与c邻接的像素。

如图14所示，关于级别分类方法，按照a、b、c排列的方向有4个，从方法1，依次对应于图16所示的EO方法1至EO方法4。

在各分类方法中，依照图14所示的级别分类条件，将块内的各像素分类为5个级别，决定与属于级别的像素相加的偏移值。

关于与属于各级别的像素相加的偏移值，如图17例示那样，预先在运动图像编码装置以及运动图像解码装置中共同地准备决定了各级别的偏移值的表格，将表示所使用的偏移值的组合的索引选择为偏移信息。

由此，虽然可取的偏移值被限制，但通过预先适合地设定在上述表格中准备的每个级别的偏移值的组合，从而相比于对偏移值直接进行编码，能够削减偏移信息的编码所需的代码量，并且实现高精度的失真补偿处理。

另外，作为由可变长编码部13实施的上述索引的编码方法，由于根据预先准备了的表格可知可取的索引的范围，所以如图25所示的truncated unary码(截断一元码)那样，使用考虑了编码对象码元的值的范围的2值化方法，从而能够实现高效的编码。其中，图25是将编码对象码元的值的范围设定为0至5时的例子。

此时，关于预先准备的表格，既可以在所有级别分类方法中共同，也可以根据级别分类方法来分类所准备的表格。

例如，在BO方法和EO方法中，处理完全不同，所以通过分别准备不同的表格，能够实现自适应的图像品质改善。

而且，关于EO方法，在EO方法1、2、和EO方法3、4中，像素a、b、c的距离不同，所以通过分别准备EO方法1、2用的表格、和EO方法3、4用的表格，能够实现自适应的图像品质改善。

但是，如果准备的表格变多，则用于保持该表格的存储器的容量也增加。因此，根据在运动图像编码装置以及运动图像解码装置中能准备的存储器容量，可准备的表格数被限制。

另外，通过增加各表格具有的索引数(各级别的偏移的组合数)，能够实现高精度的图像品质改善，但由于可选择的表格的索引数增加，从而索引的编码所需的代码量增加。因此，考虑图像品质改善效果和代码量的折衷，预先在运动图像编码装置以及运动图像解码装置中共同地设定索引数。

另外，关于预先准备的表格，也可以针对每个颜色信号来准备。由此，能够针对信号特性不同的每个颜色信号，准备适合的表格，能够提高图像品质改善效果。

而且，也可以不将所有偏移设为表格参照，而例如仅将EO方法如上所述那样设为表格参照，关于BO方法的偏移，对偏移值自身进行编码。

一般，在EO方法中，有去除边缘部的微小的噪声的效果，最佳的偏移值易于偏向小的值。另一方面，在BO方法中，具有校正某一定的亮度值内的信号的直流量的效果，最佳的偏移值不一定偏向小的值。

因此，通过仅对在最佳的偏移值中有偏差的级别分类方法设为表格参照，关于在最佳的偏移值中无偏差的级别分类方法，对偏移值自身进行编码，从而得到更高的图像品质改善效果。

另外，作为由可变长编码部13实施的上述偏移值的编码方法，通过预先在运动图像编码装置以及运动图像解码装置中共同地设定可取的偏移值的范围，如图25所示的truncated unary码那样，使用考虑了编码对象码元的值的范围的2值化方法，从而能够实现高效的编码。另一方面，在不预先设定可取的偏移值的范围的情况下，使用图26所示的unary码那样的不考虑编码对象码元的值的范围而能够实现2值化的码。

另外，也可以根据编码处理时的亮度信号或者色差信号的信号值的比特深度，切换表格。

与8比特时的偏移值1对应的9比特下的偏移值是2。但是，即使在8比特时最佳的偏移值是1，在9比特下最佳的偏移值有可能并非是2而是1等。

因此，如图19例示，针对信号值的每个比特深度，准备表格，从而能够提高图像品质改善效果。

而且，如图20例示，仅使用一个表格，在8比特的情况下，仅将索引0(0比特)作为选择分支，在9比特的情况下，将索引0、1(1比特)作为选择分支，在10比特的情况下，将索引0～4(2比特)作为选择分支，从而能够削减所准备的表格数，削减保持表格的存储器。

另外，在图19以及图20的例子中，在8比特的情况下，仅为索引0，所以无需对索引进行编码。由此，能够改善索引的编码所需的代码量分编码效率。

另外，在像素自适应偏移处理中，从上述多个级别分类方法和最佳的偏移值的组合中，选择最佳的级别分类方法以及偏移值，从而能够实现最佳的失真补偿处理。

根据以上，在像素自适应偏移处理中，将块的分割信息、表示块单位的级别分类方法的索引、块单位的偏移信息作为应编码的自适应参数集合的一部分，而输出到可变长编码部13。而且，在像素自适应偏移处理中，在表示块单位的级别分类方法的索引是表示BO方法的索引的情况下，将表示级别的开头位置的bo_start_position也作为应编码的自适应参数集合的一部分，而输出到可变长编码部13。

另外，在上述像素自适应偏移处理中，例如也可以始终按照最大编码块这样的固定尺寸的块单位进行分割，针对每个该块，选择级别分类方法来进行每个级别的自适应偏移处理。

在该情况下，不需要上述块分割信息，能够将代码量削减与块分割信息所需的代码量相应的量。

另外，在自适应滤波处理中，通过规定的方法对局部解码图像进行级别分类，针对属于各级别的每个区域(局部解码图像)，设计补偿重叠了的失真的滤波器，使用该滤波器，实施该局部解码图像的滤波处理。

然后，将针对每个级别所设计的滤波器作为应编码的自适应参数集合的一部分，而输出到可变长编码部13。

此处，作为级别分类方法，有如下方法：将图像在空间上等间隔地划分的简易的方法、按照块单位根据图像的局部性的特性(分散等)进行分类的方法。另外，关于在自适应滤波处理中使用的级别数，既可以预先在运动图像编码装置以及运动图像解码装置中设定为共同的值，也可以设为应编码的自适应参数集合的一部分。

而且，也可以并非是针对整个图像，而是针对例如最大编码块这样的固定尺寸的每个块，进行上述自适应滤波处理的级别分类以及滤波器设计/滤波处理。

即，也可以按照将固定尺寸的块内进行分割而得到的多个小块单位，根据图像的局部性的特性(分散等)来实施级别分类，针对每个级别进行滤波器设计以及滤波处理，针对固定尺寸的每个块，将各级别的滤波器作为自适应参数集合的一部分而实施编码。

直至针对层次性地分割的所有编码块Bⁿ的处理完成为止，反复实施步骤ST3～ST9的处理，如果针对所有编码块Bⁿ的处理完成，则转移到步骤ST13的处理(步骤ST11、ST12)。

可变长编码部13对从变换/量化部7输出了的压缩数据、从编码控制部2输出了的最大编码块内的块分割信息(以图6(b)为例子的四叉树信息)、编码模式m(Bⁿ)以及预测差分编码参数、从编码控制部2输出了的帧内部预测参数(编码模式是帧内部编码模式的情况)或者帧间预测参数(编码模式是帧间编码模式的情况)、以及从运动补偿预测部5输出了的运动矢量(编码模式是帧间编码模式的情况)进行可变长编码，生成表示这些编码结果的编码数据(步骤ST13)。

另外，可变长编码部13如图15例示，作为编码比特流的头部信息，对序列等级头部、图片等级头部、自适应参数集合进行编码，与图片数据一起生成编码比特流。

切片等级头部是将表示该切片处于图片的哪个位置的位置信息、表示参照哪个图片等级头部的索引、切片的编码类型(所有帧内部编码、帧间编码等)、在该切片中使用的自适应参数集合的索引以及表示是否进行使用了上述索引表示的自适应参数集合的环路滤波器部11中的各滤波处理(自适应滤波处理、像素自适应偏移处理、去块滤波处理)的标志信息等这样的切片单位的参数进行汇总而得到的。

自适应参数集合是具有与自适应滤波处理、像素自适应偏移处理、去块滤波处理有关的参数(滤波参数)、以及与量化矩阵有关的参数(量化矩阵参数)的参数集合，为了识别在编码比特流中复用了的多个自适应参数集合，各自适应参数集合具有索引(aps_id)。

并且，各自适应参数集合具有表示与自适应滤波处理、像素自适应偏移处理、去块滤波处理有关的各个滤波参数、以及量化矩阵参数是否分别存在的标志(present_flag)，在各存在标志是“有效”的情况下，具有与其对应的参数。

因此，关于自适应参数集合，能够自由地设定是否有各参数。

各切片在切片等级头部内具有至少一个在切片的解码处理时所参照的自适应参数集合的索引(aps_id)，参照对应的自适应参数集合来实施量化处理/逆量化处理、环路滤波处理。

另外，在对自适应参数集合进行编码而复用到编码比特流时，具有相同的索引(aps_id)的自适应参数集合已经存在于编码比特流的情况下，具有该索引的自适应参数集合被置换为上述编码对象的自适应参数集合。

因此，在对新的自适应参数集合进行编码时，不需要已经编码了的自适应参数集合的情况下，通过利用该不需要的自适应参数集合的索引进行编码，能够进行自适应参数集合的改写更新，不用增加必须保存的自适应参数集合的数量也行，所以能够抑制所使用的存储器的容量。

而且，可变长编码部13在如图18那样在序列的切换时对新的序列等级头部(序列等级头部2)进行编码的情况下，使在本序列等级头部之前编码了的自适应参数集合全部成为无效。

即，在对新的序列等级头部(序列等级头部2)进行了编码之后的图片中，使用自适应参数集合内的参数的情况下，需要将该参数作为新的自适应参数集合进行编码。因此，在由于上述自适应参数集合的无效化处理等而无法使用任何过去的自适应参数集合的情况下新编码的自适应参数集合，成为量化矩阵等参数不参照过去的自适应参数集合而仅利用该自适应参数集合就能够对所有参数进行解码的自适应参数集合。

这样，在序列的切换时，通过序列等级头部，对自适应参数集合进行初始化，从而在运动图像解码装置中，在新的序列等级头部被解码之前的编码比特流中产生了错误时，能够避免因参照该流内存在的自适应参数集合所致的解码错误，能够提高容错性。

但是，也可以构成为在序列等级头部中具有自适应参数集合的初始化标志aps_reset_flag而提高容错性。具体而言，仅在初始化标志aps_reset_flag是“有效”的情况下，对自适应参数集合进行初始化，在初始化标志aps_reset_flag是“无效”的情况下，不对自适应参数集合进行初始化。通过这样作为序列等级头部的参数之一而具有自适应参数集合的初始化标志，能够实施自适应的初始化处理，通过仅在需要提高容错性时实施初始化，能够抑制自适应参数集合的初始化所致的编码效率的降低。

而且，在进行利用IDR图片、CRA图片的随机存取的情况下，为了实现解码处理的高速化、提高容错性，作为自适应参数集合的参数的一部分，而具有使已编码的自适应参数集合成为无效的标志previous_aps_clear_flag。可变长编码部13在previous_aps_clear_flag是“有效”的情况下，使在该自适应参数集合之前编码了的自适应参数集合成为无效，在previous_aps_clear_flag是“无效”的情况下，不实施上述无效化处理。

图24示出表示一部分的自适应参数集合的无效化处理的编码比特流的例子。其中，关于图24的图片数据31，参照序列等级头部2、图片等级头部3、自适应参数集合21来进行编码(解码)处理。一般，把这样将与图片数据关联的头部信息进行汇总得到的图片存取的单位称为存取单元。关于图24的自适应参数集合，通过仅针对自适应参数集合21使标志previous_aps_clear_flag成为“有效”，从而自适应参数集合1至自适应参数集合20被无效化，在编码顺序中在IDR图片或者CRA图片以后的图片中，无法参照自适应参数集合1至自适应参数集合20。因此，在进行利用IDR图片、CRA图片的随机存取的情况下，从图24的序列等级头部2解码即可。

另一方面，在不需要随机存取时的高速的解码处理、高的容错性的情况下，使标志previous_aps_clear_flag始终成为“无效”，不进行自适应参数集合的无效化即可。因此，能够通过标志previous_aps_clear_flag，实现自适应的自适应参数集合的无效化处理。

在上述例子中，通过自适应参数集合内的标志previous_aps_clear_flag，实现了用于随机存取的自适应的自适应参数集合的无效化处理，但也可以通过在序列等级头部或者NAL单元内具有在对IDR图片或者CRA图片进行编码(解码)时使一部分的自适应参数集合成为无效化的标志part_aps_clear_flag，从而实现用于随机存取的自适应的自适应参数集合的无效化处理。

具体而言，在IDR图片或者CRA图片的编码时，如果标志part_aps_clear_flag是“有效”，则可变长编码部13使在IDR图片或者CRA图片的前一个图片的图片数据之前存在的自适应参数集合成为无效，从而实现与标志previous_aps_clear_flag的情况同样的用于随机存取的自适应的自适应参数集合的无效化处理。即，在图24的例子的情况下，通过将序列等级头部2或者图片数据31的NAL单元内存在的标志part_aps_clear_flag设为“有效”，在图片数据31的编码时使在作为图片数据31的前一个图片数据的图片数据30之前存在的自适应参数集合成为无效，所以在编码顺序中在IDR图片或者CRA图片以后的图片中，无法参照自适应参数集合1至自适应参数集合20。即，在包括IDR图片、CRA图片的图片数据的存取单元之前的自适应参数集合被无效化，无法参照。因此，在进行利用IDR图片、CRA图片的随机存取的情况下，从图24的序列等级头部2解码即可。

在上述运动图像编码装置中，如图27所示，在自适应参数集合内设置上述参数，在可变长编码部13对IDR图片或者CRA图片进行编码时，使具有与该IDR图片或者CRA图片的图片数据所参照的自适应参数集合所具有的aps_group_id不同的值的aps_group_id的自适应参数集合成为无效。

例如在图24的情况下，通过将自适应参数集合1至自适应参数集合20的aps_group_id设为0，并在自适应参数集合21以后将aps_group_id设为1，从而在IDR图片或者CRA图片的图片数据31参照自适应参数集合21时，使具有与自适应参数集合21的aps_group_id(＝1)不同的aps_group_id(＝0)的自适应参数集合1至自适应参数集合20无效化。因此，从图片数据31以后的图片数据起，无法参照自适应参数集合1至自适应参数集合20。

这样，通过根据IDR图片或者CRA图片以变更自适应参数集合的aps_group_id的值的方式实施编码，自适应参数集合的参照被限制，运动图像解码装置如果从包括IDR图片或者CRA图片的图片数据的存取单元开始解码，则能够在规定的图片以后始终正确地解码。另外，aps_group_id也可以设为仅具有0或者1的标志，在该情况下，通过根据IDR图片或者CRA图片将自适应参数集合具有的上述标志的值从0切换为1或者从1切换为0，能够实现同样的自适应参数集合的无效化处理。

通过使用导入上述aps_group_id的方法，即使由于将编码比特流分配到多个线路来发送等这样的理由，在运动图像解码装置侧接受的编码比特流内的数据的顺序从在运动图像编码装置侧编码了的次序被调换了的情况下，也能够正确地解码。具体而言，即使按照图24的顺序编码了的编码比特流如图28所示，在运动图像解码装置侧以先于图片数据30而对自适应参数集合21、22进行解码的方式被调换，在IDR图片或者CRA图片的图片数据31参照了自适应参数集合21时，也能够使具有与自适应参数集合21不同的aps_group_id(＝0)的自适应参数集合1至自适应参数集合20适当地无效化。

另外，关于在自适应参数集合内具有aps_group_id的运动图像编码装置，也可以以使具有与在对IDR图片或者CRA图片以外的图片进行解码时也参照的aps_group_id不同的值的aps_group_id的自适应参数集合成为无效的方式来构成运动图像编码装置。由此，能够进行任意地执行自适应参数集合的aps_group_id的变更的定时所致的自适应参数集合的自适应的无效化处理，能够实现自适应的容错性处理。

接下来，详细说明帧内部预测部4的处理内容。

图7是示出作为编码块Bⁿ内的各预测块P_i ⁿ可选择的帧内部预测参数的帧内部预测模式的一个例子的说明图。其中，N_I表示帧内部预测模式数。

在图7中，示出帧内部预测模式的索引值、和该帧内部预测模式表示的预测方向矢量，在图7的例子中，被设定为随着可选择的帧内部预测模式的个数增加，预测方向矢量彼此的相对角度变小。

帧内部预测部4如上所述，参照预测块P_i ⁿ的帧内部预测参数，实施针对该预测块P_i ⁿ的帧内部预测处理，生成帧内部预测图像P_INTRAi ⁿ，但此处说明生成亮度信号中的预测块P_i ⁿ的帧内部预测信号的帧内部处理。

将预测块P_i ⁿ的尺寸设为l_i ⁿ×m_i ⁿ像素。

在图8中，将预测块P_i ⁿ的上面的已编码的像素(2×l_i ⁿ+1)个、和左面的已编码的像素(2×m_i ⁿ)个设为在预测中使用的像素，但在预测中使用的像素既可以多于图8所示的像素，也可以少于图8所示的像素。

另外，在图8中，在预测中使用了预测块P_i ⁿ的附近的1行或者1列部分的像素，但也可以在预测中使用2行或者2列、或者其以上的像素。

在针对预测块P_i ⁿ的帧内部预测模式的索引值是0(平面(Planar)预测)的情况下，使用与预测块P_i ⁿ的上面邻接的已编码的像素和与预测块P_i ⁿ的左面邻接的已编码的像素，根据这些像素和预测块P_i ⁿ内的预测对象像素的距离来实施内插，将由此得到的值作为预测值，生成预测图像。

在针对预测块P_i ⁿ的帧内部预测模式的索引值是2(平均值(DC)预测)的情况下，将与预测块P_i ⁿ的上面邻接的已编码的像素和与预测块P_i ⁿ的左面邻接的已编码的像素的平均值，作为预测块P_i ⁿ内的像素的预测值而生成预测图像。

在帧内部预测模式的索引值是0(平面预测)和2(平均值预测)以外的情况下，根据索引值表示的预测方向矢量υ_p＝(dx，dy)，生成预测块P_i ⁿ内的像素的预测值。

如图9所示，如果将预测块P_i ⁿ的左上像素作为原点而将预测块P_i ⁿ内的相对坐标设定为(x，y)，则在预测中使用的参照像素的位置成为下述的L和邻接像素的交点。

其中，k是负的标量值。

在参照像素处于整数像素位置的情况下，将该整数像素作为预测对象像素的预测值，在参照像素未处于整数像素位置的情况下，将根据与参照像素邻接的整数像素而生成的插值像素作为预测值。

在图8的例子中，参照像素不处于整数像素位置，所以将从与参照像素邻接的2个像素实施内插而得到的结果作为预测值。另外，并非仅是邻接的2个像素，也可以根据邻接的2个像素以上的像素生成插值像素来作为预测值。

通过增加在插值处理中使用的像素，具有使插值像素的插值精度提高的效果，另一方面，插值处理所需的运算的复杂度增加，所以在即使运算负荷大也要求高的编码性能的运动图像编码装置的情况下，优选根据更大量的像素来生成插值像素。

通过以上叙述的处理，生成针对预测块P_i ⁿ内的亮度信号的所有像素的预测像素，输出帧内部预测图像P_INTRAi ⁿ。

另外，将在帧内部预测图像P_INTRAi ⁿ的生成中使用了的帧内部预测参数(帧内部预测模式)，为了复用到比特流而输出到可变长编码部13。

另外，与前面所说明的MPEG-4AVC/H.264中的8×8像素的块的帧内部预测时对参照图像实施的平滑化处理同样地，在帧内部预测部4中构成为将生成预测块P_i ⁿ的中间预测图像时的参照像素作为对与预测块P_i ⁿ邻接的已编码的像素进行了平滑化处理的像素的情况下，也能够进行与上述例子同样的针对中间预测图像的滤波处理。

针对预测块P_i ⁿ的色差信号，也按照与亮度信号同样的步骤，实施基于帧内部预测参数(帧内部预测模式)的帧内部预测处理，将在帧内部预测图像的生成中使用了的帧内部预测参数输出到可变长编码部13。

但是，在色差信号中可选择的帧内部预测参数(帧内部预测模式)也可以与亮度信号不同。例如，在YUV信号4：2：0格式的情况下，色差信号(U、V信号)是相对亮度信号(Y信号)将分辨率在水平方向、垂直方向上都缩小为1/2而得到的信号，相比于亮度信号，图像信号的复杂性更低且预测更容易，所以也可以将可选择的帧内部预测参数设为比亮度信号更少的数量，实现用于对帧内部预测参数进行编码所需的代码量的削减、预测处理的低运算化。

接下来，具体地说明图3的运动图像解码装置的处理内容。

可变长解码部31如果输入了由图1的运动图像编码装置所生成的编码比特流，则实施针对该比特流的可变长解码处理(图4的步骤ST21)，对帧尺寸的信息等由1帧以上的图片构成的序列单位的头部信息(序列等级头部)以及图片单位的头部信息(图片等级头部)、作为自适应参数集合编码了的在环路滤波器部38中使用的滤波参数、量化矩阵参数进行解码。

此时，从由可变长解码部31可变长解码了的自适应参数集合内的量化矩阵参数，确定该自适应参数集合的量化矩阵。具体而言，针对各正交变换尺寸的颜色信号、编码模式的每一个，量化矩阵参数表示是作为初始值预先在运动图像编码装置以及运动图像解码装置中共同地准备的量化矩阵、或者已经解码了的量化矩阵(并非新的量化矩阵)的情况下，参照确定是上述自适应参数集合中包含的上述矩阵内的哪个量化矩阵的索引信息来确定量化矩阵，在量化矩阵参数表示使用新的量化矩阵的情况下，将量化矩阵参数中包含的量化矩阵确定为要使用的量化矩阵。

然后，从构成图片单位的数据的切片数据，对切片分割信息等切片单位的头部信息(切片等级头部)进行解码，对各切片的编码数据进行解码。此时，通过参照在切片等级头部内存在的自适应参数集合的索引(aps_id)，确定在各切片中使用的自适应参数集合。

其中，在图1的运动图像编码装置中，并非将在环路滤波器部38中使用的滤波参数作为自适应参数集合来实施编码，而是对于按照切片单位使用的滤波参数直接利用切片数据进行编码的情况下，从切片数据解码在环路滤波器部38中使用的滤波参数。

另外，可变长解码部31按照与运动图像编码装置同样的步骤，决定由图1的运动图像编码装置的编码控制部2所决定的最大编码块尺寸以及分割层次数的上限(步骤ST22)。

例如，在根据影像信号的分辨率决定了最大编码块尺寸、分割层次数的上限的情况下，根据解码了的帧尺寸信息，按照与运动图像编码装置同样的步骤来决定最大编码块尺寸。

最大编码块尺寸以及分割层次数的上限在运动图像编码装置侧被复用到序列等级头部等中的情况下，使用从上述头部解码了的值。

以后，在运动图像解码装置中，将上述最大编码块尺寸称为最大解码块尺寸，将最大编码块称为最大解码块。

可变长解码部31按照所决定的最大解码块单位，对图6所示那样的最大解码块的分割状态进行解码。根据解码了的分割状态，层次性地确定解码块(与图1的运动图像编码装置的“编码块”相当的块)(步骤ST23)。

接下来，可变长解码部31对分配给解码块的编码模式进行解码。根据解码了的编码模式中包含的信息，将解码块进一步分割为一个或多个作为预测处理单位的预测块，对按照预测块单位分配了的预测参数进行解码(步骤ST24)。

即，可变长解码部31在对解码块分配了的编码模式是帧内部编码模式的情况下，针对包含于解码块、且成为预测处理单位的一个以上的每个预测块，解码帧内部预测参数。

另一方面，在对解码块分配了的编码模式是帧间编码模式的情况下，针对包含于解码块、且成为预测处理单位的一个以上的每个预测块，解码帧间预测参数以及运动矢量(步骤ST24)。

而且，可变长解码部31根据在预测差分编码参数中包含的正交变换块分割信息，针对每个正交变换块，解码压缩数据(变换、量化后的变换系数)(步骤ST24)。

如果由可变长解码部31可变长解码了的编码模式m(Bⁿ)是帧内部编码模式(m(Bⁿ)∈INTRA的情况)，则切换开关33将由可变长解码部31可变长解码了的预测块单位的帧内部预测参数输出到帧内部预测部34。

另一方面，如果由可变长解码部31可变长解码了的编码模式m(Bⁿ)是帧间编码模式(m(Bⁿ)∈INTER的情况)，则将由可变长解码部31可变长解码了的预测块单位的帧间预测参数以及运动矢量输出到运动补偿部35。

帧内部预测部34在由可变长解码部31可变长解码了的编码模式m(Bⁿ)是帧内部编码模式(m(Bⁿ)∈INTRA)的情况下(步骤ST25)，接受从切换开关33输出了的预测块单位的帧内部预测参数，按照与图1的帧内部预测部4同样的步骤，一边参照在帧内部预测用存储器37中储存着的解码图像，一边实施针对使用了上述帧内部预测参数的解码块Bⁿ内的各预测块P_i ⁿ的帧内部预测处理，生成帧内部预测图像P_INTRAi ⁿ(步骤ST26)。

运动补偿部35在由可变长解码部31可变长解码了的编码模式m(Bⁿ)是帧间编码模式(m(Bⁿ)∈INTER)的情况下(步骤ST25)，接受从切换开关33输出了的预测块单位的运动矢量和帧间预测参数，一边参照在运动补偿预测帧存储器39中储存着的滤波处理后的解码图像，一边实施针对使用了该运动矢量和帧间预测参数的解码块Bⁿ内的各预测块P_i ⁿ的帧间预测处理，生成帧间预测图像P_INTERi ⁿ(步骤ST27)。

逆量化/逆变换部32如果从可变长解码部31接收到压缩数据以及预测差分编码参数，则按照与图1的逆量化/逆变换部8同样的步骤，参照在该预测差分编码参数中包含的量化参数以及正交变换块分割信息，按照正交变换块单位，对该压缩数据进行逆量化。

此时，参照由可变长解码部31可变长解码了的各头部信息，在各头部信息表示在该切片中使用量化矩阵来实施逆量化处理的情况下，使用量化矩阵来进行逆量化处理。

此时，参照由可变长解码部31可变长解码了的各头部信息，按照各正交变换尺寸，针对每个颜色信号、编码模式(是帧内部编码还是帧间编码)，确定所使用的量化矩阵。

具体而言，将根据切片等级头部确定的在该切片中参照的自适应参数集合的量化矩阵设定为在该切片中使用的量化矩阵。

另外，逆量化/逆变换部32按照正交变换块单位实施针对作为逆量化后的压缩数据的变换系数的逆正交变换处理，计算与从图1的逆量化/逆变换部8输出了的局部解码预测差分信号相同的解码预测差分信号(步骤ST28)。

加法部36将由逆量化/逆变换部32计算出的解码预测差分信号、和由帧内部预测部34所生成的帧内部预测图像P_INTRAi ⁿ或者由运动补偿部35所生成的帧间预测图像P_INTERi ⁿ中的某一方进行相加来计算解码图像，将该解码图像输出到环路滤波器部38，并且将该解码图像储存到帧内部预测用存储器37(步骤ST29)。

该解码图像成为在以后的帧内部预测处理时使用的已解码的图像信号。

在环路滤波器部38中，如果针对所有解码块Bⁿ的步骤ST23～ST29的处理完成(步骤ST30)，则对从加法部36输出了的解码图像实施规定的滤波处理，将滤波处理后的解码图像储存到运动补偿预测帧存储器39(步骤ST31)。

其中，环路滤波器部38针对上述去块滤波处理、像素自适应偏移处理、自适应滤波处理的各个，参照由可变长解码部31可变长解码了的各头部信息，确定是否利用该切片进行处理。

此时，在进行2个以上的滤波处理的情况下，在运动图像编码装置的环路滤波器部11如图11那样构成了的情况下，如图12所示构成环路滤波器部38。

此处，在去块滤波处理中，参照该切片所参照的自适应参数集合，在存在将对块边界施加的滤波强度的选择中使用的各种参数从初始值进行变更的信息的情况下，根据该变更信息，实施去块滤波处理。在无变更信息的情况下，依照预先决定的方法来进行。

在像素自适应偏移处理中，参照该切片所参照的自适应参数集合，根据该自适应参数集合中包含的块分割信息来进行分割，按照该块单位，参照表示该自适应参数集合中包含的块单位的级别分类方法的索引，在该索引并非是表示“不进行偏移处理”的索引的情况下，按照块单位，依照上述索引表示的级别分类方法，对块内的各像素进行级别分类。

然后，环路滤波器部38进行如下处理：参照确定块单位的各级别的偏移值的自适应参数集合中包含的偏移信息，对解码图像的亮度值相加偏移。

由该环路滤波器部38实施滤波处理后的解码图像成为运动补偿预测用的参照图像，并且成为再生图像。

从以上可知，根据该实施方式1，环路滤波器部11实施如下的像素自适应偏移处理，即，将局部解码图像分割为多个块，按照块单位选择级别的分类方法，使用该分类方法来实施该块内的各像素的分级，另一方面，参照表示与各级别的偏移值的组合对应的索引的表格来确定与对实施了分级的各像素的像素值相加的偏移值的组合对应的索引，并且将该偏移值相加到上述像素值，可变长编码部13构成为如下：将表示由环路滤波器部11所选择的块单位的级别的分类方法的索引、和与由环路滤波器部11确定了的偏移值的组合对应的索引作为滤波参数来实施编码，所以起到如下效果：能够削减偏移信息的编码所需的代码量，并且实现高精度的失真补偿处理。

另外，根据该实施方式1，具有用于对运动图像解码装置的环路滤波器部38的像素自适应偏移处理的每个级别的偏移值进行确定的表格，根据解码了的表格的索引信息和上述表格来确定偏移值，从而起到如下效果：能够正确地解码由对环路滤波器部11的像素自适应偏移处理的每个级别的偏移值进行了表格化的运动图像编码装置所编码的比特流。

实施方式2.

在上述实施方式1中，示出了通过对环路滤波器部11的像素自适应偏移处理的每个级别的偏移值的组合进行表格化从而削减偏移信息的编码所需的代码量的高精度的失真补偿处理，但在该实施方式2中，说明不使用表格而削减偏移信息的编码所需的代码量的方法。

在该实施方式2中，仅上述实施方式1的环路滤波器部11以及环路滤波器部38的像素自适应偏移处理中的对属于各级别的像素相加的偏移值的计算方法、和应编码的偏移信息不同，所以说明这点。

如下述那样定义EO方法中的各级别的偏移计算处理。

OFFSET₀＝0

OFFSET₁＝X

OFFSET₂＝[X/2]

OFFSET₃＝-[X/2]

OFFSET₄＝-X

其中，OFFSET_z表示级别z下的偏移值，X表示决定偏移值的参数，[n]表示实数n的整数部分。

通过这样定义，无需对各级别的偏移值进行编码，仅将参数X作为偏移信息实施编码即可，所以能够削减代码量。

而且，相比于上述实施方式1的使用表示每个级别的偏移值的组合的表格的情况，具有无需表格所需的存储器的优点。另外，关于BO方法，也可以同样地仅用一个参数来定义各级别的偏移值。在下述中，示出了将级别数L_BO设为3时的一个例子。

OFFSET₀＝[Y/2]

OFFSET₁＝Y

OFFSET₂＝[Y/2]

其中，Y表示决定偏移值的参数，[n]表示实数n的整数部分。

此时，作为由可变长编码部13实施的上述X、Y的编码方法，通过预先在运动图像编码装置以及运动图像解码装置中共同地设定可取的值的范围，从而如图25所示的truncated unary码那样使用考虑了编码对象码元的值的范围的2值化方法，由此能够实现高效的编码。另一方面，在未预先设定可取的范围的情况下，使用图26所示的unary码那样的不考虑编码对象码元的值的范围而能够实现2值化的码。

另外，在上述中，在EO方法、BO方法中都仅用一个参数来定义了各级别的偏移值，但也可以在某一方中，将各级别的偏移值自身作为偏移信息实施编码。

此时，作为由可变长编码部13实施的上述偏移值的编码方法，通过预先在运动图像编码装置以及运动图像解码装置中共同地设定可取的偏移值的范围，从而如图25所示的truncated unary码那样使用考虑了编码对象码元的值的范围的2值化方法，从而能够实现高效的编码。另一方面，在未预先设定可取的偏移值的范围的情况下，使用图26所示的unary码那样的不考虑编码对象码元的值的范围而能够实现2值化的码。

一般，EO方法具有使图像的边缘部的噪声平滑化的效果，根据各级别的像素a、b、c的关系，级别间的偏移值的相关关系高，但关于BO方法，不具有EO方法程度的明确的级别间的相关。因此，仅在EO方法中用参数X来定义偏移，并在BO方法中将各级别的偏移值自身作为偏移信息实施编码时，虽然偏移信息的编码所需的代码量增加，但可得到高的图像品质改善效果，所以有时更适合。

另外，也可以针对每个颜色信号，准备各级别的偏移计算式。由此，能够针对信号特性不同的每个颜色信号，准备适合的各级别的偏移计算式，能够提高图像品质改善效果。

另外，也可以利用表格来准备上述参数X、Y的候补。由此，虽然参数X、Y可取的值被限制，但在能够适合地设定在表格中准备的候补值的情况下，能够削减参数X、Y的编码所需的代码量，并且实现高精度的失真补偿处理。

另外，也可以以在EO方法中使用上述实施方式1的偏移计算方法以及编码、在BO方法中使用实施方式2的偏移计算方法以及编码(或者EO方法和BO方法相反)的方式，组合两个实施方式。

如以上可知，根据该实施方式2，环路滤波器部11实施如下的像素自适应偏移处理：将局部解码图像分割为多个块，按照块单位来选择级别的分类方法，使用该分类方法来实施该块内的各像素的分级，另一方面，决定计算对实施了分级的各像素的像素值相加的偏移值的参数，并且根据该参数来计算偏移值，将该偏移值相加到上述像素值，可变长编码部13构成为如下：将表示由环路滤波器部11所选择的块单位的级别的分类方法的索引、和计算由环路滤波器部11所决定的偏移值的参数作为滤波参数来实施编码，所以起到如下效果：能够削减偏移信息的编码所需的代码量，并且实现高精度的失真补偿处理。

另外，根据该实施方式2，通过根据一个参数来确定运动图像解码装置的环路滤波器部38的像素自适应偏移处理的每个级别的偏移值，从而起到如下效果：能够正确地解码由用一个参数定义了环路滤波器部11的像素自适应偏移处理的每个级别的偏移值的运动图像编码装置所编码的比特流。

另外，本申请发明能够在本发明的范围内，实施各实施方式的自由的组合、或者各实施方式的任意的构成要素的变形、或者在各实施方式中省略任意的构成要素。

产业上的可利用性

本发明适用于需要削减偏移信息的编码所需的代码量、并且实现高精度的失真补偿处理的例子。

Claims

1.一种图像编码装置，其特征在于，具备：

图像压缩部件，对实施输入图像和预测图像的差分图像的变换处理而得到的所述差分图像的变换系数进行量化，将量化后的变换系数作为压缩数据输出；

滤波部件，对作为从所述压缩数据解码而得到的差分图像和所述预测图像的加法结果的解码图像实施滤波处理；以及

编码部件，对所述压缩数据及在由所述滤波部件实施滤波处理时使用的滤波参数进行编码，生成复用了所述压缩数据及所述滤波参数的编码数据的编码比特流，

所述滤波部件实施如下的像素自适应偏移处理：按照最大尺寸的编码块单位决定级别的分类方法，使用所述分类方法，实施该最大尺寸的编码块内的各像素的分级，按照最大尺寸的编码块单位计算每个级别的偏移值，将所述偏移值相加到属于对应的级别的像素的像素值，

所述编码部件对用于生成量化矩阵的量化矩阵参数以及表示由所述滤波部件所决定的最大尺寸的编码块单位的级别的分类方法的索引进行编码，并且根据利用截断一元码的2值化处理对与各级别的偏移值有关的参数进行编码，所述量化矩阵是由所述图像压缩部件对变换系数进行量化时使用的、由各变换系数的缩放值构成的量化矩阵，

所述编码部件对与编码块对应的编码模式、自适应参数集合、预测参数及块的分割信息进行编码。

2.根据权利要求1所述的图像编码装置，其特征在于，

所述自适应参数集合包括表示是否存在与去块滤波处理有关的参数的标志，

在所述标志表示存在所述参数的情况下，所述自适应参数集合还包括与所述去块滤波处理有关的参数。

3.一种图像解码装置，其特征在于，具备：

解码部件，从复用到编码比特流的编码数据，解码出压缩数据、滤波参数以及用于生成量化矩阵的量化矩阵参数，所述量化矩阵是由从所述压缩数据得到的块的各变换系数的缩放值构成的量化矩阵；

差分图像生成部件，使用由所述解码部件解码出的所述量化矩阵参数，对所述块的变换系数进行逆量化，对逆量化后的变换系数进行逆变换，生成差分图像；

解码图像生成部件，对所述差分图像和预测图像进行加法来生成解码图像；以及

滤波部件，使用所述滤波参数，对从所述压缩数据解码出的解码图像实施滤波处理，

所述解码部件从所述编码数据解码出表示最大尺寸的编码块单位的级别的分类方法的索引作为滤波参数，并且对利用截断一元码进行2值化处理后的与各级别的偏移值有关的参数进行解码，

所述滤波部件实施如下的像素自适应偏移处理：使用所述索引确定各最大尺寸的编码块的级别的分类方法，实施利用按照所述最大尺寸的编码块单位确定的级别的分类方法的各像素的分级，将根据所述参数计算出的所述偏移值相加到属于对应的级别的像素的像素值，

所述解码部件对与编码块对应的编码模式、自适应参数集合、预测参数以及块的分割信息进行解码。

4.根据权利要求3所述的图像解码装置，其特征在于，

5.一种图像编码方法，其特征在于，具备：

图像压缩步骤，图像压缩部件对实施输入图像和预测图像的差分图像的变换处理而得到的所述差分图像的变换系数进行量化，将量化后的变换系数作为压缩数据输出；

滤波处理步骤，滤波部件对作为从所述压缩数据解码而得到的差分图像和所述预测图像的加法结果的解码图像实施滤波处理；以及

编码处理步骤，编码部件对所述压缩数据及在所述滤波处理步骤中实施滤波处理时使用的滤波参数进行编码，生成复用了所述压缩数据及所述滤波参数的编码数据的编码比特流，

在所述滤波处理步骤中，实施如下的像素自适应偏移处理：按照最大尺寸的编码块单位决定级别的分类方法，使用所述分类方法，实施该最大尺寸的编码块内的各像素的分级，计算每个级别的偏移值，将所述偏移值相加到属于对应的级别的像素的像素值，

在所述编码处理步骤中，对用于生成量化矩阵的量化矩阵参数以及表示在所述滤波处理步骤中决定的最大尺寸的编码块单位的级别的分类方法的索引进行编码，并且根据利用截断一元码的2值化处理对与各级别的偏移值有关的参数进行编码，所述量化矩阵是在所述图像压缩步骤中对变换系数进行量化时使用的、由各变换系数的缩放值构成的量化矩阵，

在所述编码处理步骤中，对与编码块对应的编码模式、自适应参数集合、预测参数以及块的分割信息进行编码。

6.根据权利要求5所述的图像编码方法，其特征在于，

7.一种图像解码方法，其特征在于，具备：

解码处理步骤，解码部件从复用到编码比特流的编码数据，解码出压缩数据、滤波参数以及用于生成量化矩阵的量化矩阵参数，所述量化矩阵是由从所述压缩数据得到的块的各变换系数的缩放值构成的量化矩阵；

差分图像生成步骤，差分图像生成部件使用由所述解码部件解码出的所述量化矩阵参数，对所述块的变换系数进行逆量化，对逆量化后的变换系数进行逆变换，生成差分图像；

解码图像生成步骤，解码图像生成部件对所述差分图像和预测图像进行加法来生成解码图像；以及

滤波处理步骤，滤波部件使用所述滤波参数，对从所述压缩数据解码出的解码图像实施滤波处理，

在所述解码处理步骤中，从所述编码数据解码出表示最大尺寸的编码块单位的级别的分类方法的索引作为滤波参数，并且对利用截断一元码进行2值化处理后的与各级别的偏移值有关的参数进行解码，

在所述滤波处理步骤中，实施如下的像素自适应偏移处理：使用所述索引确定各最大尺寸的编码块的级别的分类方法，实施利用按照所述最大尺寸的编码块单位确定的级别的分类方法的各像素的分级，将根据所述参数计算出的所述偏移值相加到属于对应的级别的像素的像素值，

在所述解码处理步骤中，对与编码块对应的编码模式、自适应参数集合、预测参数以及块的分割信息进行解码。

8.根据权利要求7所述的图像解码方法，其特征在于，

9.一种记录有计算机程序的计算机可读取的记录介质，其特征在于，所述计算机程序由处理器执行以实现以下步骤：

图像压缩步骤，对实施输入图像和预测图像的差分图像的变换处理而得到的所述差分图像的变换系数进行量化，将量化后的变换系数作为压缩数据输出；

滤波处理步骤，对作为所述预测图像和从所述压缩数据解码出的差分图像的加法结果的解码图像实施滤波处理；以及

编码处理步骤，对所述压缩数据及在所述滤波处理步骤中实施滤波处理时使用的滤波参数进行编码，生成复用了所述压缩数据及所述滤波参数的编码数据的编码比特流，

在所述滤波处理步骤中，实施如下的像素自适应偏移处理：按照最大尺寸的编码块单位决定级别的分类方法，使用所述分类方法来实施该最大尺寸的编码块内的各像素的分级，计算每个级别的偏移值，将所述偏移值相加到属于对应的级别的像素的像素值，

10.根据权利要求9所述的记录介质，其特征在于，

11.一种记录有计算机程序的计算机可读取的记录介质，其特征在于，所述计算机程序由处理器执行以实现以下步骤：

解码处理步骤，从复用到编码比特流的编码数据，解码出压缩数据、滤波参数以及用于生成量化矩阵的量化矩阵参数，所述量化矩阵是由从所述压缩数据得到的块的各变换系数的缩放值构成的量化矩阵；

差分图像生成步骤，使用解码出的所述量化矩阵参数，对所述块的变换系数进行逆量化，对逆量化后的变换系数进行逆变换，生成差分图像；

解码图像生成步骤，对所述差分图像和预测图像进行加法来生成解码图像；以及

滤波处理步骤，使用所述滤波参数，对从所述压缩数据解码出的解码图像实施滤波处理，