CN102365868A - 运动图像编码方法及装置、运动图像解码方法及装置 - Google Patents

Abstract

能够抑制编码效率的降低、且能够提高被解码的运动图像的画质的运动图像编码方法：通过预测运动图像信号，从而生成预测信号(S100)；将运动图像信号与预测信号之间的差分作为预测误差信号来计算(S110)；通过根据预测信号以及预测误差信号来重新构成运动图像信号，从而生成重构运动图像信号(S120)；针对预测信号、所述预测误差信号以及所述重构运动图像信号之中的至少两个信号的每一个，决定用于对该信号进行滤波的滤波数据(S130)；根据被决定的滤波数据间的互相关，对被决定的滤波数据进行编码(S140)。

Description

运动图像编码方法及装置、运动图像解码方法及装置

技术领域

本发明涉及对运动图像信号进行编码、对编码后的运动图像信号进行解码的运动图像编码方法以及运动图像解码方法等，尤其涉及利用对编码或解码中生成的信号的滤波所利用的滤波器来进行编码并解码的方法等。

背景技术

目前，大多数典型的运动图像编码算法基于混合运动图像编码。典型地，混合运动图像编码方法是指，为了实现所希望的压缩成果，而组合分别不同的、不产生损失的压缩方式和产生损失的压缩方式。混合运动图像编码也是，与ISO/IEC标准规格(像MPEG-1，MPEG-2，MPEG-4那样的MPEG-X标准规格)同样，ITU-T标准规格(像H.261以及H.263那样的H.26x标准规格)的基础。最新的运动图像编码标准规格是，所谓H.264/MPEG-4 Advanced Video Coding(AVC)，它是由联合视频组(JVT)、ITU-T的联合组、以及ISO/IEC MPEG组进行的标准化活动的成果。

被输入到编码器的运动图像信号是，称为帧的图像的序列，各个帧由二维矩阵的像素构成。在所有的基于混合运动图像编码的所述的标准规格中，各个运动图像帧被细分化为由多个像素构成的小块。典型地，宏块(通常意味着由16×16像素构成的块)是基本的图像元素，对其进行编码。然而，会有对更小的图像元素进行各种特定的编码步骤的情况，例如，可以示出8×8、4×4、16×8像素等的大小的子宏块以及单纯的块。

典型地，在混合运动图像编码的编码步骤中，包含空间上以及/或时间上预测。因此，首先，从已经编码的运动图像帧，利用空间上相邻的块或时间上相邻的块来预测各个编码对象块。其次，求出作为编码对象块与预测结果之间的差分的块，以作为预测残差或预测误差信号。在下一个编码步骤中，残差块(预测误差信号)，从空间(像素)域被变换为频率域。变换的目的为，减少残差块的冗余性。在下一个编码步骤中，变换系数被量化。在该步骤中，进行实际上产生损失的(不可逆的)压缩。通常，压缩变换系数值(量化系数)，进一步，通过熵编码(不产生损失地)而被压缩。进而，为重新构成编码运动图像信号而需要的补充信息被编码，并与编码运动图像信号一起被提供。例如，该信息，与空间上以及/或时间上预测以及量化量有关。

图1是示出依据H.264/MPEG-4AVC标准规格的典型的运动图像编码装置(编码器)100的一个例子的方框图。H.264/MPEG-4 AVC标准规格是，所述的编码步骤的全部的组合。减法器105，首先，确定输入运动图像(输入信号)的编码对象块与对应的预测块(预测信号)之间的差分。该差分被用于编码对象块的预测。H.264/MPEG AVC中的预测信号是，通过时间上预测或空间上预测而获得的。预测类型是，可以以帧为单位或以宏块为单位来不同的。通过时间上预测(画面间预测)而预测的宏块，被称为帧间编码宏块，通过空间上预测(画面内预测)而预测的宏块，被称为帧内编码宏块。为了尽可能实现高的压缩成果，运动图像帧的预测类型，可以是由用户设定的，也可以是使运动图像编码装置100选择的。按照选择出的预测类型，帧内/帧间开关175，将对应的预测信号提供给减法器105。利用时间上预测而获得的预测信号是，根据存储器140所存储的重构图像(重构图像信号)计算出的。利用空间上预测而获得的预测信号是，根据编码以及解码后的存储器140所存储的相邻块内的边界像素的值计算出的。因此，存储器140，以用于使编码对象的信号值与根据过去的信号值生成的预测信号的比较成为可能的延迟单元来工作。存储器140，能够存储多个编码运动图像帧。输入信号与预测信号之间的差分被称为预测误差信号或残差，变换/量化部110，将该预测误差信号变换为频率成分的系数并量化。为了以不产生损失的方法来进一步减少数据量，熵编码部190，对量化系数进行熵编码。主要，通过利用根据值的发生概率来决定长度的多个码字的可变长编码而减少数据量。

帧内编码图像(也被称为I图片、I类型图像或I帧)，仅由帧内编码后的宏块构成。也就是说，帧内编码后的图像是，能够不参考其他的解码图像而解码的。帧内编码图像，针对编码运动图像序列赋予耐错性。这是因为，去除(刷新)通过时间上预测而有可能在运动图像序列内从帧向帧传递的错误的缘故。进而，I帧，在编码运动图像序列内使随机存取成为可能。在画面内预测中，基本上，采用利用位于已经编码的相邻宏块的边界的像素来预测对象宏块的、预先规定的帧内预测模式的组。空间上帧内预测模式不同是指，适用的二维预测的方向不同。据此，在各种边缘方向上，能够有效地进行空间上帧内预测。通过帧内预测而得到的预测信号，其次，由所述的减法器105，从输入信号中减去。并且，表示空间上帧内预测模式的信息，被熵编码，并与编码运动图像信号一起被提供。

在运动图像编码装置100内，包括获得解码运动图像信号的解码单元。依据编码步骤，包含执行解码步骤的处理的反量化/反变换部120。反量化/反变换部120，通过对量化系数进行反量化以及反变换，从而生成量化预测误差信号。量化预测误差信号的原因是，也称为量化噪声的量化误差，量化预测误差信号与原误差信号不同。加法器125，通过对量化预测误差信号与预测信号进行加法运算，从而生成重构信号。为了保持编码器(运动图像编码装置100)方和解码器(运动图像解码装置)方的兼容性，利用作为编码后被解码的运动图像信号的重构信号，求出编码器和解码器这双方得知的预测信号。通过量化，量化噪声和该重构信号被重叠。由块单位的编码重叠后的噪声，经常具有块特性，特别是，在进行强量化的情况下，其结果为使重构信号所示的解码图像的块边界明显。块效应(块失真)，在人的视觉识别上具有负的效果。

为了减少伪影，去块滤波器130，按解码图像的每个块适用去块滤波处理。去块滤波处理，适用于作为预测信号与量化预测误差信号的加法结果的重构信号。H.264/MPEG-4 AVC中的去块滤波器是，能够局部适用的。在块噪声的程度高的情况下，适用强的(带宽窄的)低通滤波器，在块噪声的程度低的情况下，适用弱的(带宽宽的)低通滤波器。低通滤波器的强度，取决于预测信号以及量化预测误差信号。去块滤波器，通常，将块的边缘平滑，从而改进解码图像的主观画质。进而，由于图像内的已滤波的部分用于下一个图像的运动补偿预测，因此，通过滤波而减少预测误差，能够改进编码效率。

帧内编码宏块在被显示之前被滤波，但是，帧内预测是利用滤波之前的重构信号所示的宏块来进行的。

图2是去块滤波器130的处理的说明图。去块滤波器130，分离为左侧的第一块301的样本p3、p2、p1、p0、和右侧的第二块302的样本q3、q2、q1、q0，在垂直块边界线310进行去块滤波处理。若将具有四个系数的线性去块滤波处理，适用于输入样本p2、p1、p0、q0、q1、q2，则输出以下的“p0，new”以及“q0，new”，以作为去块滤波处理后的样本。

p0，new＝(p2-(p1＜＜1)+(p0+q0+1)＞＞1)＞＞1，

q0，new＝(q2-(q1＜＜1)+(q0+p0+1)＞＞1)＞＞1

而且，重构运动图像信号，被存储到存储器140。

为了对帧间编码图像进行解码，而需要编码后被解码的图像。对于时间上预测，可以是以单方向(即，仅利用在时间顺序上编码对象帧之前的运动图像帧)来进行的，并且，也可以是以双方向(即，利用编码对象帧之前以及之后的运动图像帧)来进行的。若进行单方向的时间预测，则得到称为P帧(P图片)的帧间编码图像，若进行单双向的时间上预测，则得到称为B帧(B图片)的帧间编码图像。通常，帧间编码图像，由P类型宏块、B类型宏块以及I类型宏块的某一个构成。

运动补偿预测部160，预测帧间编码宏块(P或B类型宏块)。首先，运动检测部165，在编码后被解码的运动图像帧内，检测最适于编码对象块的块。预测信号表示该最适块，运动检测部165，将编码对象块与最适块之间的相对差距(运动)，以与编码运动图像信号一起提供的补充信息内包含的三维运动矢量的形式，作为运动数据来输出。三维是指，由两个空间维和一个时间维而成。为了将预测精度最佳化，也可以以1/2像素分辩率以及1/4像素分辩率等的空间小数像素分辩率，来确定运动矢量。空间小数像素分辩率的运动矢量也可以是指，解码后的运动图像帧内的像小数像素位置那样实际不存在像素值的位置。因此，为了进行运动补偿预测，而需要这样的像素值的空间插值。插值滤波器150，进行这样的空间上的像素值的插值。为了根据H.264/MPEG-4 AVC标准规格，在水平方向与垂直方向分别获得小数像素位置的像素值，而适用利用了固定滤波系数的6抽头维纳插值滤波器和二元滤波器。

在帧内编码模式以及帧间编码模式中，变换/量化部110，将作为输入信号与预测信号间的差分的预测误差信号变换并量化，生成量化系数。一般而言，对于变换，采用二维离散余弦变换(DCT)或像其整数版那样的正交变换。这是因为，据此能够高效率地减少自然的运动图像的冗余性的缘故。变换后，通常，针对画质，低频成分比高频成分更重要，因此，对低频率的编码花费的比特比对高频率的编码花费的比特多。熵编码部190，将二维矩阵的量化系数变换为一维排列。典型地，通过所谓zigzag扫描进行变换。在zigzag扫描中，从二维矩阵的左上角的DC系数到右下角的AC系数，以规定的顺序进行扫描。典型地，能量集中于相当于低频率的二维系数矩阵的左上部分，因此，若进行zigzag扫描，则成为在最后附近连续零值的排列。据此，作为实际的熵编码的一部分，或者，在之前的阶段，能够进行利用了游程码的有效的编码。

H.264/MPEG-4 AVC，采用由量化参数(QP)以及能够制定的量化矩阵(QM)能够控制的标量量化。根据量化参数，按每个宏块，选择52个量化器中的1个。而且，为了避免导致画质的损失，量化矩阵被设计为，尤其在资源内保持特定的频率。H.264/MPEG-4 AVC中的量化矩阵，能够适应于运动图像序列，并且，与编码运动图像信号一起被发送。

在H.264/MPEG-4 AVC标准规格中，有运动图像编码层(VCL)和网络抽象层(NAL)这两个功能层。VCL，提供已经简单地说明了的编码功能。NAL，根据像声道上的传输或向存储单元的存储那样的、进一步的应用程序，将与运动图像的解码时需要的补充信息一起编码后的预测误差信号，密封化为称为NAL单元的标准单位。有包含压缩运动图像数据以及其关联信息的称为VCL NAL单元的单元。并且，也有将附加数据密封化的称为非VCL单元的单元。附加数据是，例如，有关运动图像序列整体的参数集，以及提供能够利用于解码性能的改进的附加信息的、最近追加了的补充增强信息(SEI)等。

为了改进画质，在解码器(运动图像解码装置200)，可以适用称为后滤波器280(参照图3)的滤波器。在H.264/MPEG-4 AVC标准规格中，通过补充增强信息(SEI)消息，能够发送用于后滤波的滤波数据。后滤波器设计部180，通过对局部解码信号(重构运动图像信号)与输入信号进行比较，从而确定滤波数据(所谓后滤波的滤波启示)。一般而言，滤波数据是，解码器用于设定适当的滤波条件的信息。例如，滤波数据，可以直接包含滤波系数。但是，也可以包含使滤波器的设定成为可能的其他的信息。例如，是有关非压缩信号的互相关信息、输入图像与解码图像间的互相关信息、解码图像与量化噪声间的互相关信息等。通过利用该互相关信息，从而能够计算滤波系数。由后滤波器设计部180输出的滤波数据，被发送到熵编码部190，并被编码后，被插入到编码运动图像信号。

解码器，在显示解码信号(解码运动图像信号)之前，可以对该解码信号适用滤波数据。

图3是示出依据H.264/MPEG-4 AVC运动图像编码标准规格的典型的运动图像解码装置(解码器)200的例子的方框图。首先，作为编码运动图像信号的输入信号，被发送到熵解码部290。熵解码部290，对输入信号进行熵解码。其结果为，量化系数、运动数据以及预测模式等的解码所需要的信息元素、和滤波数据被解码。被排列成一维的量化系数，被反扫描后成为二维矩阵，并被发送到反量化/反变换部220。反量化/反变换部220，通过对二维矩阵的量化系数进行反量化以及反变换，从而生成量化预测误差信号。在不发生量化噪声的情况下，量化预测误差信号相当于从输入到编码器的输入信号中减去预测信号而得到的差分。

预测信号是，从运动补偿预测部260或画面内预测部270分别得到的。帧内/帧间开关275，根据表示编码器所适用的预测类型的信息元素，切换被输出到加法器225的预测信号。信息元素，进一步，在帧内预测的情况下，包含帧内预测模式等的预测所需要的信息，在运动补偿预测的情况下，包含运动数据等的预测所需要的信息。根据运动矢量的值，为了进行运动补偿预测，而需要将像素值插值。由插值滤波器250进行插值。加法器225，通过对空间域的量化预测误差信号、与从运动补偿预测部260或画面内预测部270得到的预测信号进行加法运算，从而生成重构信号。进一步，加法器225，将重构信号发送到去块滤波器230。去块滤波器230，通过对重构信号进行去块滤波处理，从而生成重构运动图像信号，并将该重构运动图像信号存储到存储器240。该重构运动图像信号，被用于后续块的时间上预测或空间上预测。

后滤波器280，获得由熵解码部290熵解码的滤波数据，设定与该滤波数据相对应的滤波系数等的滤波的条件。为了进一步改进画质，后滤波器280，将基于该条件的滤波适用于该重构运动图像信号。据此，后滤波器280，具备适应被输入到编码器的运动图像信号的特性的能力。

简单地说，用于最新的H.264/AVC标准规格的滤波器是以下的三种滤波器。也就是说，是插值滤波器、去块滤波器、以及后滤波器。一般而言，某个滤波器是否适当，取决于滤波对象的图像内容。因此，能够适应图像的特性的滤波器的设计是有利的。也可以将滤波系数设计为维纳滤波系数。

图4是利用了用于减少噪声的维纳滤波器400的信号的流程的说明图。若噪声n与输入信号s被加在一起，则成为包含滤波对象的噪声的信号s′。减少噪声n的目的是指，对信号s′适用维纳滤波器400，从而得到已滤波信号s″。维纳滤波器400被设计为，将作为所希望的信号的输入信号s与已滤波信号s″之间的平均方差成为最小限度。因此，维纳滤波系数w，相当于表示为称为Wiener-Hopf方程的系统的最佳化问题“argw min E[(s-s″)2]”的解。运算符E[x]表示期待值x。以“w＝R^-1·p”来求出解。

在此，w是，包含作为正的整数的M位数的最佳维纳滤波系数的M×1的矢量。R^-1表示，包含滤波对象的噪声的信号s′的M×M的自相关矩阵R的倒数。p表示，包含滤波对象的噪声的信号s′与原信号s之间的M×1的互相关矢量。对于自适应滤波器的设计的详细内容，请参照非专利文献1。在此，引用并援用它。

因此，维纳滤波器400的优点之一是指，利用破损的(包含噪声)信号的自相关，和破损信号与所希望的信号之间的互相关，能够求出滤波系数。在运动图像编码时，在量化步骤中，量化噪声重叠于原(输入)运动图像信号。运动图像编码的上下文中的维纳滤波的目的为，为了使滤波后的重构运动图像信号与原运动图像信号的平均方差成为最小，而减少重叠后的量化噪声。

从编码器向解码器发送的滤波信息是，计算出的滤波系数本身，或者，不能由解码器求出的、维纳滤波器的计算所需要的互相关矢量p。若发送这样的补充信息，则能够改进滤波的质量。并且，例如，通过增加滤波器的级数，或者，通过对运动图像信号的各个部分分别决定以及/或适用滤波系数，从而能够进一步改进滤波的质量，进一步提高运动画质(例如，参照专利文献1)。

(现有技术文献)

(专利文献)

专利文献1：欧洲专利申请公开第2048886号说明书

(非专利文献)

非专利文献1：S.Haykin，“Adaptive Filter Theory”，FourthEdition，Prentice Hall Information and System Sciences Series，Prentice Hall，2002，

然而，在以往的运动图像编码方法以及运动图像解码方法中存在的问题是，若为了试图提高画质而增加滤波系数的数量，则为了使解码器设定这些滤波系数，而要发送到解码器的滤波数据的数据量增多。其结果为，编码效率降低，并且，为了发送编码运动图像信号，而需要宽的通信域，为了存储编码运动图像信号，而需要大的存储容量。

本发明的根本问题是，通常，运动图像滤波的质量的进一步的提高，与将滤波数据与编码运动图像信号一起提供所需要的带宽的条件的增加有关。

发明内容

于是，鉴于所述的问题，本发明的目的在于，抑制编码效率的降低、提高要解码的运动图像的画质的运动图像编码方法以及运动图像解码方法。

为了实现所述目的，本发明的实施方案之一的运动图像编码方法，对至少包含一个图片的运动图像信号进行编码，所述运动图像编码方法：通过在空间上或时间上预测所述运动图像信号，从而生成预测信号；将所述运动图像信号与所述预测信号之间的差分作为预测误差信号来计算；通过根据所述预测信号以及所述预测误差信号来重新构成所述运动图像信号，从而生成重构运动图像信号；针对所述预测信号、所述预测误差信号以及所述重构运动图像信号之中的至少两个信号的每一个，决定用于对该信号进行滤波的滤波数据；根据被决定的所述滤波数据间的互相关，对被决定的所述滤波数据进行编码。

据此，由于针对预测信号、预测误差信号以及重构运动图像信号之中的至少两个信号的每一个而决定滤波系数等的滤波数据，因此，在运动图像解码装置，通过获得这些滤波数据，并将这些滤波数据适用于预测信号、预测误差信号以及重构运动图像信号之中的至少两个信号，从而能够生成与原来的运动图像信号相同或更接近它的信号，能够提高被解码的运动图像的画质。并且，由于根据滤波数据间的互相关，对这些滤波数据进行编码，因此，能够减少滤波数据的数据量，且能够抑制编码效率的降低。

并且，也可以是，在对所述滤波数据进行编码时，通过根据被决定的两个滤波数据之中的第一滤波数据，来预测所述第一滤波数据以外的第二滤波数据，从而确定所述第二滤波数据的预测数据，通过计算所述第二滤波数据与所述预测数据之间的差分，从而对所述第二滤波数据进行编码。例如，在确定所述预测数据时，将所述第一滤波数据作为所述预测数据来确定。并且，例如，第一滤波数据是，针对重构运动图像信号的滤波数据，例如，第二滤波数据是，针对预测信号的滤波数据。

据此，实现所谓滤波数据(滤波系数)的预测编码。也就是说，由于第二滤波与预测数据之间的差分为，编码后的第二滤波数据，因此，预测数据与第二滤波数据越相似，就越能够减少编码后的第二滤波数据的数据量，且能够提高编码效率。并且，若存在第一滤波数据与第二滤波数据相似的倾向，通过将第一滤波数据作为预测数据，从而能够简单地确定能够提高编码效率的预测数据，且能够试图使处理负担减轻。

并且，也可以是，在对所述滤波数据进行编码时，将所述滤波数据量化，对表示所述量化的精度的精度信息进行编码。

据此，由于滤波数据被量化，因此，能够进一步减少滤波数据的数据量，且能够进一步提高编码效率。并且，由于精度信息(例如，filter_precision[c])被编码，因此，在运动图像解码装置，通过获得编码后的该精度信息，从而能够适当地将量化后的滤波数据反量化。

并且，也可以是，在对所述精度信息进行编码时，以所述精度信息表示的精度越低，就越使短的码字被分配到该精度信息的方式，来对所述精度信息进行编码。

据此，能够进一步提高编码效率。

并且，也可以是，在决定所述滤波数据时，按每个颜色成分决定所述滤波数据的每一个，在对所述滤波数据进行编码时，在存在作为所述颜色成分的第一颜色成分和第二颜色成分的情况下，根据所述第一颜色成分的所述滤波数据与所述第二颜色成分的滤波数据之间的互相关，对所述第一颜色成分的所述滤波数据进行编码。

例如，通过将第一颜色成分的滤波数据与第二颜色成分的滤波数据之间的差分，作为编码后的第一颜色成分的滤波数据，从而能够进一步减少滤波数据的数据量，且能够进一步提高编码效率。

并且，也可以是，所述运动图像编码方法，进一步，根据所述预测误差信号将编码运动图像信号作为比特流来生成，将编码后的所述滤波数据包含在所述比特流，在将编码后的所述滤波数据包含在所述比特流时，在所述比特流内的将要适用利用了所述滤波数据的滤波的图像信号之前配置编码后的所述滤波数据。

由于编码后的滤波数据被配置在该滤波数据被适用的图像信号之前，因此，若按照被排列在比特流的顺序，生成编码后的该滤波数据何该图像信号，则不需要暂时存储生成后的这些数据，能够试图减少存储容量。在此情况下，由于能够利用该滤波数据来生成图像信号，因此能够实现所谓环内滤波。也就是说，对预测信号进行利用了该滤波数据的滤波，根据滤波后的该预测信号，能够生成图像信号。

并且，也可以是，在决定所述滤波数据时，针对所述至少两个信号的每一个，选择滤波系数的大小，并决定包含用于确定选择出的大小的语法元素以及所述滤波系数的所述滤波数据。

据此，例如，能够按每个帧或片，变更滤波系数的大小(滤波大小)，例如，在仅因所述的大小而决定的范围的中心位置的滤波数据(滤波系数)被进行基于互相关的编码(预测编码)的情况下，通过按照状况使大小变小，从而能够提高编码效率。

并且，也可以是，为了实现所述目的，本发明的实施方案之一的运动图像解码方法，对至少包含一个图片的运动图像信号被编码的编码运动图像信号进行解码，所述运动图像解码方法：根据所述编码运动图像信号，生成预测误差信号；通过在空间上或时间上预测所述运动图像信号，从而生成预测信号；通过根据所述预测信号以及所述预测误差信号来重新构成所述运动图像信号，从而生成重构运动图像信号；获得编码滤波数据，该编码滤波数据是针对所述预测信号、所述量化预测误差信号以及所述重构运动图像信号之中的至少两个信号的每一个而被决定的滤波数据被编码而得到的；通过根据所述滤波数据间的互相关，对针对所述至少两个信号的每一个的所述编码滤波数据进行解码，从而生成滤波数据；针对所述至少两个信号的每一个，进行利用了生成后的所述滤波数据的滤波。

据此，能够对通过所述的本发明的实施方案之一的运动图像编码方法而编码后的滤波数据适当地进行解码，通过进行利用了该滤波数据的滤波，从而能够生成更接近原来的运动图像信号表示的图像的解码图像，能够提高解码图像的画质。

而且，本发明，除了以这样的运动图像编码方法以及运动图像解码方法来实现以外，也可以以根据该方法来进行处理工作的装置或集成电路、使计算机执行基于该方法的处理工作的程序、或存储该程序的记录介质来实现。

并且，考虑预测运动图像信号、预测误差信号以及重构运动图像信号之中的至少两个信号来进行滤波数据的决定以及滤波的方法，而且，对针对所述至少两个信号的滤波数据，利用该滤波数据间的统计关系(互相关)来进行编码的方法，都是本发明特有的方法。

通过这样的方法，一方面，能够提高滤波性能，另一方面，能够减少滤波数据的发送所需要的频带。因此，针对编码运动图像信号的存储/发送所需要的特定的比特率，能够提高解码运动图像信号的质量。

根据本发明的实施方案之一，提供用于对至少包含一个运动图像帧的运动图像信号进行编码的方法。空间上或时间上预测运动图像信号，根据预测结果计算预测误差信号。根据所述预测运动图像信号以及所述预测误差信号，重新构成运动图像信号。决定用于对所述预测运动图像信号、所述预测误差信号以及重构运动图像信号之中的至少两个信号进行滤波的滤波数据，进行编码。所述编码是，根据针对所述预测运动图像信号、所述预测误差信号、所述重构运动图像信号之中的所述至少两个信号的滤波数据间的统计关系(互相关)来进行的。

根据本发明的其他的实施方案，提供用于对至少包含一个运动图像帧的编码运动图像信号进行解码的方法。空间上或时间上预测运动图像信号，从编码器方获得预测误差信号。根据所述预测运动图像信号以及所述预测误差信号，重新构成运动图像信号。根据针对所述预测运动图像信号、所述预测误差信号、重构运动图像信号之中的至少两个信号的滤波数据间的统计关系，对滤波数据进行解码。据此，按照所述解码滤波数据设定滤波器，对所述预测信号、所述预测误差信号、所述重构运动图像信号之中的所述至少两个信号进行滤波。

根据本发明的还其他的实施方案，提供对至少包含一个运动图像帧的运动图像信号进行编码的编码装置。所述编码装置包括：预测器，空间上或时间上预测运动图像信号；减法器，根据预测运动图像信号计算测误差信号；以及重构器，根据所述预测运动图像信号以及所述预测误差信号，重新构成运动图像信号。

还包括：滤波器设计单元，决定用于对所述预测运动图像信号、所述预测误差信号、重构运动图像信号之中的至少两个信号进行滤波的滤波数据；以及滤波数据编码器，根据针对所述预测运动图像信号、所述预测误差信号、所述重构运动图像信号之中的所述至少两个信号的滤波数据间的统计关系(互相关)，对被决定的所述滤波数据进行编码。

根据本发明的还其他的实施方案，提供对至少包含一个运动图像帧的编码运动图像信号进行解码的解码装置。所述解码装置包括：预测器，空间上或时间上预测运动图像信号；以及重构器，根据预测运动图像信号以及所述装置从编码器方能够获得的预测误差信号，重新构成运动图像信号。所述解码装置，还包括：解码器，根据针对所述预测运动图像信号、所述预测误差信号、重构运动图像信号之中的至少两个信号的滤波数据间的统计关系(互相关)，对滤波数据进行解码；以及滤波器设计单元，按照所述解码滤波数据设定滤波器，决定用于对所述预测运动图像信号、所述预测误差信号、所述重构运动图像信号之中的所述至少两个信号进行滤波。

优选的是，编码步骤，还包括将预测误差信号量化的步骤，根据预测运动图像信号、量化预测误差信号、重构运动图像信号以及输入到编码器的运动图像信号，将滤波数据作为维纳滤波器来计算。通常，编码还可以包括变换以及颜色空间变换等的其他的编码步骤。滤波数据的决定不仅限于维纳滤波器，例如，也可以以使平均方差成为最小以外的解决最佳化问题等的其他的方法来设计。

优选的是，利用预测编码、变换编码、矢量量化以及编码、基于马尔可夫模型(Markov Model)以及/或状态转移图的编码之中的至少一个，对滤波数据进行编码。然而，若是能够利用针对预测信号以及/或量化预测误差信号以及/或重构信号的滤波数据间的统计上的依存关系的编码，则可以利用其他的编码。例如，可以利用游程编码、或按照已编码数据切换编码表的可变长编码、或能够将针对不同的运动图像信号以及/或颜色成分的滤波数据的组合编码为一个码字的联合熵编码。

根据本发明的实施例，利用预测编码，对针对预测运动图像信号、预测误差信号、重构运动图像信号的滤波数据进行编码。特别是，根据针对重构运动图像信号的滤波数据，预测针对预测运动图像信号的滤波数据，以及/或根据针对预测运动图像信号的滤波数据，预测针对量化预测误差信号的滤波数据。例如，预测可以是，以针对预测运动图像信号的滤波数据、与针对预测误差信号的滤波数据相同为前提来进行的。例如，滤波系数的预测也可以是，以针对预测运动图像信号的滤波系数和针对重构运动图像信号的滤波系数的合计、与固定值(1等)相同为前提来进行的。而且，通过对滤波数据与其预测结果之间的误差进行编码，从而进行编码。然而，针对所述信号之一的滤波数据的预测也可以是，利用针对其余的信号的滤波数据的其他的函数来进行的。例如，也可以将针对重构运动图像信号的滤波数据，预测为针对预测运动图像信号的滤波数据和针对预测误差信号的滤波数据的函数。与所述内容相对应，解码器，利用针对所述信号的滤波数据间的统计关系，对它们进行解码。

特别是，在利用预测编码对滤波数据进行编码的情况下，也可以通过以信号来发送预测的种类，从而将预测适应于编码对象的滤波数据的特性。同样，也可以将变换以及马尔可夫模型包含在例如序列、帧、或片头中，从编码器以信号来自适应地发送到解码器方。在利用矢量量化以及有关的矢量编码的情况下，也可以将代表矢量包含在例如序列、帧、或片头中，从编码器以信号来自适应地发送到解码器方。

优选的是，对各个颜色成分，分别决定滤波数据，将针对第一颜色成分的滤波数据，根据针对该第一颜色成分的滤波数据与针对其他的颜色成分的滤波数据间的统计关系来编码。据此，能够利用已滤波信号的颜色成分间的统计关系。

特别是，所述滤波数据包括，滤波系数、滤波长度、偏移、滤波数据的编码类型、以及输入到编码器的运动图像信号、与所述预测信号、所述预测误差信号、所述重构运动图像信号之中的至少一个信号之间的互相关的至少一个。并且，也能够发送量化噪声、与预测信号、预测误差信号以及重构运动图像信号之中的至少一个信号之间的互相关。互相关信息也可以是，为了在解码器决定滤波系数而利用的。一般而言，若是在解码器方决定滤波系数时能够利用的信息，则也可以以信号来发送任何信息，以作为滤波数据。典型地，优选的是，这样的信息是，与输入到编码器的原运动图像信号或关量化噪声有关的、在解码器方未被知道的信息。

优选的是，滤波数据的编码是，与编码运动图像信号的整体比特率有关而进行的。特别是，整体比特率越低，针对滤波数据的编码而选择的比特率就越低，整体比特率越高，针对滤波数据的编码而选择的比特率就越高。滤波数据可以包含滤波数据量化信息。滤波数据量化信息表示，被编码并包含在滤波数据中的、偏移、滤波系数、以及输入到编码器的运动图像信号、与预测信号、预测误差信号、重构运动图像信号之中的至少一个信号之间的互相关的至少一个的准确度(精度)。精度越低，数据就越被粗量化。优选的是，滤波数据量化信息值表示的精度越低，用于对滤波数据量化信息进行编码的码字就越短。据此，得到的效果是，针对比特率低的编码运动图像数据，能够维持由滤波数据的信号发送的开销低。可以对滤波数据量化信息自适应地进行编码，码字表也可以是，根据以信号来发送的被包含在比特流中的信息而被进行信号发送或被计算的。

根据本发明的实施例，与运动图像信号区域有关的滤波数据，被包含在比特流的编码运动图像信号区域之后。据此，由于不需要以将包含有关的滤波数据的头部附加到编码运动图像流为目的，而将该编码运动图像存储到编码器，因此能够减少编码器中的存储条件。

根据本发明的其他的实施例，与运动图像信号区域有关的滤波数据，被包含在比特流的编码运动图像信号区域之前。据此，由于不需要直到能够设定并适用滤波器时为止存储编码/解码运动图像流整体，因此能够减少解码器中的存储条件。

优选的是，利用算术编码对头部信息、滤波数据、宏块数据进行编码，以向头部信息、滤波数据、宏块数据分别提供码字。因此，在对头部信息、滤波数据、宏块数据分别进行编码之前，重新启动编码器以及对应的解码器。据此，能够分别处理这些不同种类的数据。然而，也可以重新启动编码器以及解码器，而将头部信息、滤波数据、宏块数据编码为单一的码字。并且，也可以利用与算术编码不同的编码。

通过与编码滤波数据一起设置标记，从而以信号来发送将要对针对预测信号、预测误差信号、重构运动图像信号之中的哪个信号的滤波数据进行编码的情况。也可以设置其他的标记，来以信号来发送是否对偏移进行编码的情况。

优选的是，运动图像信号，根据H.264/MPEG-4 AVC标准规格而被编码以及/或解码；滤波数据，被包含在补充增强信息(SEI)消息内。

然而，本发明，不仅限于H.264/MPEG-4 AVC标准规格、将其标准扩展而得到的标准、以及后续于其标准的标准，而可以利用于已标准化或专利化的运动图像编码机制。

根据本发明的还其他的实施方案，提供为了实施本发明而适应的、具备安装有计算机可读取的程序代码的计算机可读取介质的计算机程序产品。

根据本发明的还其他的实施方案，提供用于从编码器方向解码器方发送运动图像信号的系统。该系统包括所述的编码器、用于存储或发送编码运动图像信号的通道、以及所述的解码器。根据本发明的实施例，该通道相当于存储介质，是例如易失性或非易失性的存储器、像CD、DVD、BD或硬盘那样的光学或磁存储单元、闪存、或其他的存储单元。在本发明的其他的实施例中，通道是传输介质。它是，以依据互联网、WLAN、UMTS、ISDN、xDSL等的已标准化或专利化的传输技术/系统、无线系统、有线系统、或其两者的组合的资源来能够形成的。

以下，根据参照附图而说明的描述以及实施例，能够使还包括所述以外的内容的、本发明的目的以及特征更明确。

本发明的运动图像编码方法以及运动图像解码方法，能够抑制编码效率的降低，且能够提高解码的运动图像的画质。

附图说明

图1是示出依据以往的H.264/MPEG-4AVC的运动图像编码装置的方框图。

图2是示出两个块间的垂直边界线上的去块滤波处理的概要图。

图3是示出依据以往的H.264/MPEG-4AVC的运动图像解码装置的方框图。

图4是示出包括维纳滤波器的传输系统的概要图。

图5是本发明的实施例中的运动图像编码装置的方框图。

图6A是示出本发明的实施例中的运动图像编码装置的处理工作的流程图。

图6B是示出本发明的实施例中的滤波数据的编码的详细处理工作的流程图。

图7是本发明的实施例中的运动图像解码装置的方框图。

图8A是示出本发明的实施例中的运动图像解码装置的处理工作的流程图。

图8B是示出本发明的实施例中的编码滤波数据的解码的详细处理工作的流程图。

图9是本发明的实施例中的频率域中进行滤波器的设计的运动图像编码装置的方框图。

图10是本发明的实施例中的频率域中进行滤波的运动图像解码装置的方框图。

图11A是示出本发明的实施例中的编码运动图像信号(比特流)的与片或帧相对应的部分的结构的一个例子的图。

图11B是示出本发明的实施例中的编码运动图像信号(比特流)的一部分的结构的其他的例子的图。

图11C是示出本发明的实施例中的编码运动图像信号(比特流)的一部分的结构的其他的例子的图。

图12A是示出本发明的实施例中的序列头的语法的图。

图12B是示出本发明的实施例中的帧的语法的图。

图13A是示出本发明的实施例中的decode_post_filter(c)的语法的图。

图13B是示出本发明的实施例中的decode_post_filter(c)的其他的语法的图。

图14是示出本发明的实施例中的filter_hint_type[c]的值与滤波启示的种类的关系的图。

图15是示出本发明的实施例中的filter_precision[c]与Wiener_Filter_Precision[c]的对应关系的图。

图16是示出本发明的实施例中的分配给filter_precision[c](Wiener_Filter_Precision[c])的一元码的图。

图17是示出本发明的实施例中的分配给filter_precision[c](Wiener_Filter_Precision[c])的哥伦布码的一个例子的图。

图18是示出本发明的实施例中的分配给filter_precision[c](Wiener_Filter_Precision[c])的哥伦布码的其他的例子的图。

图19是示出本发明的实施例中的分配给filter_precision[c](Wiener_Filter_Precision[c])的固定长码的图。

图20A是示出本发明的实施例中的针对重构运动图像信号的滤波系数的计算式的图。

图20B是示出本发明的实施例中的针对预测信号的滤波系数的计算式的图。

图20C是示出本发明的实施例中的针对量化预测误差信号的滤波系数的计算式的图。

图21是示出本发明的实施例中的解码运动图像信号的计算式的图。

图22A是示出本发明的实施例中的标准化以及限幅的计算式的图。

图22B是示出本发明的实施例中的标准化及限幅的其他的计算式的图。

图23A是示出本发明的实施例中的针对预测信号的中心位置上的滤波系数的计算式的图。

图23B是示出本发明的实施例中的针对预测信号的中心位置以外的位置上的滤波系数的计算式的图。

图23C是示出本发明的实施例中的针对量化预测误差信号的滤波系数的计算式的图。

图24A是示出本发明的实施例中的针对重构运动图像信号的滤波系数的计算式的图。

图24B是示出本发明的实施例中的针对预测信号的滤波系数的计算式的图。

图24C是示出本发明的实施例中的针对量化预测误差信号的滤波系数的计算式的图。

图25是示出本发明的实施例中的水平滤波的图。

图26是示出本发明的实施例中的针对已水平滤波信号的标准化以及限幅的计算式的图。

图27是示出本发明的实施例中的垂直滤波的图。

图28是示出本发明的实施例中的针对已水平以及垂直滤波信号的标准化及限幅的计算式的图。

图29A是示出本发明的实施例中的对应于重构运动图像信号的互相关矩阵的元素的计算式的图。

图29B是示出本发明的实施例中的对应于预测信号的互相关矩阵的元素的计算式的图。

图29C是示出本发明的实施例中的对应于量化预测误差信号的互相关矩阵的元素的计算式的图。

图30A是示出本发明的实施例中的对应于重构运动图像信号的水平互相关矢量的元素的算出式的图。

图30B是示出本发明的实施例中的对应于重构运动图像信号的垂直互相关矢量的元素的计算式的图。

图30C是示出本发明的实施例中的对应于预测信号的水平互相关矢量的元素的计算式的图。

图30D是示出本发明的实施例中的对应于预测信号的垂直互相关矢量的元素的计算式的图。

图30E是示出本发明的实施例中的对应于量化预测误差信号的水平互相关矢量的元素的计算式的图。

图30F是示出本发明的实施例中的对应于量化预测误差信号的垂直互相关矢量的元素的计算式的图。

图31是示出本发明的实施例中的与编码/解码的对象块相邻的周围块的图。

图32是示出本发明的实施例中的系统的图。

图33是示出实现内容分发服务的内容提供系统整体的结构的一个例子的模式图。

图34是示出移动电话的外观的图。

图35是示出移动电话的结构例的方框图。

图36是示出数字广播用系统整体的结构的一个例子的模式图。

图37是示出电视机的结构例的方框图。

图38是示出对作为光盘的记录介质进行信息的读写的信息再生记录部的结构例的方框图。

图39是示出作为光盘的记录介质的构造例的图。

图40是示出各个实施例涉及的实现图像编码方法以及图像解码方法的集成电路的结构例的方框图。

具体实施方式

根据本发明，为了设计空间域或频率域中的滤波条件，可以考虑预测信号、预测误差信号、以及重构运动图像信号。据此，能够分别考虑这样的三个信号的每一个噪声。针对这样的信号中的至少两个信号，决定滤波数据，针对该滤波数据，利用该至少两个信号的滤波数据间的互相关来进行编码。

据此，本发明，能够提供有效的滤波方法，能够减少为传输编码运动图像流而需要的数据量，并且，能够提高滤波后的数据的质量。也就是说，能够抑制编码效率的降低，并且，能够提高解码运动图像的画质。

以下，说明本发明的实施例。

(实施例1)

图5是示出本实施例中的依据H.264/MPEG-4 AVC的作为编码器的运动图像编码装置500的例子的方框图。

在本实施例中的运动图像编码装置500包括减法器105、变换/量化部110、反量化/反变换部120、加法器125、去块滤波器130、存储器140、插值滤波器150、运动补偿预测部160、运动检测部165、画面内预测部170、帧内/帧间开关175、后滤波器设计部540、以及熵编码部590。本实施例中的运动图像编码装置500的特点是，后滤波器设计部540的处理工作。

减法器105，通过从作为输入信号的运动图像信号中减去预测信号，从而生成预测误差信号。

变换/量化部110，通过对由减法器105生成的预测误差信号进行DCT等的正交变换以及量化，从而生成量化系数。

反量化/反变换部120，针对由变换/量化部110生成的量化系数，进行反量化，并且，进行反DCT等的反正交变换，从而生成量化预测误差信号。

加法器125，对预测信号所对应的量化预测误差信号、与该预测信号进行加法运算，从而生成重构信号。

去块滤波器130，去除重构信号所示的图像中包含的块失真，将作为去除了块失真的重构信号的重构运动图像信号存储到存储器140。而且，在本实施例中，由加法器125和去块滤波器130构成重构部。

插值滤波器150，读出存储器140所存储的重构运动图像信号所示的参考图像，对该参考图像进行小数像素的插值。

画面内预测部170，通过画面内预测，生成编码对象块的预测图像，输出表示该预测图像的预测信号。

运动检测部165，参考存储器140所存储的重构运动图像信号所示的参考图像，针对运动图像信号中包含的块，检测运动矢量。而且，运动检测部165，将该运动矢量作为运动数据，来输出到运动补偿预测部160以及熵编码部590。

运动补偿预测部160，利用由插值滤波器150插值了小数像素的参考图像、和从运动检测部165输出的运动数据，进行运动补偿。据此，运动补偿预测部160通过画面间预测，生成编码对象块的预测图像，输出表示该预测图像的预测信号。

帧内/帧间开关175，按照编码对象块的编码类型，切换由画面内预测部170生成的预测信号、和由运动补偿预测部160生成的预测信号，来输出到减法器105以及加法器125。例如，在编码对象块被画面内预测编码的情况下，帧内/帧间开关175，将由画面内预测部170生成的预测信号，输出到减法器105以及加法器125。另一方面，在编码对象块被画面间预测编码的情况下，帧内/帧间开关175，将由运动补偿预测部160生成的预测信号，输出到减法器105以及加法器125。

后滤波器设计部540，设计关于后滤波的滤波系数等的滤波条件。也就是说，后滤波器设计部540，根据作为输入信号的运动图像信号、重构运动图像信号、预测信号、以及量化预测误差信号，计算针对重构运动图像信号、预测信号以及量化预测误差信号的每一个的滤波系数。其次，后滤波器设计部540，根据滤波系数间的互相关，生成用于在解码器方将这样的滤波系数复原的滤波启示，将包含滤波启示的新的滤波数据(差分滤波数据)，输出到熵编码部590。也就是说，后滤波器设计部540，针对重构运动图像信号、预测信号以及量化预测误差信号的每一个，决定包含滤波系数的滤波数据，根据滤波数据间的互相关，生成滤波启示(差分滤波数据)。而且，针对重构运动图像信号、预测信号以及量化预测误差信号的每一个生成所述的滤波启示，滤波启示可以是滤波系数本身，滤波启示也可以与滤波系数不同。并且，例如，滤波数据也可以是互相关矢量等任何信息。

熵编码部590，将该差分滤波数据，与量化系数以及运动数据一起熵编码(例如，算数编码)，输出包含熵编码后的差分滤波数据的编码运动图像信号。而且，在本实施例中，后滤波器设计部540的决定滤波数据的功能部分被构成为决定部，后滤波器设计部540的生成滤波启示(差分滤波数据)的功能部分、与熵编码部590被构成为编码部。

例如，后滤波器设计部540，计算滤波系数，以使作为输入信号的所希望的信号s与已滤波信号s′之间的平均方差成为最小。

(算式1)

$s^{\′}=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{w}_i\·p_i+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_{M+i}\·e_i+\underset{i=1}{\overset{O}{\mathrm{\Σ}}}{w}_{M+N+i}\·r_i+w_{M+N+O+1}$ …(公式1)

在所述(公式1)中，w₁，…，w_M为后滤波的M个滤波系数，被适用于M个预测样本(预测信号)p₁，…，p_M。并且，w_M+1，…，w_M+N为后滤波的N个滤波系数，被适用于N个量化预测误差样本(量化预测误差信号)e₁，…，e_N。并且，w_M+N+1，…，w_M+N+O为后滤波的O个滤波系数，被适用于O个重构运动图像样本(重构运动图像信号)r₁，…，r_O。w_{M+N+O+ 1}为偏移。

如关于图4的所述内容，通过求出Wiener-Hopf方程的解，也可以决定使所希望的信号s与已滤波信号s′之间的平均方差成为最小的滤波系数。

图6A是示出本实施例中的运动图像编码装置500的处理工作的流程图。

运动图像编码装置500的画面内预测部170或运动补偿预测部160，生成预测信号(步骤S100)。其次，减法器105，通过从运动图像信号中减去预测信号，从而生成预测误差信号，变换/量化部110以及反量化/反变换部120，通过对该预测误差信号进行量化以及反量化，从而生成量化预测误差信号(步骤S110)。进而，加法器125，通过对量化预测误差信号与预测信号进行加法运算，从而生成重构信号，去块滤波器130，通过从该重构信号中去除块失真，从而生成重构运动图像信号(步骤S120)。

后滤波器设计部540，针对在步骤S100、S110、S120所生成的各个信号，决定滤波数据(步骤S130)。此时，后滤波器设计部540，进行基于所述(公式1)的运算，决定滤波系数，以使平均方差成为最小。也就是说，后滤波器设计部540，决定包含滤波系数的滤波数据，以得到的图像(解码图像)，与预测信号、量化预测误差信号以及重构运动图像信号的每一个表示的图像相比，更接近运动图像信号表示的图像。而且，后滤波器设计部540以及熵编码部590，根据被决定的滤波数据间的互相关，对决定后的该滤波数据进行编码(步骤S 140)。

图6B是示出滤波数据的编码(步骤S140)的详细处理工作的流程图。

后滤波器设计部540，通过根据被决定的两个滤波数据之中的一方的滤波数据，预测另一方的滤波数据，从而确定另一方的滤波数据的预测数据(步骤S142)。其次，后滤波器设计部540，通过计算该另一方的滤波数据与预测数据之间的差分，从而计算差分滤波数据(滤波启示)(步骤S144)。而且，熵编码部590，对该差分滤波数据进行熵编码(步骤S146)。如此，针对另一方的滤波数据，进行差分的计算以及熵编码，从而该另一方的滤波数据被编码。也就是说，生成编码滤波数据。

而且，典型地，滤波数据为滤波系数，典型地，差分滤波数据为表示两个滤波系数间的差分的差分滤波系数，该差分滤波系数被处理为滤波启示。并且，典型地，所述的预测数据为一方的滤波数据、即一方的滤波系数本身。

具体而言，后滤波器设计部540，在步骤S120，决定针对重构运动图像信号的滤波系数、针对预测信号的滤波系数、以及针对量化预测误差信号的滤波系数。而且，后滤波器设计部540，在步骤S142，通过根据针对重构运动图像信号的滤波系数，预测针对预测信号的滤波系数，从而确定针对预测信号的预测数据(预测滤波系数)。其次，后滤波器设计部540，在步骤S144、S146，通过计算针对预测信号的滤波系数与预测滤波系数之间的差分，并进行熵编码，从而对针对预测信号的滤波系数进行编码。并且，后滤波器设计部540，在步骤S142，例如，将针对重构运动图像信号的滤波系数确定为预测滤波系数。

并且，后滤波器设计部540，也可以将在步骤S130被决定的预测信号、量化预测误差信号以及重构运动图像信号的每一个的滤波系数(滤波数据)量化，根据该量化后的滤波系数计算差分滤波系数。或者，后滤波器设计部540，也可以不将滤波系数量化，而计算差分滤波系数，并将该差分滤波系数量化。并且，也可以仅将针对预测信号、量化预测误差信号以及重构运动图像信号之中的任一个或两个信号的滤波系数量化。在进行这样的量化的情况下，后滤波器设计部540，将表示该量化的精度(Wiener_Filter_Precision[c])的信息(filter_precision[c])包含在差分滤波数据中。

并且，后滤波器设计部540，在决定滤波系数时，也可以按每个颜色成分决定滤波系数的每一个，根据第一颜色成分(例如与c＝1相对应的颜色成分)的滤波系数、与第二颜色成分(例如与c＝2相对应的颜色成分)的滤波系数之间的互相关，对第一颜色成分的滤波系数进行编码。

图7是本实施例中的作为解码器的运动图像解码装置600的方框图。

在本实施例中的运动图像解码装置600，获得作为从运动图像编码装置500输出的输出信号的编码运动图像信号，以作为输入信号，并对该输入信号进行解码。该运动图像解码装置600包括熵解码部600、反量化/反变换部220、加法器225、去块滤波器230、存储器240、插值滤波器250、画面内预测部270、帧内/帧间开关275、运动补偿预测部260、以及后滤波器640。本实施例中的运动图像解码装置600的特点是后滤波器640。

熵解码部690，通过对作为输入信号的编码运动图像信号进行熵解码(例如，算术解码)，从而将运动数据、量化系数以及滤波数据(差分滤波数据)分别输出到运动补偿预测部260、反量化/反变换部220以及后滤波器640。此时，编码运动图像信号中包含的编码滤波数据，被熵解码，并被变换为差分滤波数据。

反量化/反变换部220，通过对从熵解码部690输出的量化系数，进行反量化，并且进行反DCT等的反正交变换，从而生成量化预测误差信号。而且，在本实施例中，由熵解码部690以及反量化/反变换部220构成预测误差信号生成部。并且，由熵解码部690构成获得部。

加法器225，通过对由反量化/反变换部220生成的量化预测误差信号、与对应于该量化预测误差信号的预测信号进行加法运算，从而生成重构信号。

去块滤波器230，去除重构信号表示的图像中包含的块失真，将作为去除了块失真的重构信号的重构运动图像信号存储到存储器240。而且，在本实施例中，由加法器225以及去块滤波器230构成重构部。

插值滤波器250，读出存储器240所存储的重构运动图像信号所示的参考图像，对该参考图像进行小数像素的插值。

画面内预测部270，通过画面内预测来生成编码对象块的预测图像，输出表示该预测图像的预测信号。

运动补偿预测部260，利用由插值滤波器250插值了小数像素的参考图像、和从熵解码部690输出的运动数据，进行运动补偿。据此，运动补偿预测部260，通过画面间预测来生成编码对象块的预测图像，输出表示该预测图像的预测信号。

帧内/帧间开关275，按照编码对象块的编码类型，切换由画面内预测部270生成的预测信号、与由运动补偿预测部260生成的预测信号，来输出到加法器225。例如，在编码对象块被画面内预测编码的情况下，帧内/帧间开关275，将由画面内预测部270生成的预测信号输出到加法器225。另一方面，在编码对象块被画面间预测编码的情况下，帧内/帧间开关275，将由运动补偿预测部260生成的预测信号输出到加法器225。

后滤波器640，从熵解码部690获得滤波数据(差分滤波数据)，根据该差分滤波数据设定滤波系数等的滤波条件。在该差分滤波数据中包含滤波启示，该滤波启示用于复原要适用于量化预测误差信号、预测信号以及重构运动图像信号的每一个的滤波系数。也就是说，后滤波器640，根据这样的滤波数据(滤波系数)间的互相关，并根据滤波启示，复原要适用于量化预测误差信号、预测信号以及重构运动图像信号的每一个的滤波系数。进而，后滤波器640，通过将复原后的滤波系数适用于量化预测误差信号、预测信号以及重构运动图像信号的每一个，即，通过进行后滤波，从而生成表示解码图像的解码运动图像信号，将该解码运动图像信号作为输出信号来输出。

而且，在本实施例中，由熵解码部690的进行熵解码的功能部分、和后滤波器640的复原滤波系数的功能部分，构成滤波数据解码部。进而，由后滤波器640的进行滤波的功能部分构成滤波器。

图8A是示出本实施例中的运动图像解码装置600的处理工作的流程图。

运动图像解码装置700的熵解码部690，通过对编码运动图像信号进行熵解码，从而生成量化系数，反量化/反变换部220，通过对该量化系数进行反量化以及反正交变换，从而生成量化预测误差信号(步骤S200)。其次，画面内预测部270或运动补偿预测部260，生成预测信号(步骤S210)。而且，加法器225，通过对量化预测误差信号与预测信号进行加法运算，从而生成重构信号，去块滤波器，通过从该重构信号中去除块失真，从而生成重构运动图像信号(步骤S220)。

进而，熵解码部690，根据编码运动图像信号，获得针对量化预测误差信号、预测信号以及重构运动图像信号的每一个的编码滤波数据(步骤S230)。熵解码部690以及后滤波器640，根据滤波数据间的互相关，对这样的编码滤波数据进行解码(步骤S240)。

而且，后滤波器640，通过将滤波数据适用于量化预测误差信号、预测信号以及重构运动图像信号的每一个，从而进行滤波，输出作为输出信号的解码运动图像信号(步骤S260)。

图8B是示出编码滤波数据的解码(步骤S240)的详细处理工作的流程图。

熵解码部690，通过对编码滤波数据进行熵解码，从而获得针对量化预测误差信号、预测信号以及重构运动图像信号之中的任一个信号的差分滤波数据(滤波启示)，输出到后滤波器640(步骤S242)。

后滤波器640，若获得该差分滤波数据，则预测与该差分滤波数据相对应的原来的滤波数据(典型的是滤波系数)(步骤S244)。此时，后滤波器640，利用已经计算的其他的滤波数据(典型的是滤波系数)，预测与所述的差分滤波数据相对应的原来的滤波数据。据此，确定预测数据。其次，后滤波器640，通过对差分滤波数据(滤波启示)与预测数据进行加法运算，从而计算与该差分滤波数据相对应的原来的滤波数据(步骤S246)。如此，通过对编码滤波数据进行熵解码以及加法运算，从而该编码滤波数据被解码。而且，典型地，所述的预测数据为已经计算的其他的滤波数据、即其他的滤波系数本身。

并且，在差分滤波数据中包含表示量化的精度(Wiener_Filter_Precision[c])的信息(filter_precision[c])的情况下，后滤波器640，根据该信息表示的精度，将针对预测信号、量化预测误差信号以及重构运动图像信号的每一个的滤波系数或差分滤波系数反量化。

并且，滤波条件的设计以及/或适用是，在频率域中有效的。在频率域中也附加噪声的情况下，用于运动图像信号的频率域中的滤波的滤波器是特别有效的。在用于将变换为频率域的运动图像信号量化以及传输/存储的最近的运动图像编码方法的大部分的情况下有效的。

图9是频率域中进行滤波器的设计的运动图像编码装置700的方框图。

运动图像编码装置700是，取代运动图像编码装置500的后滤波器设计部540而包括频率域后滤波器设计部730的编码器。该频率域后滤波器设计部730在频率域中设计后滤波的滤波条件。具体而言，频率域后滤波器设计部730，对运动图像信号、预测信号、量化预测误差信号以及重构运动图像信号分别进行正交变换。据此，各个信号的区域从空间域被变换为频率域。进而，频率域后滤波器设计部730，与由后滤波器设计部540的处理相同，根据频率域的所述各个信号决定滤波系数，根据这样的滤波系数计算滤波启示。而且，频率域后滤波器设计部730，将包含滤波启示的差分滤波数据，输出到熵编码部590。

图10是频率域中进行滤波的运动图像解码装置800的方框图。

运动图像解码装置800是，取代运动图像解码装置600的后滤波器640而包括频率域后滤波器840的解码器。频率域后滤波器840，与后滤波器640同样，从熵解码部690获得差分滤波数据，根据该差分滤波数据，设定滤波系数等的滤波条件。进而，频率域后滤波器840，获得预测信号、量化预测误差信号以及重构运动图像信号，对这样的信号进行正交变换。据此，各个信号的区域从空间域被变换为频率域。其次，频率域后滤波器840，通过适用针对频率域所示的量化预测误差信号、预测信号以及重构运动图像信号的每一个设定了的滤波系数，从而生成频率域所示的解码运动图像信号。而且，频率域后滤波器840，对该解码运动图像信号进行反正交变换。据此，解码运动图像信号的区域从频率域被变换为空间域。频率域后滤波器840，将该空间域所示的解码运动图像信号作为输出信号来输出。

而且，也可以是，在频率域后滤波器840设定的滤波条件，与由频率域后滤波器设计部730设计的滤波条件相同或相似。

例如，预测信号、量化预测误差信号以及重构运动图像信号，在滤波条件的设计或滤波之前，被变换为频率域，对各个信号决定K个滤波系数。在进行滤波时，对频率域的各个信号分别适用各个滤波系数。例如，通常，也可以利用作为输入信号的频率系数的所希望的频率系数c_k、与已滤波频率系数c_k′间的最小平均方差，以作为针对滤波条件的设计的最佳化基准。通过以下的(公式2)求出已滤波频率系数c_k′。

(算式2)

$\begin{array}{ccc}{c}_k^{\′}=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{w}_{k,j}\·c_{k,p,i}+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_{k,M+i}\·c_{k,e,i}+\underset{i=1}{\overset{O}{\mathrm{\Σ}}}{w}_{k,M+N+i}\·c_{k,r,i}+w_{k,M+N+O+1}& \∀& k=1,...,K\end{array}$

                        …(公式2)

在所述(公式2)中，w_k，1，…，w_k，M为后滤波的M个滤波系数，被适用于预测信号的M个频率系数c_k，p，1，…，c_k，p，M。并且，w_k，M+1，…，w_k，M+N为后滤波的N个滤波系数，被适用于重构运动图像信号的N个频率系数c_k，e，1，…，c_k，e，N。并且，w_k，M+N+1，…，w_k，M+N+O为后滤波的O个滤波系数，被适用于重构运动图像信号的O个频率系数c_k，r，1，…，c_{k，r， O}。w_k，M+N+O+1为偏移。

在此，通过适用Wiener-Hopf方程，也可以求出使所希望的频率系数c_k与已滤波频率系数c_k′之间的平均方差成为最小的滤波系数。

滤波系数以及偏移，需要被编码，并被传输到解码器。或者，也可以将在解码器中滤波系数的计算所需要的信息以及/或偏移，提供给解码器方。这样的信息，优选的是与输入到编码器的原运动图像信号之间具有某种关联性、且在解码器方不能获得的信息。例如，预测信号、(量化)预测误差信号、重构运动图像信号之中的至少一个、与原运动图像信号的互相关包含在滤波数据中。并且，也可以是，预测信号、(量化)预测误差信号、重构运动图像信号之中的至少一个、与量化误差信号的互相关包含在滤波数据中。

通过提供针对运动图像序列(编码运动图像信号)中的多张图片、GOP(Group of Pictures)、帧、片或块等的小部分的滤波数据，从而会有提高已滤波的信号的质量的情况。然而，其结果为，导致增加用于编码运动图像信号(比特流)中嵌入这样的滤波数据所需要的带宽。

因此，本发明提供的方式是，如上所述的、对各个滤波系数与预测信号、量化预测误差信号、重构运动图像信号分别相对应而被传输的多种滤波方式中所需要的滤波数据(滤波系数以及偏移等)有效地进行编码的方式。为了实现高编码效率，在该编码方式中，利用编码以及传输对象的系数与偏移的统计上的依存关系。

本发明，也可以适用于其他的滤波方式。例如，也可以不考虑预测信号、量化预测误差信号、重构运动图像信号这三个信号的全部。根据适用于运动图像信号的差分脉冲编码调制方式，从编码对象运动图像信号，计算预测信号以及预测误差信号。其次，也可以根据预测信号的统计特性求出第一滤波数据，根据预测误差信号的统计特性计算第二滤波数据。对于各个滤波数据的决定，也可以利用维纳滤波或其他的方法。而且，第一滤波数据以及第二滤波数据这双方，利用相互统计特性而被编码。

并且，也可以分别考虑与不同的颜色成分相对应的信号等其他的信号。

滤波数据，也可以由滤波系数以及偏移构成。但是，也可以包含滤波长度或其他的数据。也可以是，取代以信号来发送滤波系数，而以信号来发送输入到编码器的原运动图像信号、与多个滤波对象运动图像信号之中的任一个之间的互相关等的滤波系数的计算所需要的信息，据此，在解码器方能够计算滤波系数。

对于滤波，可以是后滤波，但不仅限于此。本发明，可以适用于插值滤波器以及/或去块滤波器。

并且，也能够适用于参考帧的整数像素位置上适用的预测滤波器。进而，例如，也可以在多个滤波器(例如，后滤波以及插值滤波器)的设计上利用预测误差信号的滤波数据。在这样的情况下，也可以在编码上利用不同的滤波器的滤波数据间的统计上的依存关系。

在滤波数据的编码中，为了实现更高的编码效率，而利用已滤波信号的滤波数据(滤波系数以及/或偏移等)间的统计上的依存关系。通过利用如下的各种编码技术，从而实现所述内容。

-利用了滤波数据的预测的编码

-滤波数据的变换编码，或者，

-利用了马尔可夫模型的滤波数据的编码，或者，

-矢量量化以及联合熵编码

对于这样的编码技术，在与滤波数据由滤波系数以及偏移构成的空间域滤波有关的下述的例子中进行说明。

为了利用已滤波信号的滤波系数与偏移之间的统计上的依存关系，而进行本发明的实施例之一涉及的预测编码。据此，如(公式3)，预测滤波系数w₁，…，w_M+N+O+1。

(算式3)

${\hat{w}}_1,...,{\hat{w}}_{M+N+O+1}$ ...(公式3)

所述(公式3)表示预测滤波系数。对相当于滤波系数与预测滤波系数之间的差分的、作为剩余的预测误差的差分滤波系数ew₁，…，ew_M+N+O+1进行编码。一般而言，与对滤波系数w₁，…，w_M+N+O+1的编码的编码效率相比，对差分滤波系数ew₁，…，ew_M+N+O+1的编码的编码效率高。

根据已编码(或解码)滤波系数，预测编码器(解码器)中的对象滤波系数。但是，也可以考虑传输的滤波系数以外的、解码器中已经能够利用的信息来进行预测。

例如，由以下的(公式4)得到预测滤波系数。

(算式4)

${\hat{w}}_{i,t}=F_i(w_{1,t},...,w_{i-1,t},w_{i+1,t},...,w_{M+N+O+1,t},w_{1,t-1},...,w_{M+N+O+1,t-1},w_{1,t-2},...,w_{M+N+O+1,t-2,...}),\∀i$

                        …(公式4)

在所述(公式4)中，索引t表示时间实例(instance)。时间实例与相对解码顺序有关。也就是说，具有小于t的时间索引的信息是已经编码的。例如，时间实例t也可以，按照决定滤波系数的区域，与图片或1块的编码(或解码)有关。函数Fi，通常是，按照所有的已编码滤波系数决定的函数。

特别是，也可以将线性预测因素利用于滤波系数以及偏移的预测。例如，如以下的(公式5)表示函数Fi。

(算式5)

$F_i={\mathrm{\α}}_i+\underset{j=1,j\≠i}{\overset{M+N+O+1}{\mathrm{\Σ}}}{a}_{j,t}\·w_{j,t}+\underset{j=1}{\overset{M+N+O+1}{\mathrm{\Σ}}}{a}_{j,t-1}\·w_{j,t-1}+\underset{j=1}{\overset{M+N+O+1}{\mathrm{\Σ}}}{a}_{j,t-2}\·w_{j,t-2}+...\∀i$ …(公式5)

在所述(公式5)中，α_i为常数值。对于预测系数α_j，t，…，α_j，t-1，…，α_j，t-2，…以及α_i，可以固定，或可以自适应地发生变化。在自适应的预测系数的情况下，可以将该预测系数提供给解码器方。也就是说，例如，将自适应的预测系数，包含在序列头或帧头中的编码运动图像信号中。并且，也可以是，在解码器，根据已经接受的数据来计算的。并且，也可以针对片或块等的、一张图片的任意部分(区域)，使预测系数α_j，t，…，α_{j， t-1}，…，α_j，t-2，…以及α_i自适应。

为了使带宽进一步缩小，也可以以霍夫曼码、算术码、哥伦布(Golomb)码、Elias码等的可变长码、或其他的可变长码，来对差分滤波系数(预测误差)进行编码。并且，也可以对差分滤波系数进行固定长编码。

由于重构运动图像信号基于预测信号以及(量化)预测误差信号，因此对滤波数据进行预测编码是有效的。因此，通常，特别是，在重构运动图像信号、与预测信号以及(量化)预测误差信号的每一个之间存在统计关系。在大多数情况下，对重构运动图像信号而被决定的滤波数据、与对预测信号而被决定的滤波数据具有同一或相似的值。在此情况下，例如，只要根据重构运动图像信号的滤波数据的值，对预测信号的滤波数据进行预测，就能够有效地缩小编码运动图像信号所需要的带宽。例如，也可以利用预测信号的滤波数据等，同样也预测(量化)预测误差信号的滤波数据。但是，一个信号的滤波数据，并不一定是以一对为单位(即，根据其他的信号的滤波数据)来预测到的。一般而言，为了预测一个信号的滤波数据，利用针对其他的多个信号而被决定的滤波数据中的任意的函数。例如，对于重构运动图像信号的滤波数据的预测，可以利用(量化)预测误差信号的滤波数据以及预测信号的滤波数据中的函数的任一个。

并且，滤波系数间以及偏移间的线性统计上的依存关系是，在变换编码中也能够利用的。也就是说，也可以将滤波系数w₁，…，w_M+N+O+1变换为变换系数cw₁，…，cw_M+N+O+1，进一步，对其进行编码。通常，对变换系数cw₁，…，cw_M+N+O+1的编码的效率，比对滤波系数以及偏移w₁，…，w_M+N+O+1的直接编码的效率高。如以下的(公式6)进行变换处理。

(算式6)

CW_t＝T_t·W_t           …(公式6)

在所述(公式6)中，CWt为，包含变换系数cw₁，…，cw_M+N+O+1的矢量，Wt为，包含滤波系数w₁，…，w_M+N+O+1的矢量，Tt为，时间实例t中的变换矩阵。根据输入的静止图像/运动图像的特性，会有以下的情况，即，通过在各个时间实例中进行同一或不同的变换处理，从而得到效果。对于适用的变换，可以是离散余弦变换(DCT)、快速傅里叶变换(FFT)或利用了固定系数的Karhunen-Loeve变换(KLT)等的固定的变换。然而，也可以是自适应的。在自适应变换的情况下，例如，能够将变换信息插入到序列头、帧或片头，来传输到解码器。在变换信息中，可以包含变换矩阵或用于获得变换矩阵的信息。

为了对变换系数cw₁，…，cw_M+N+O+1进行编码，优选的是，适用可变长码。然而，也可以适用固定长码。

并且，滤波系数间以及偏移间的统计上的依存关系是，在以马尔可夫信息源为前提的编码方式中也能够利用的。据此，如以下的(公式7)示出，利用以(尽可能所有的)已编码以及传输滤波系数或偏移为条件的码字，对滤波系数或偏移w_i，t进行编码。

(算式7)

w_1，t，...，w_i-1，t，w_i+1，t，...，w_M+N+O+1，t，w_1，t-1，...，w_{M+N+O+1，t-1}，w_1，t-2，...，w_{M+N+O+1，t-2}，...

                                                        …(公式7)

根据编码方式以及输入的静止图像/运动图像，会有以下的情况，即，仅将已编码的滤波系数或偏移的子集(subset)作为条件来考虑，从而得到效果。

以马尔可夫信息源为前提的编码方式，需要关于资源模型的知识。对于该模型，可以是固定的，也可以是自适应的。例如，也可以利用状态转移图，说明这样的编码方式。在自适应模型的情况下，例如，可以将模型(例如状态转移图)编码，来插入到序列头、帧或片头，并传输到解码器。

也可以是，利用马尔可夫信息源，对滤波系数以及偏移进行编码后，进一步，利用可变长码或固定长码，对编码滤波系数以及偏移进行编码。

所述的三个编码方式是，利用编码数据间的统计关系的编码方式的例子。但是，本发明，也可以利用考虑了编码对象数据间的统计关系的其他的方法。例如是，游程编码、利用了基于已编码数据的值的表切换的可变长编码、将对不同的信号的滤波数据的组合作为一个码字来进行编码的可变长编码等。

并且，在本实施例中，向编码运动图像信号(比特流)插入编码滤波数据。该比特流的语法以及语义，将来会成为运动图像编码标准规格的主题。

以下，说明将本发明涉及的编码方式追加到将来的运动图像编码标准规格时的例子。在该例子中，前提为：参照图5以及图7适用所述的空间域的滤波；以及滤波数据中包含适用了预测方式的滤波系数。

对于语法元素，也可以利用标准规格所指定的代码来进行编码。例如是固定长度码以及可变长码等。存在的可能性之一是，利用能够使概率模型适应于特定的语法元素的算术编码。其他的可能性是，利用由霍夫曼码的码字。但是，也可以利用一元码(unary code)或哥伦布码、指数哥伦布码、Elias码等的(通用)整数代码。

优选的是，将滤波数据(例如，滤波系数)插入到与其有关的数据(例如，帧数据整体或片数据等)的最后，来传输。据此，得到以下的效果。也就是说，一般而言，编码器中的滤波数据是，滤波数据被决定的帧、片或任意的图像区域的编码以及解码之后被推定的。在包含推定了滤波数据的数据的帧或片的头部包含有该滤波数据的情况下，直到滤波数据被计算并被插入到比特流时为止，需要存储该比特流整体。在对全数据进行算术编码的情况下，在对滤波数据进行编码后，不仅将比特流存储并编码，还需要将编码对象的语法元素的全部存储并编码。在帧或片数据之后将插入到比特流的滤波数据传输的情况下，在进行编码的期间，不需要存储比特流以及语法元素。据此，能够减少针对存储大小的条件。

因此，优选的是，通过依据H.264/MPEG-4 AVC的SEI消息等的其他的NAL单元来传输滤波数据。

在将滤波数据插入到帧或片的头部来传输的情况下，使算术编码器(熵编码部590)结束并重新启动是有益的。据此得到的效果是，不将所有的语法元素存储到编码器，而仅将比特流存储到编码器即可。

对于编码运动图像信号(比特流)内配置滤波数据的位置，还存在可能性。特别是，在编码运动图像信号中也可以，在与滤波数据有关的部分的前或后包含该滤波数据。

在本实施例中，针对解码器，比特流的结构被最佳化。特别是，在与滤波数据有关的帧或片的帧头或片头包含该滤波数据。在此情况下，在对该片或帧的块进行解码之前，解码器得知与后滤波有关的信息整体。据此得到的优点是，存储器的减少、存储器分配的减少、解码器中的存储工作的减少等。因此，能够进行更高速且廉价的解码处理。

例如，也可以是，在将片或帧内的一定数量的块解码并存储之后进行后滤波。在开始后滤波之前需要存储的块的数量，取决于后滤波器的滤波大小。在开始后滤波之前，不需要将片或帧(即，重构运动图像信号以及/或量化预测误差信号以及/或预测信号)内的全块解码并存储。

在片头，标志(post_filter_flag[c])可以表示，在后滤波中是否考虑某特定的颜色成分。在不应该对某颜色成分进行后滤波的情况下，解码器不需要以后滤波为目的来存储任何信号(即，重构运动图像信号以及/或量化预测误差信号以及/或预测信号)。

进而，在与滤波对象的信号(例如，重构运动图像信号、量化预测误差信号以及预测信号)有关的所有的滤波系数为零的情况下，不需要以后滤波为目的来存储该信号。

在与算术编码组合的情况下，由编码器，针对头部、滤波数据、和剩余的宏块数据，生成各个码字是更有益的。各个码字的生成意味着：在包括头部之后，使算术编码器结束；在滤波数据的编码之前，使算术编码器重新启动，然后结束；在剩余的宏块数据的编码之前，使算术编码器再重新启动，然后结束。根据体系结构，优选的是，算术编码的码字具有整数字节的长度(例如，利用了字节排列的体系结构的情况)。由于具有各个码字，因此具有这样的优点，即，即使不进行再编码，也能够将码字存储并重新排列。通过利用排列了的(例如，字节排列了的)码字，从而能够使编码器中的比特流部分的存储以及重新排列变得更容易。

图11A是示出编码运动图像信号(比特流)的与片或帧相对应的部分的结构的一个例子的图。首先，头部901被包含在比特流中，此后，若需要，则接着存在排列数据。其次，滤波数据902被包含在比特流中，此后，若需要，则接着存在排列数据。最后，表示宏块的图像的宏块数据903，与排列数据(若需要)一起被包含在比特流中。

也就是说，由于滤波数据902被配置在该滤波数据902被适用的图像信号(宏块数据903)之前，因此，若根据被排列在比特流的顺序，生成该滤波数据902和该图像信号，则不需要暂时存储生成了的这些数据，能够试图减少存储容量。在此情况下，由于能够利用该滤波数据902来生成图像信号(宏块数据903)，因此能够实现所谓循环内滤波器。就是说，在由减法器105→变换/量化部110→反量化/反变换部120→加法器125→去块滤波器130→存储器140→画面内预测部170(插值滤波器150→运动补偿预测部160)→减法器105构成的循环内，针对预测信号能够执行利用了宏块数据903的滤波，根据该滤波后的预测信号能够生成由量化系数构成的图像信号(宏块数据903)。

在本实施例中，针对编码器，比特流的结构被最佳化。特别是，在比特流中，也可以在有关的宏块数据之后包含滤波数据。在此情况下，在对片或帧的块进行编码之后，能够生成与后滤波有关的信息整体。据此得到的优点是，存储器的减少、存储器分配的减少、编码器中的存储工作的减少等。因此，能够进行更高速且廉价的编码处理。

为了计算后滤波的最佳维纳滤波系数，而需要用于使滤波发挥功能的所有的数据。在本实施例的情况下，需要重构运动图像信号以及/或量化预测误差信号以及/或预测信号的整体。在编码器中，该数据是，只要在片或帧的编码以及解码完成之后才能够利用的。在编码完成的期间，已经生成并存储以及/或传输比特流。因此，为了将滤波数据包含在宏块数据之前，而需要存储比特流整体。在仅利用一个码字进行算术编码的情况下(在片或帧的末尾结束)，还需要全语法元素的存储以及对它们的再编码的完成。在将滤波信息包含在宏块数据之后的情况下，不需要所述的存储工作。

图11B是示出编码运动图像信号(比特流)的一部分的结构的其他的例子的图。

在算术编码器(熵编码部590)中，头部911、宏块数据912、以及滤波数据913被编码为一个码字。也就是说，每当对比特流的不同的部分进行编码时，不重新开始编码处理，而继续进行编码处理。

图11C是示出编码运动图像信号(比特流)的一部分的结构的其他的例子的图。

也可以是，在算术编码器(熵编码部590)中，头部921、宏块数据922以及滤波数据923分别被编码为不同的码字。

然而，本发明，不限定为利用算术编码，而能够利用其他种类的编码。以下，说明针对序列头以及帧的、比特流内的良好的信息元素的语法。

图12A是示出序列头的语法的图。

图12A中的“postfilter”表示，是否能够以帧级来适用后滤波器。

post_filter_initial_probabilities表示，用于控制滤波数据的代码的初始概率。

图12B是示出帧的语法的图。

post_filter_flag[c]表示，针对颜色成分c是否适用后滤波。c＝0与亮度成分相对应，c＝1以及c＝2与两个色差成分相对应。

语法元素decode_post_filter(c)，还包含多个语法元素。

图13A以及图13B是示出decode_post_filter(c)的语法的图。

filter_hint_type[c]表示，针对颜色成分c的、传输后的滤波启示的种类。c＝0与亮度成分相对应，c＝1以及c＝2与两个色差成分相对应。如图14示出，可取的值为0至3。

图14是示出filter_hint_type[c]的值与滤波启示的种类的关系的图。

在filter_hint_type[c]的值为0时，该filter_hint_type[c]表示，一个二维FIR滤波器的系数，以作为滤波启示的种类。在filter_hint_type[c]的值为1时，该filter_hint_type[c]表示，互相关矩阵，以作为滤波启示的种类。在filter_hint_type[c]的值为2时，该filter_hint_type[c]表示，两个一维FIR滤波器的系数，以作为滤波启示的种类。在filter_hint_type[c]的值为3时，该filter_hint_type[c]表示，两个互相关矢量，以作为滤波启示的种类。也就是说，在filter_hint_type[c]＝0或1时，该filter_hint_type[c]表示，滤波的范围为二维排列(图13A或图13B中的“2D”)，在filter_hint_type[c]＝2或3时，该filter_hint_type[c]表示，滤波的范围为一维排列(图13A或图13B中的“1D”)。

如下表示图13A所示的语法中的各个语法元素的语义。

filter_hint_size_rec_x表示，针对重构运动图像信号的滤波系数排列或互相关排列的水平方向大小(滤波大小)。

filter_hint_size_rec_y表示，针对重构运动图像信号的滤波系数排列或互相关排列的垂直方向大小(滤波大小)。

filter_hint_size_pred_x表示，针对预测信号的滤波系数排列或互相关排列的水平方向大小(滤波大小)。

filter_hint_size_pred_y表示，针对预测信号的滤波系数排列或互相关排列的垂直方向大小(滤波大小)。

filter_hint_size_qpe_x表示，针对量化预测误差信号的滤波系数排列或互相关排列的水平方向大小(滤波大小)。

filter_hint_size_qpe_y表示，针对量化预测误差信号的滤波系数排列或互相关排列的垂直方向大小(滤波大小)。

filter_hint_rec[c][cy][cx]表示，针对重构运动图像信号的滤波系数矩阵的元素、或原信号(运动图像信号)与重构运动图像信号之间的互相关矩阵的元素。c＝0与亮度成分相对应，c＝1以及c＝2与两个色差成分相对应。cy表示垂直方向的计数器，cx表示水平方向的计数器。

filter_hint_pred[c][cy][cx]表示，针对预测信号的滤波系数矩阵的元素、或原信号(运动图像信号)与预测信号之间的互相关矩阵的元素。c＝0与亮度成分相对应，c＝1以及c＝2与两个色差成分相对应。cy表示垂直方向的计数器，cx表示水平方向的计数器。

filter_hint_qpe[c][cy][cx]表示，针对量化预测误差信号的滤波系数矩阵的元素、或原信号(运动图像信号)与量化预测误差信号之间的互相关矩阵的元素。c＝0与亮度成分相对应，c＝1以及c＝2与两个色差成分相对应。cy表示垂直方向的计数器，cx表示水平方向的计数器。

filter_hint_rec_x[c][cx]表示，针对重构运动图像信号的水平方向滤波的滤波系数矢量的元素、或原信号(运动图像信号)与重构运动图像信号之间的水平互相关矢量的元素。c＝0与亮度成分相对应，c＝1以及c＝2与两个色差成分相对应。cx表示水平方向的计数器。

filter_hint_pred_x[c][cx]表示，针对预测信号的水平方向滤波的滤波系数矢量的元素、或原信号(运动图像信号)与预测信号之间的水平互相关矢量的元素。c＝0与亮度成分相对应，c＝1以及c＝2与两个色差成分相对应。cx表示水平方向的计数器。

filter_hint_qpe_x[c][cx]表示，针对量化预测误差信号的水平方向滤波的滤波系数矢量的元素、或原信号(运动图像信号)与量化预测误差信号之间的水平互相关矢量的元素。c＝0与亮度成分相对应，c＝1以及c＝2与两个色差成分相对应。cx表示水平方向的计数器。

filter_hint_rec_y[c][cy]表示，针对重构运动图像信号的垂直方向滤波的滤波系数矢量的元素、或原信号(运动图像信号)与重构运动图像信号之间的垂直互相关矢量的元素。c＝0与亮度成分相对应，c＝1以及c＝2与两个色差成分相对应。cy表示垂直方向的计数器。

filter_hint_pred_y[c][cy]表示，针对预测信号的垂直方向滤波的滤波系数矢量的元素、或原信号(运动图像信号)与预测信号之间的垂直互相关矢量的元素。c＝0与亮度成分相对应，c＝1以及c＝2与两个色差成分相对应。cy表示垂直方向的计数器。

filter_hint_qpe_y[c][cy]表示，针对量化预测误差信号的垂直方向滤波的滤波系数矢量的元素、或原信号(运动图像信号)与量化预测误差信号之间的垂直互相关矢量的元素。c＝0与亮度成分相对应，c＝1以及c＝2与两个色差成分相对应。cy表示垂直方向的计数器。

filter_hint_offset[c]表示偏移值。c＝0与亮度成分相对应，c＝1以及c＝2与两个色差成分相对应。

作为所述的语法元素的filter_hint_rec、filter_hint_pred、filter_hint_qpe、filter_hint_rec_x、filter_hint_pred_x、filter_hint_qpe_x、filter_hint_rec_y、filter_hint_pred_y、以及filter_hint_qpe_y，分别表示滤波系数或差分滤波系数，且被处理为滤波启示。

filter_precision[c]表示，滤波数据(滤波系数)的量化的精度。针对各个颜色成分c，语法元素filter_precision[c]的值表示，与该值相对应的精度Wiener_Filter_Precision[c]的值。

如下表示图13B所示的语法中的与所述各个语法元素不同的语法元素的语义。

filter_hint_size_rec_idx是，用于确定针对重构运动图像信号的二维的滤波系数排列或互相关排列的大小(滤波大小)的索引，且表示0以上的整数。该索引所确定的滤波大小是，在水平方向以及垂直方向相同的大小。

filter_hint_size_pred_idx是，用于确定针对预测信号的二维的滤波系数排列或互相关排列的大小(滤波大小)的索引，且表示0以上的整数。该索引所确定的滤波大小是，在水平方向以及垂直方向相同的大小。

filter_hint_size_qpe_idx是，用于确定针对量化预测误差信号的二维的滤波系数排列或互相关排列的大小(滤波大小)的索引，且表示0以上的整数。该索引所确定的滤波大小是，在水平方向以及垂直方向相同的大小。

filter_hint_size_rec表示，针对重构运动图像信号的二维的滤波系数排列或互相关排列的、在水平方向以及垂直方向相同的滤波大小。该滤波大小，由索引filter_hint_size_rec_idx确定。也就是说，filter_hint_size_rec是，filter_hint_size_rec＝2×(filter_hint_size_rec_idx)+1所表示的1以上的奇数。

filter_hint_size_pred表示，针对预测信号的二维的滤波系数排列或互相关排列的、在水平方向以及垂直方向相同的滤波大小。该滤波大小，由索引filter_hint_size_pred_idx确定。也就是说，filter_hint_size_pred是，filter_hint_size_pred＝2×(filter_hint_size_pred_idx)+1所表示的1以上的奇数。

filter_hint_size_qpe表示，针对量化预测误差信号的二维的滤波系数排列或互相关排列的、在水平方向以及垂直方向相同的滤波大小。该滤波大小，由索引filter_hint_size_qpe_idx确定。也就是说，filter_hint_size_qpe是，filter_hint_size_qpe＝2×(filter_hint_size_qpe_idx)+1所表示的1以上的奇数。

filter_hint_size_rec_x_idx是，用于确定作为针对重构运动图像信号的一维(水平方向)的排列的滤波系数矢量或互相关矢量的滤波大小(长度)的索引，且表示0以上的整数。在此情况下，filter_hint_size_rec_x是，filter_hint_size_rec_x＝2×(filter_hint_size_rec_x_idx)+1所表示的1以上的奇数。

filter_hint_size_rec_y_idx是，用于确定作为针对重构运动图像信号的一维(垂直方向)的排列的滤波系数矢量或互相关矢量的滤波大小(长度)的索引，且表示0以上的整数。在此情况下，filter_hint_size_rec_y是，filter_hint_size_rec_y＝2×(filter_hint_size_rec_y_idx)+1所表示的1以上的奇数。

filter_hint_size_pred_x_idx是，用于确定作为针对预测信号的一维(水平方向)的排列的滤波系数矢量或互相关矢量的滤波大小(长度)的索引，且表示0以上的整数。在此情况下，filter_hint_size_pred_x是，filter_hint_size_pred_x＝2×(filter_hint_size_pred_x_idx)+1所表示的1以上的奇数。

filter_hint_size_pred_y_idx是，用于确定作为针对预测信号的一维(垂直方向)的排列的滤波系数矢量或互相关矢量的滤波大小(长度)的索引，且表示0以上的整数。在此情况下，filter_hint_size_pred_y是，filter_hint_size_pred_y＝2×(filter_hint_size_pred_y_idx)+1所表示的1以上的奇数。

filter_hint_size_qpe_x_idx是，用于确定作为针对量化预测误差信号的一维(水平方向)的排列的滤波系数矢量或互相关矢量的滤波大小(长度)的索引，且表示0以上的整数。在此情况下，filter_hint_size_qpe_x是，filter_hint_size_qpe_x＝2×(filter_hint_size_qpe_x_idx)+1所表示的1以上的奇数。

filter_hint_size_qpe_y_idx是，用于确定作为针对量化预测误差信号的一维(垂直方向)的排列的滤波系数矢量或互相关矢量的滤波大小(长度)的索引，且表示0以上的整数。在此情况下，filter_hint_size_qpe_y是，filter_hint_size_qpe_y＝2×(filter_hint_size_qpe_y_idx)+1所表示的1以上的奇数。

对于图13A示出的语法，不管滤波的范围是一维排列还是二维排列，针对预测信号、量化预测误差信号以及重构运动图像信号的每一个的水平方向的滤波大小和垂直方向的滤波大小，都被包含在差分滤波数据中，并被发送到解码器。

另一方面，对于图13B示出的语法，索引被包含在差分滤波数据中，并被发送到解码器。在此情况下，解码器，通过对该索引与2的乘积再加上1，从而计算滤波大小。在此，对于该图13B示出的语法，在滤波的范围为二维排列的情况下，针对预测信号、量化预测误差信号以及重构运动图像信号的每一个，水平方向以及垂直方向共同的索引被包含在差分滤波数据中。并且，在滤波的范围为一维排列的情况下，针对预测信号、量化预测误差信号以及重构运动图像信号的每一个，水平方向的索引和垂直方向的索引被包含在差分滤波数据中。

如此，对于图13B示出的语法，由于作为索引的滤波大小被包含在差分滤波数据中，并被发送到解码器，因此能够减少滤波大小的发送所需要的比特量。并且，在滤波的范围为二维排列的情况下，由于水平方向以及垂直方向共同的索引被包含在差分滤波数据中，因此能够进一步减少滤波大小的发送所需要的比特量。

并且，运动图像编码装置500的后滤波器设计部540也可以，按照片、帧或序列，使滤波大小固定或改变。在使滤波大小可变的情况下，后滤波器设计部540，选择变更后的滤波大小，如图13A以及图13B的语法示出，将变更后的该滤波大小或与该滤波大小相对应的索引(语法元素)，包含在差分滤波数据中。

而且，在所述的说明中，滤波大小是1以上的奇数，但也可以是能够成为0的值。在滤波大小是0的情况下，不进行滤波。也就是说，滤波系数(表示差分滤波系数的滤波启示)，不被包含在差分滤波数据中，也不被发送到解码器。

如此，在滤波大小是能够成为0的值的情况下，利用索引，计算max{0，2×(索引-1)+1}，以作为滤波大小。在此，max{A，B}表示，A以及B之中的最大的值。具体而言，按照滤波的范围是二维排列还是一维排列，通过如下所示的公式，计算各个滤波大小。

并且，也可以是，针对重构运动图像信号、预测信号、以及量化预测误差信号的每一个，将使滤波系数成为0的滤波启示发送到解码器，从而使各个信号不被用于滤波。在此情况下，通过指定成为滤波大小＝1的索引，从而能够抑制代码量。

二维排列的滤波大小：

·filter_hint_size_rec＝max{0，2×(filter_hint_size_rec_idx-1)+1}

·filter_hint_size_pred＝max{0，2×(filter_hint_size_pred_idx-1)+1}

·filter_hint_size_qpe＝max{0，2×(filter_hint_size_qpe_idx-1)+1}

一维排列的滤波大小：

·filter_hint_size_rec_x＝max{0，2×(filter_hint_size_rec_x_idx-1)+1}

·filter_hint_size_rec_y＝max{0，2×(filter_hint_size_rec_y_idx-1)+1}

·filter_hint_size_pred_x＝max{0，2×(filter_hint_size_pred_x_idx-1)+1}

·filter_hint_size_pred_y＝max{0，2×(filter_hint_size_pred_y_idx-1)+1}

·filter_hint_size_qpe_x＝max{0，2×(filter_hint_size_qpe_x_idx-1)+1}

·filter_hint_size_qpe_y＝max{0，2×(filter_hint_size_qpe_y_idx-1)+1}

作为解码器的运动图像解码装置600的后滤波器640，利用如上所述的公式，根据差分滤波数据中包含的索引计算滤波大小，在滤波大小是0时，不执行后滤波，在滤波大小是1以上的奇数时，执行按照该滤波大小的后滤波。

而且，在所述的说明中，计算max{0，2×(索引-1)+1}，以作为滤波大小，但是，可以max{0，2×索引-1}，也可以max{0，2×(索引-1)-1}。并且，若是滤波大小成为0或正的奇数的算式和索引的组合，则可以利用任何组合。

如此，编码器以及解码器，能够按照使滤波大小成为0还是1以上的奇数，切换滤波的有无。

而且，在不将针对某信号的滤波启示发送到解码器的情况下，解码器也可以，将滤波启示视为0等的规定值，来计算针对各个信号的滤波系数，以不使针对根据滤波启示计算的各个信号的滤波系数之中的任一个或全部成为不定。

图15是示出filter_precision[c]与Wiener_Filter_Precision[c]的对应关系的图。

Wiener_Filter_Precision[c]表示，决定滤波系数的精度的滤波数据量化信息。

在本发明中，filter_precision[c]和Wiener_Filter_Precision[c]可取的值的数量不被限定为12个。也可以使可取的值的数量更多或更少。也可以使语法元素(filter_precision[c])的值的分配，与滤波精度(Wiener_Filter_Precision[c])的值的分配不同。例如，也可以将语法元素与滤波精度对应起来，从而该语法元素的值越低，滤波精度的值就越高。并且，通过选择语法元素的值与滤波精度的值之间的特定的映射，从而也会有得到效果的情况。为了实现整体上良好的编码效率，也可以将映射与用于对filter_precision[c]的值进行编码的代码一起设计。也可以以信号来发送Wiener_Filter_Precision[c]可取的值的数量。例如，也可以利用固定长度码或可变长码进行编码。

也可以以信号来发送语法元素(filter_precision[c])、与滤波精度(Wiener_Filter_Precision[c])之间的映射。然而，例如，为了缩小这样的信号发送所需要的带宽，也可以使Wiener_Filter_Precision[c]的值全部成为2的幂。在此情况下，只要得知Wiener_Filter_Precision[c]的最小值(图15的例子中为8)以及可取的所有的值的数量(图15的例子中为12)，在编码器方和解码器方都能够同样计算Wiener_Filter_Precision[c]的值。在此情况下，仅对可取的所有的值的数量和Wiener_Filter_Precision[c]的值的一个(例如，最小值)进行编码即可。

Wiener_Filter_Precision[c]的值越低，滤波数据的精度就越低，用于传输它所需要的比特率也越低。

在编码运动图像信号整体的比特率低的情况下，用于滤波精度(语法元素)的编码的比特的相对量多。在编码运动图像信号整体的比特率高的情况下，用于滤波精度的编码的比特的相对量非常少。

因此，在整体的比特率低的情况下，优选的是，对滤波精度(语法元素)的编码的比特率非常低。在整体的比特率高的情况下，对滤波精度的编码，可以允许高比特率。为了满足其条件，优选的是，使滤波精度(语法元素)的比特率适应于整体的比特率(例如，最佳化为低的整体比特率)，适用编码方式。对于图15示出的filter_precision[c]与Wiener_Filter_Precision[c]的映射，若Wiener_Filter_Precision[c]的值低，则滤波数据(例如，滤波系数)被进行粗量化。其结果为，编码运动图像信号的比特率越低，就越使包含作为语法元素filter_precision[c]的编码参数(滤波精度)Wiener_Filter_Precision的编码滤波数据所需要的比特率降低。

例如，为了以信号来发送低的Wiener_Filter_Precision[c]，分配短的码字，为了以信号来发送高的Wiener_Filter_Precision[c]，分配长的码字，从而能够降低对Wiener_Filter_Precision[c]的低的值进行编码所需要的比特率。例如，如图16示出，可以利用一元码。

图16是示出分配给filter_precision[c](Wiener_Filter_Precision[c])的一元码的图。

也可以利用一元码以外的可变长码，可以适当地选择编码方式。例如，如图17示出，可以利用哥伦布码。

图17是示出分配给filter_precision[c](Wiener_Filter_Precision[c])的哥伦布码的一个例子的图。

并且，例如，如图18示出，可以利用其他的哥伦布码。

图18是示出分配给filter_precision[c](Wiener_Filter_Precision[c])的哥伦布码的其他的例子的图。

当然，在可取的值的数量为16个的情况下等，可以利用固定码字长度。

图19是示出分配给filter_precision[c](Wiener_Filter_Precision[c])的固定长码的图。

并且，也可以切换为与图16至图19示出的代码表不同的码字表。也可以将码字表的选择内容，由编码器编码，并以信号来发送到解码器。在此情况下，为了能够立刻对量化步长大小进行解码，优选的是，在filter_precision[c]之前，以信号来发送选择内容。

进而，也可以根据固定规则，选择多个适当的码字表之一。对于固定规则，可以基于对象帧或片的解码中已经利用的比特的数量。并且，也可以基于对象帧或片的解码开始时利用的量化参数、或对象帧或片的解码中平均利用的量化参数。并且，也可以基于量化预测误差信号，例如基于其分散。并且，也可以基于预测信号，例如基于其分散，或可以基于根据预测信号以及/或预测误差信号求出的其他的基准。

对于表示语法元素filter_precision[c]的二值符号的编码，也可以利用算术编码。在此，对于各个二值符号的编码，可以利用相同或不同的代码。并且，也可以按照情况决定代码。由于编码具有条件，因此编码效率进一步提高。存在的可能性之一是，利用filter_precision[i]的值，以作为filter_precision[i+1]以及/或filter_precision[i+2]的编码条件。并且，也可以针对各个成分的系数，编码、传输以及使用不同的滤波精度。也就是说，意味着，filter_precision的各个值，被用于与重构运动图像信号、预测信号、以及量化预测误差信号的每一个相对应的滤波数据。并且，也可以是，对与这些信号的每一个相对应的滤波数据，利用不同的滤波精度。例如，对滤波数据中包含的filter_hint_rec_y[c][cy]的c以及cy的每一个，利用各个滤波精度。

在编码器中，通过使整体比特率的拉格朗日成本(lagrangian cost)、以及原图像信号(运动图像信号)与滤波后的图像信号(解码运动图像信号)之间的平均平方重构误差最小，从而能够有效地决定Wiener_Filter_Precision[c]的值。例如，Wiener_Filter_Precision[c]的、对某值的拉格朗日成本的决定也可以是，通过使需要的比特的编码以及测定完成，而且使由此得到的平均平方重构误差的编码以及测定完成，从而进行的。其他的可能性是，通过推测比特率以及平均平方重构误差，从而进行的。平均平方重构误差的推测也可以是，通过仅对图像信号的某子集进行滤波，而且，假定为对该子集的平均平方重构误差近似于图像信号整体的平均平方重构误差，从而进行的。并且，例如，也可以按照帧或片的量化参数值，仅测验Wiener_Filter_Precision[c]可取的值的子集。

从编码器方提供到解码器方的滤波数据(差分滤波数据)，被用于运动图像信号的解码。特别是，以下，表示编码滤波数据的解码方法、以及运动图像信号的解码中的滤波数据的利用方法的例子。

在第一例以及第二例中，利用滤波系数以及偏移，对解码图像(重构运动图像信号)的颜色成分进行后滤波。在互相关以及偏移被传输并解码的情况下，如第三例以及第四例示出，也可以利用该互相关以及偏移来设定滤波条件，对解码图像的颜色成分进行后滤波。

在滤波数据已经被预测编码的情况下，首先，通过加上预测数据(预测滤波系数)，从而重新构成滤波系数、和偏移以及/或互相关信息。

第一例(filter_hint_type[c]＝0)，与传输一个二维FIR滤波器的系数时的后滤波器的设计以及处理有关。

用于对重构运动图像信号、预测信号以及量化预测误差信号进行后滤波的滤波系数是，如图20A至图20C的(公式8)至(公式10)分别示出，根据接收的差分滤波数据计算的。也就是说，运动图像解码装置600的后滤波器640，根据(公式8)至(公式10)计算滤波系数。

图20A是示出针对重构运动图像信号的滤波系数的计算式的图。

如图20A的(公式8)示出，作为针对重构运动图像信号的滤波系数的重构信号滤波系数coeff_rec[c][cy][cx]是，根据滤波数据(差分滤波数据)中包含的filter_hint_rec[c][cy][cx]、filter_hint_size_rec_x以及filter_hint_size_rec_y、和Wiener_Filter_Precision[c]的值计算的。Wiener_Filter_Precision[c]被编码后包含在比特流中，但是，像Wiener_Filter_Precision[c]＝16384那样，若能够，则也可以针对颜色成分c的值的每一个被指定为固定。Wiener_Filter_Precision[c]也可以，针对某颜色成分、以及/或预测信号、量化预测误差信号、以及重构运动图像信号的任一个被编码，并被包含在比特流中。

图20B是示出针对预测信号的滤波系数的计算式的图。

如图20B的(公式9)示出，作为针对预测信号的滤波系数的预测信号滤波系数coeff_pred[c][cy][cx]是，根据重构信号滤波系数coeff_rec[c][oy][ox]、Wiener_Filter_Precision[c]的值、滤波数据(差分滤波数据)中包含的filter_hint_pred[c][cy][cx]、filter_hint_size_pred_x、filter_hint_size_pred_y、filter_hint_size_rec_x、以及filter_hint_size_rec_y计算的。而且，ox表示，针对重构运动图像信号的滤波系数排列的水平方向大小(水平方向的滤波范围)的中心位置，oy表示，针对重构运动图像信号的滤波系数排列的垂直方向大小(垂直方向的滤波范围)的中心位置。

图20C是示出针对量化预测误差信号的滤波系数的计算式的图。

如图20C的(公式10)示出，作为针对量化预测误差信号的滤波系数的预测误差信号滤波系数coeff_qpe[c][cy][cx]是，根据预测信号滤波系数coeff_pred[c][oy][ox]、滤波数据(差分滤波数据)中包含的filter_hint_qpe[c][cy][cx]、filter_hint_size_qpe_x、filter_hint_size_qpe_y、filter_hint_size_pred_x、以及filter_hint_size_pred_y计算的。而且，ox表示，针对预测信号的滤波系数排列的水平方向大小(水平方向的滤波范围)的中心位置，oy表示，针对预测信号的滤波系数排列的垂直方向大小(垂直方向的滤波范围)的中心位置。

而且，在图20A至20C示出的滤波系数的计算式中，在针对重构运动图像信号的滤波大小(滤波范围)、针对预测信号的滤波大小、针对量化预测误差信号的滤波大小不同的情况下，也能够计算适当的滤波系数。并且，在图20A至20C示出的滤波系数的计算式中，仅滤波范围的中心位置的滤波系数被编码为差分滤波系数，通过该差分滤波系数与其他的滤波系数的加法运算或减法运算，计算滤波系数。例如，中心位置的预测信号滤波系数coeff_pred[c][cy][cx]是，从作为差分滤波系数的filter_hint_pred[c][cy][cx]中减去作为其他的滤波系数的中心位置的重构信号滤波系数coeff_rec[c][oy][ox]，再加上Wiener_Filter_Precision[c]，从而计算的。

在存在以下示出的三个倾向的情况下，若这样仅滤波范围的中心位置的滤波系数被编码为差分滤波系数，则编码效率会提高。第一倾向是指，中心位置的重构信号滤波系数coeff_rec，总是大致成为相同值。第二倾向是指，中心位置的重构信号滤波系数coeff_rec与中心位置的预测信号滤波系数coeff_pred的和，总是大致成为相同值。第三倾向是指，中心位置的预测信号滤波系数coeff_pred与中心位置的预测误差信号滤波系数coeff_qpe，大致成为相同值。并且，按照滤波系数的传输所需要的代码量与滤波的画质改进效果的折衷关系等，会有滤波大小(滤波范围)动态地被变更的情况，但是，其结果为，会有不需要中心位置以外的滤波系数(滤波启示)的情况，因此，仅滤波范围的中心位置的滤波系数被编码为差分滤波系数。也就是说，在滤波大小为1×1的情况下，不存在中心位置以外的滤波系数，不需要将中心位置以外的滤波系数(滤波启示)包含在滤波数据中，来发送到解码器。为了能够简单地对应这样的滤波大小的动态变更，仅滤波范围的中心位置的滤波系数被编码为差分滤波系数。

而且，后滤波器640，如图21的(公式11)示出，通过将计算出的滤波系数适用于重构运动图像信号、预测信号以及量化预测误差信号的每一个，即进行后滤波，从而生成并输出解码运动图像信号。

图21是示出解码运动图像信号的计算式的图。

如图21的(公式11)示出，解码运动图像信号所示的颜色成分c的位置(x，y)的后滤波处理后的值(filtered_image[c][y][x])是，根据滤波系数coeff_rec[c][j][i]、coeff_pred[c][j][i]以及coeff_qpe[c][j][i]、和rec_image[c]、pred_image[c]以及qpe_image[c]计算的。而且，rec_image[c]是与重构运动图像信号的颜色成分c相对应的值，pred_image是与预测信号的颜色成分c相对应的值，qpe_image是与量化预测误差信号的颜色成分c相对应的值。c＝0与亮度成分相对应，c＝1以及c＝2分别与两个色差成分相对应。在利用YUV以外的颜色空间的情况下，该对应关系，可以基于利用的颜色空间。例如，在RGB颜色空间的情况下，也可以是，c＝0与红(R)成分相对应，c＝1与绿(G)成分相对应，c＝2与蓝(B)成分相对应。

其次，后滤波器640，如图22A的(公式12)示出，对作为解码运动图像信号的已滤波信号(filtered_image[c][y][x])进行标准化以及限幅。

图22A是示出标准化以及限幅的计算式的图。

如图22A的(公式12)示出，对于标准化以及限幅后的已滤波信号(filtered_image[c][y][x])，针对filtered_image[c][y][x]适用反量化以及向下取整(floor)函数，被设定为0至255的值。

在此，对于Wiener_Filter_Precision[c]中的步长，由以下的(公式14)表示，例如，在硬件或软件的执行上非常有益的。

(算式8)

Wiener_Filter_Precision[c]＝2α[c]，α[c]＝0，1，2，..    …(公式14)

这是因为，通过进行位移(向右移动1位)，从而能够非常有效地实现以下的(公式15)的除法运算的缘故。

(算式9)

Wiener_Filter_Precision[c]/2    …(公式15)

也就是说，成立以下的(公式16)的关系。

(算式10)

Wiener_Filter_Precision[c]/2＝Wiener_Filter_Precision[c]＞＞1    …(公式16)

进而，这是因为，通过进行位移(向右移动α位)，从而能够非常有效地实现2的α次幂的除法运算的缘故。

因此，后滤波器640也可以，通过进行图22B的(公式13)示出的运算，从而对已滤波信号(filtered_image[c][y][x])进行标准化以及限幅。

图22B是示出标准化及限幅的其他的计算式的图。

在以2的幂来表示Wiener_Filter_Precision[c]的情况下，由(公式13)的运算，得到与(公式12)同样的优点。

在此，通过图20B的(公式9)以外的公式，也可以求出预测信号滤波系数coeff_pred[c][cy][cx]。

图23A是示出针对预测信号的中心位置上的滤波系数的计算式的图。

如图23A的(公式17)示出，在预测信号中的后滤波的范围的中心位置，后滤波器640，由(公式18)示出的计算式，计算预测信号滤波系数coeff_pred[c][cy][cx]。

图23B是示出针对预测信号的中心位置以外的位置上的滤波系数的计算式的图。

如图23B的(公式19)示出，在预测信号中的后滤波的范围的中心位置以外的位置，后滤波器640，由(公式20)示出的计算式，计算预测信号滤波系数coeff_pred[c][cy][cx]。如(公式20)示出，对于中心位置以外的预测信号滤波系数coeff_pred[c][cy][cx]，与中心位置的预测信号滤波系数coeff_pred[c][cy][cx]同样，在规定的条件下，也被编码为差分滤波系数，根据作为该差分滤波系数的filter_hint_pred[c][cy][cx]与重构信号滤波系数coeff_rec[c][oy][ox]的和计算的。

并且，在根据(公式17)至(公式20)计算出预测信号滤波系数coeff_pred[c][cy][cx]的情况下，后滤波器640，根据图23C的(公式21)，计算预测误差信号滤波系数coeff_qpe[c][cy][cx]。

图23C是示出针对量化预测误差信号的滤波系数的计算式的图。

如图23C的(公式21)示出，对于预测误差信号滤波系数coeff_qpe[c][cy][cx]，与是否为中心位置的滤波系数无关，在规定的条件下，也被编码为差分滤波系数，根据作为该差分滤波系数的filter_hint_qpe[c][cy][cx]与预测信号滤波系数coeff_pred[c][oy][ox]的和计算的。

对于这样的根据图23A至图23C的(公式17)至(公式21)计算滤波系数时的编码效率，若存在几个倾向，则会比根据图20B以及图20C的(公式9)以及(公式10)计算滤波系数时的编码效率高。其几个倾向是指，所述的第一倾向至第三倾向，以及以下示出的第四倾向和第五倾向。第四倾向是指，中心位置以外的重构信号滤波系数coeff_rec与中心位置以外的预测信号滤波系数coeff_pred，总是大致成为相同值。第五倾向是指，中心位置以外的预测误差信号滤波系数coeff_qpe与中心位置以外的预测信号滤波系数coeff_pred，总是大致成为相同值。

第二例(filter_hint_type[c]＝2)，与传输两个一维FIR滤波器的系数时的后滤波器的设计以及处理有关。

用于对重构运动图像信号、预测信号以及量化预测误差信号进行后滤波的滤波系数是，如图24A至图24C的(公式22)至(公式27)分别示出，根据接收的差分滤波数据计算的。也就是说，运动图像解码装置600的后滤波器640，根据(公式22)至(公式27)计算滤波系数。

图24A是示出针对重构运动图像信号的滤波系数的计算式的图。

如图24A的(公式22)示出，作为针对重构运动图像信号的滤波系数的重构信号滤波系数的x成分(coeff_rec_x[c][cx])是，根据差分滤波数据中包含的filter_hint_rec_x[c][cx]以及filter_hint_size_rec_x、Wiener_Filter_Precision[c]的值计算的。

并且，如图24A的(公式23)示出，作为针对重构运动图像信号的滤波系数的重构信号滤波系数的y成分(coeff_rec_y[c][cy])是，根据差分滤波数据中包含的filter_hint_rec_y[c][cy]以及filter_hint_size_rec_y、Wiener_Filter_Precision[c]的值计算的。

图24B是示出针对预测信号的滤波系数的计算式的图。

如图24B的(公式24)示出，作为针对预测信号的滤波系数的预测信号滤波系数的x成分(coeff_pred_x[c][cx])是，根据重构信号滤波系数的x成分(coeff_rec_x[c][ox])、Wiener_Filter_Precision[c]的值、差分滤波数据中包含的差分滤波系数filter_hint_pred_x[c][cx]、filter_hint_size_pred_x以及filter_hint_size_rec_x计算的。

并且，如图24B的(公式25)示出，作为针对预测信号的滤波系数的预测信号滤波系数的y成分(coeff_pred_y[c][cy])是，根据重构信号滤波系数的y成分(coeff_rec_y[c][oy])、Wiener_Filter_Precision[c]的值、差分滤波数据中包含的差分滤波系数filter_hint_pred_y[c][cy]、filter_hint_size_pred_y以及filter_hint_size_rec_y计算的。

图24C是示出针对量化预测误差信号的滤波系数的计算式的图。

如图24C的(公式26)示出，作为针对量化预测误差信号的滤波系数的预测误差信号滤波系数的x成分(coeff_qpe_x[c][cx])是，根据预测信号滤波系数的x成分(coeff_pred_x[c][ox])、差分滤波数据中包含的差分滤波系数filter_hint_qpe_x[c][cx]、filter_hint_size_qpe_x、以及filter_hint_size_pred_x计算的。

如图24C的(公式27)示出，作为针对量化预测误差信号的滤波系数的预测误差信号滤波系数的y成分(coeff_qpe_y[c][cx])是，根据预测信号滤波系数的y成分(coeff_pred_y[c][ox])、差分滤波数据中包含的差分滤波系数filter_hint_qpe_y[c][cx]、filter_hint_size_qpe_y、以及filter_hint_size_pred_y计算的。

后滤波器640，与所述的第一例同样，首先，计算用于对重构运动图像信号(变量名中的“rec”)进行滤波的滤波系数(变量名中的“coeff”)，根据此，计算用于对预测信号(变量名中的“pred”)进行滤波的滤波系数，根据后者，计算用于对量化预测误差信号(变量名中的“qpe”)进行滤波的滤波系数。并且，后滤波器640，在计算各个滤波系数时，分开计算水平方向(变量名中表示为“_x”)滤波的滤波系数，和垂直方向(变量名中表示为“_y”)滤波的滤波系数。

其次，后滤波器640，利用计算出的滤波系数进行后滤波的水平滤波。

图25是示出水平滤波的图。

如图25的(公式28)示出，适用了后滤波的水平滤波的颜色成分c的位置(x，y)的值(filtered_image_x[c][y][x])是，根据作为滤波系数的x成分的coeff_rec_x[c][i]、coeff_pred_x[c][i]以及coeff_qpe_x[c][i]、rec_image[c]、pred_image[c]以及qpe_image[c]、filter_hint_size_rec_x、filter_hint_size_pred_x以及filter_hint_size_qpe_x计算的。

其次，后滤波器640，如图26的(公式29)示出，对已水平滤波信号(filtered_image_x[c][y][x])进行标准化以及限幅。

图26是示出针对已水平滤波信号的标准化以及限幅的计算式的图。

如图26的(公式29)示出，对于标准化以及限幅后的已水平滤波信号(filtered_image_clipped_x[c][y][x])，对filtered_image_x[c][y][x]适用反量化以及向下取整函数，被设定为0至255的值。

其次，后滤波器640，进行后滤波的垂直滤波。

图27是示出垂直滤波的图。

如图27的(公式30)示出，适用了后滤波的垂直滤波的颜色成分c的位置(x，y)的值(filtered_image_xy[c][y][x])是，根据作为滤波系数的y成分的coeff_rec_y[c][j]、coeff_pred_y[c][j]以及coeff_qpe_y[c][j]、标准化以及限幅后的已水平滤波信号(filtered_image_clipped_x[c])、pred_image[c]以及qpe_image[c]、filter_hint_size_rec_y，filter_hint_size_pred_y以及filter_hint_size_qpe_y、偏移(filter_hint_offset[c])计算的。

其次，后滤波器640，如图28的(公式31)示出，对已水平以及垂直滤波信号(filtered_image_xy[c][y][x])进行标准化以及限幅。

图28是示出针对已水平以及垂直滤波信号的标准化及限幅的计算式的图。

如图28的(公式31)示出，对于标准化以及限幅后的已水平以及垂直滤波信号(filtered_image_clipped_x[c][y][x])，对filtered_image_xy[c][y][x]适用反量化以及向下取整函数，被设定为0至255的值。

而且，在所述各个公式中，filtered_image[c]是，与后滤波处理后的颜色成分c相对应的值，rec_image[c]是，与重构运动图像信号的颜色成分c相对应的值，pred_image[c]是，与预测信号的颜色成分c相对应的值，qpe_image[c]是，与量化预测误差信号的颜色成分c相对应的值。值c＝0与亮度成分相对应，c＝1以及c＝2分别与两个色差成分相对应。

第三例(filter_hint_type[c]＝1)，与传输互相关矩阵时的后滤波器的设计以及处理有关。

首先，后滤波器640，如图29A的(公式32)示出，计算原图像(运动图像信号)与解码图像(重构运动图像信号)之间的互相关矩阵的元素。

图29A是示出对应于重构运动图像信号的互相关矩阵的元素的计算式的图。

运动图像信号与重构运动图像信号之间的互相关矩阵cc_rec的元素是，如图29A的(公式32)示出，基于按照重构运动图像信号的滤波范围的中心位置、与其他的位置而不同的计算式计算的。

其次，后滤波器640，如图29B的(公式33)示出，计算原图像(运动图像信号)与预测图像(预测信号)之间的互相关矩阵的元素。

图29B是示出对应于预测信号的互相关矩阵的元素的计算式的图。

运动图像信号与预测信号之间的互相关矩阵cc_pred的元素是，如图29B的(公式33)示出，基于按照预测信号的滤波范围的中心位置、与其他的位置而不同的计算式计算的。并且，在中心位置，利用由(式32)计算出的互相关矩阵cc_rec的元素，计算互相关矩阵cc_pred的元素。

其次，后滤波器640，如图29C的(公式34)示出，计算原图像(运动图像信号)与量化预测误差图像(量化预测误差信号)之间的互相关矩阵的元素。

图29C是示出对应于量化预测误差信号的互相关矩阵的元素的计算式的图。

运动图像信号与量化预测误差信号之间的互相关矩阵cc_qpe的元素是，如图29C的(公式34)示出，基于按照量化预测误差信号的滤波范围的中心位置、与其他的位置而不同的计算式计算的。并且，在中心位置，利用由(式33)计算出的互相关矩阵cc_pred的元素，计算互相关矩阵cc_qpe的元素。

通过利用如此计算出的各个互相关矩阵，从而能够求出作为维纳滤波器的后滤波器的滤波系数，并且，通过将求出的滤波系数与filter_hint_offset[c]一起利用，从而能够进行由二维FIR滤波器的滤波。

第四例(filter_hint_type[c]＝3)，与传输两个互相关矢量时的后滤波器的设计以及处理有关。

首先，后滤波器640，计算原图像(运动图像信号)与解码图像(重构运动图像信号)之间的两个互相关矢量(水平互相关矢量以及垂直互相关矢量)的元素。

图30A是示出对应于重构运动图像信号的水平互相关矢量的元素的算出式的图。

运动图像信号与重构运动图像信号之间的水平互相关矢量cc_rec_x的元素是，如图30A的(公式35)示出，基于按照重构运动图像信号的滤波范围的中心位置、与其他的位置而不同的计算式计算的。

图30B是示出对应于重构运动图像信号的垂直互相关矢量的元素的计算式的图。

运动图像信号与重构运动图像信号之间的垂直互相关矢量cc_rec_y的元素是，如图30B的(公式36)示出，基于按照重构运动图像信号的滤波范围的中心位置、与其他的位置而不同的计算式计算的。

其次，后滤波器640，计算原图像(运动图像信号)与预测图像(预测信号)之间的两个互相关矢量(水平互相关矢量以及垂直互相关矢量)的元素。

图30C是示出对应于预测信号的水平互相关矢量的元素的计算式的图。

运动图像信号与预测信号之间的水平互相关矢量cc_pred_x的元素是，如图30C的(公式37)示出，基于按照预测信号的滤波范围的中心位置、与其他的位置而不同的计算式计算的。并且，在中心位置，利用由(式35)计算出的水平互相关矢量cc_rec_x的元素，计算水平互相关矢量cc_pred_x的元素。

图30D是示出对应于预测信号的垂直互相关矢量的元素的计算式的图。

运动图像信号与预测信号之间的垂直互相关矢量cc_pred_y的元素是，如图30D的(公式38)示出，基于按照预测信号的滤波范围的中心位置、与其他的位置而不同的计算式计算的。并且，在中心位置，利用由(式36)计算出的垂直互相关矢量cc_rec_y的元素，计算垂直互相关矢量cc_pred_y的元素。

其次，后滤波器640，计算原图像(运动图像信号)与量化预测误差图像(量化预测误差信号)之间的两个互相关矢量(水平互相关矢量以及垂直互相关矢量)的元素。

图30E是示出对应于量化预测误差信号的水平互相关矢量的元素的计算式的图。

运动图像信号与量化预测误差信号之间的水平互相关矢量cc_qpe_x的元素是，如图30E的(公式39)示出，基于按照量化预测误差信号的滤波范围的中心位置、与其他的位置而不同的计算式计算的。并且，在中心位置，利用由(式37)计算出的水平互相关矢量cc_pred_x的元素，计算水平互相关矢量cc_qpe_x的元素。

图30F是示出对应于量化预测误差信号的垂直互相关矢量的元素的计算式的图。

运动图像信号与量化预测误差信号之间的垂直互相关矢量cc_qpe_y的元素是，如图30F的(公式40)示出，基于按照量化预测误差信号的滤波范围的中心位置、与其他的位置而不同的计算式计算的。并且，在中心位置，利用由(式38)计算出的垂直互相关矢量cc_pred_y的元素，计算垂直互相关矢量cc_qpe_y的元素。

通过利用如此计算出的各个互相关矢量，从而能够求出作为水平方向的维纳滤波器的后滤波器的滤波系数、和作为垂直方向的维纳滤波器的后滤波器的滤波系数，并且，通过将求出的滤波系数与filter_hint_offset[c]一起利用，从而能够进行由两个一维FIR滤波器的滤波。

在所述的例子中，首先计算重构运动图像信号的滤波系数，根据此，计算预测信号的滤波系数，根据后者，计算量化预测误差信号的滤波系数。但是，也可以根据其他的顺序计算各个滤波系数。例如，也可以是，最初计算量化预测误差信号的滤波系数，或者，根据重构运动图像信号的滤波系数，计算量化预测误差信号的滤波系数。也可以根据其他的依存关系以及顺序进行滤波系数的计算处理。

在编码器中，在进行编码以及传输之前，需要将滤波系数与互相关数据量化。例如，在编码器以浮动小数点来表示滤波系数或互相关数据等的例示性值coeff_double的情况下，根据以下的(公式41)进行量化。在此，也可以进行量化，以使该滤波系数成为整数。并且，编码器，也可以将与重构运动图像信号、预测信号以及量化预测误差信号的每一个相对应的所有的滤波系数(滤波启示)量化并发送。

(算式11)

                                    …(公式41)

所述的语法、语义、以及解码器中的滤波数据的适用，仅是一个例子。一般而言，对于用于以信号来发送滤波数据的语法元素，会有与本例子不同的情况。特别是，不需要按每个帧提供滤波数据。可以按几个帧定期发送，也可以由信号传递用标志，以信号来不定期发送帧中的滤波数据的存在。进而，也可以针对片、既定的宏块集、宏块或块等的运动图像帧的某部分，以信号来发送滤波数据。通过局部适应滤波特性，从而能够提高质量。特别是，在包含具有实际不同的空间上以及/或时间上特性的部分的图像中，能够提高质量。

滤波系数间(或，偏移间或相关信息间)的统计关系(互相关)的利用，不仅限于针对单一的颜色成分的滤波系数。也可以利用针对多个不同颜色成分的滤波系数间的统计上的依存关系(互相关)。这是因为，通常，颜色成分相互具有相关关系，会有提供具有相关性的滤波数据的情况。因此，也可以是，利用这样的依存关系，例如，通过预测编码、变换编码或基于马尔可夫模型的编码，将针对多个不同颜色成分的滤波信息(数据)编码。也可以采用利用了颜色成分间的统计关系的其他的编码。例如，是游程编码，或者，是切换码字表的、或将多个滤波数据元素的组合编码为单一的码字的熵编码等。

进而，对于滤波数据的编码，也可以利用不同图像区域的滤波数据间的统计上的依存关系(互相关)。

图31是示出与编码/解码的对象块相邻的周围块的图。

在按每个块决定滤波数据的情况下，也可以利用对象块、与和对象块相邻的已经解码的周围块(块m＝2，…，5等)之间的统计关系(互相关)，将对象块的滤波数据编码。然而，可以针对块以外的区域决定滤波数据，也可以利用与这些区域相对应的滤波数据间的依存关系，如上所述，利用例如预测以及变换等来进行编码。进而，利用统计关系对滤波数据进行编码的这样的图像区域，可以位于不同的图像的位置(例如，对应的位置或进行运动补偿的位置)。

也可以是，针对各个信号/所有的信号、以及/或颜色成分，滤波精度(Wiener_Filter_Precision)也被编码为滤波数据的量化信息，并被传输到解码器，以作为Wiener_Filter_Precision[c]。但是，也可以将精度定义为固定。也可以以信号来发送用于预测滤波系数的信号预测方式。这是，在适用自适应预测方式时特别有效的。

通常，滤波数据是，为了在利用了FIR(有限脉冲响应)滤波器或IIR(无限脉冲响应)滤波器的滤波上使用而决定的。对于滤波器，可以是二维的不能分离的滤波器，或可以是一维的能够分离的滤波器。

用于对多个不同颜色成分以及/或信号(预测信号、量化预测误差信号、重构信号)进行滤波的滤波器也可以，为了避免以信号来反复发送滤波顺序，而具有相同的固定长度。然而，也可以是，按每个颜色成分，以及针对量化预测误差信号、预测信号、和重构运动图像信号的每一个，分别对滤波长度进行编码。对于滤波长度的编码，可以利用用于对多个不同信号以及/或颜色成分进行滤波的滤波长度的统计关系(互相关)。因此，可以将预测编码、变换编码、马尔可夫编码、或其他的任何编码，适用于滤波长度信息。

对于针对预测(运动图像)信号以及量化预测误差信号的滤波系数也可以，因联合编码器的最佳化而相同，因此仅传输一次即可。在此情况下，也可以以信号来发送滤波系数为相同的情况。

对于针对滤波对象的多个不同信号以及/或多个不同颜色成分的滤波数据的选择项，为了缩小以信号来发送的滤波数据的大小，而可以设定限制。若示出一个例子，则设定限制，以针对至少一个滤波对象信号(重构运动图像信号、预测信号、量化预测误差信号)以及/或颜色成分信号，利用对称滤波器。在其他的例子中，设定限制，以针对三个信号(解码信号、预测信号、量化预测误差信号)以及/或颜色成分中的两个或三个，利用同等滤波器。

或者，根据滤波系数，可以被设定为固定。对于以信号来发送固定滤波系数的值的频度，可以比以信号来发送可变滤波系数的值的频度低，例如仅在序列头等。

对于语法，也可以通过对码字与编码运动图像信号以及滤波数据进行加法运算，从而以信号来发送将针对三个信号(重构运动图像信号、预测信号、量化预测误差信号)之中的哪一个的滤波系数编码并传输的情况。例如，也可以是，通过由3比特构成码字，从而由3比特的每一个以信号来发送对重构运动图像信号、预测信号或量化预测误差信号的滤波数据的有无。这样的信号发送是，例如在序列、帧或片头进行的。

为了将来能够扩展，也可以包含码字“additional_extension_flag”。

图32是示出本实施例涉及的系统的图。

在该系统中，从编码器1501方，向解码器1503方发送编码运动图像信号。编码器1501是，运动图像编码装置500或700，解码器1503是，运动图像解码装置600或800。作为输入信号的运动图像信号，由编码器1501编码，被提供到通道1502。如上所述，编码器1501是，本发明的任意的实施例涉及的编码器。通道1502是，存储单元或传输通道。存储单元是，例如，任意的易失性或非易失性存储器、任意的磁气或光学介质、以及大容量存储单元等。也可以由无线或有线、固定的或可动的、xDSL、ISDN、WLAN、GPRS、UMTS、Internet等任意的传输系统、已标准化或专利化的系统的物理资源，形成传输通道。在编码器方，除了编码器以外，还可以包括：进行格式变换等的对运动图像信号的预处理的预处理单元；以及/或通过通道1502传输编码运动图像信号的传送器；或用于将编码运动图像信号发送到存储单元的应用程序。编码运动图像信号，通过通道1502，由解码器1503获得。如上所述，解码器1503是，本发明的任意的实施例涉及的解码器。解码器，对编码运动图像信号进行解码。在解码器方，除了解码器以外，还可以包括：用于从传输通道接收编码运动图像信号的接收器；或用于从存储单元提取编码运动图像信号的应用程序；以及/或进行格式变换等的对解码运动图像信号的后处理的后处理单元。

而且，本实施例的后滤波器设计部540、730，利用重构运动图像信号、预测信号、以及量化预测误差信号决定滤波数据或滤波系数，但是，也可以利用这些信号之中的至少两个信号决定滤波数据或滤波系数。并且，也可以取代量化预测误差信号，而利用预测误差信号。同样，本实施例的后滤波器640、840，针对重构运动图像信号、预测信号、以及量化预测误差信号适用滤波数据或滤波系数，但是，也可以针对这些信号之中的至少两个信号适用滤波数据或滤波系数。并且，也可以取代量化预测误差信号，而针对预测误差信号适用滤波数据或滤波系数。

(实施例2)

通过将用于实现所述实施例示出的运动图像编码装置、运动图像解码装置或其方法的程序存储到存储介质，从而在独立的计算机系统中能够简单地执行所述实施例示出的处理。存储介质能够记录程序即可，例如磁盘、光盘、光磁盘、IC卡、半导体存储器等。

进而，在此，说明所述实施例示出的运动图像编码装置、运动图像解码装置或其方法的应用例以及利用了它的系统。

图33是示出实现内容分发服务的内容提供系统ex100整体的结构的图。将提供通信服务的范围划分为所希望的大小，在各个单位内分别设置有作为固定无线台的基地台ex106至ex110。

在该内容提供系统ex100中，计算机ex111、PDA(Personal DigitalAssistant：个人数字助理)ex112、相机ex113、移动电话ex114、游戏机ex115等各个设备，通过互联网服务供应商ex102以及电话网ex104、以及基地台ex106至ex110而与互联网ex101连接。

但是，对于内容提供系统ex100的结构，不仅限于图33的结构，也可以组合任意的要素来连接。并且，也可以是，各个设备，不通过作为固定无线台的基地台ex106至ex110，而与电话网ex104直接连接。并且，也可以是，通过近距离无线等，各个设备直接相互连接。

相机ex113是数字摄像机等的能够拍摄运动图像的设备，相机ex116是数字相机等的能够拍摄静止图像、运动图像的设备。并且，移动电话ex114是，GSM(Global System for Mobile Communications：全球移动通信系统)方式、CDMA(Code Division Multiple Access：码分多址)方式、W-CDMA(Wideband-Code Division Multiple Access：宽带码分多址)方式、或LTE(Long Term Evolution：长期演进)方式、HSPA(High SpeedPacket Access：高速分组接入)的移动电话、或PHS(PersonalHandyphone System：个人手机系统)等，也可以是任一个。

在内容提供系统ex100中，通过基地台ex109、电话网ex104，相机ex113等而与流媒体服务器ex103连接，从而能够进行现场直播分发等。在现场直播分发中，用户对要利用相机ex113拍摄的内容(例如，音乐现场直播的映像等)进行所述实施例中说明的编码处理，并发送到流媒体服务器ex103。另一方面，流媒体服务器ex103，将发送到的内容数据，以流来分发到请求了的客户端。客户端有，能够对所述编码处理后的数据进行解码的计算机ex111、PDAex112、相机ex113、移动电话ex114、游戏机ex115等。在接收了被分发的数据的各个设备，对接收的数据进行解码处理，并进行再生。

而且，对于拍摄后的数据的编码处理，可以由相机ex113进行，也可以由进行数据的发送处理的流媒体服务器ex103进行，还可以相互分担地进行。同样，对于被分发的数据的解码处理，可以由客户端进行，也可以由流媒体服务器ex103进行，还可以相互分担地进行。并且，不仅限于相机ex113，也可以将相机ex116所拍摄的静止图像以及/或运动图像数据，通过计算机ex111发送到流媒体服务器ex103。对于此时的编码处理，可以由相机ex116、计算机ex111、流媒体服务器ex103的任一个进行，也可以相互分担地进行。

并且，一般而言，这些编码处理以及解码处理，由计算机ex111以及各个设备具有的LSI(Large Scale Integratio：大规模集成)ex500进行处理。对于LSIex500，可以是单芯片，也可以是由多个芯片构成的结构。而且，也可以是，将图像编码用以及图像解码用的软件，嵌入到由计算机ex111等可读取的某记录介质(CD-ROM、软盘、硬盘等)，利用该软件进行编码处理以及解码处理。进而，在移动电话ex114带有相机的情况下，也可以发送由该相机获得的运动图像数据。此时的运动图像数据是，由移动电话ex114具有的LSIex500进行编码处理后的数据。

并且，流媒体服务器ex103也可以是多个服务器或多个计算机，将数据分散来处理、记录、分发。

如上所述，在内容提供系统ex100中，客户端能够接收并再生编码后的数据。如上所述，在内容提供系统ex100中，客户端能够实时接收来解码、再生用户发送了的信息，不具有特别的权利或设备的用户也能够实现个人广播。

对于构成该内容提供系统的各个设备的编码、解码，利用所述实施例示出的运动图像编码方法或运动图像解码方法即可。

说明移动电话ex114，以作为一个例子。

图34是示出利用了所述实施例中说明的运动图像编码装置、运动图像解码装置或其方法的移动电话ex114的图。移动电话ex114具有：天线ex601，用于在与基地台ex110之间收发电波；CCD相机等的相机部ex603，能够拍摄映像、静止图像；液晶显示器等的显示部ex602，显示由相机部ex603拍摄的映像、由天线ex601接收的映像等被解码的数据；主体部，由操作键ex604群构成；扬声器等的声音输出部ex608，用于输出声音；麦克风等的声音输入部ex605，用于输入声音；记录介质ex607，用于保存拍摄后的运动图像或静止图像的数据、接收后的邮件的数据、运动图像的数据或静止图像的数据等、编码后的数据或解码后的数据；插槽部ex606，使记录介质ex607能够安装到移动电话ex114。记录介质ex607是，在SD卡等的塑料盒内存储有作为能够电气性地进行改写以及删除的非易失性存储器的作为一种EEPROM的闪存元件的。

进而，利用图35说明移动电话ex114。在移动电话ex114中，针对用于总括控制包括显示部ex602以及操作键ex604的主体部的各个部的主控制部ex711，电源电路部ex710、操作输入控制部ex704、图像编码部ex712、相机接口部ex703、LCD(Liquid Crystal Display：液晶显示器)控制部ex702、图像解码部ex709、多路复用分离部ex708、记录再生部ex707、调制解调电路部ex706以及声音处理部ex705，通过同步总线ex713而相互连接。

电源电路部ex710，若由用户的操作，通话结束并电源键成为开状态，则从电池组向各个部提供电力，从而使带有相机的数字移动电话ex114启动并成为能够工作的状态。

移动电话ex114，根据由CPU、ROM以及RAM等构成的主控制部ex711的控制，将声音通话模式时由声音输入部ex605收集的声音信号，由声音处理部ex705变换为数字声音数据，由调制解调电路部ex706对其进行频谱扩展处理，由收发电路部ex701执行模数变换处理以及频率变换处理后，通过天线ex601发送。并且，移动电话ex114，将声音通话模式时由天线ex601接收的接收数据放大，执行频率变换处理以及模数变换处理，由调制解调电路部ex706进行频谱反扩展处理，由声音处理部ex705变换为模拟声音数据后，通过声音输出部ex608输出它。

进而，在数据通信模式时发送电子邮件的情况下，由主体部的操作键ex604的操作而输入的电子邮件的文本数据，通过操作输入控制部ex704，送出到主控制部ex711。主控制部ex711，将文本数据，由调制解调电路部ex706进行频谱扩展处理，由收发电路部ex701执行模数变换处理以及频率变换处理后，通过天线ex601发送到基地台ex110。

在数据通信模式时发送图像数据的情况下，将由相机部ex603拍摄的图像数据，通过相机接口部ex703，提供到图像编码部ex712。并且，在不发送图像数据的情况下，也可以将由相机部ex603拍摄的图像数据，通过相机接口部ex703以及LCD控制部ex702，直接显示在显示部ex602。

图像编码部ex712，被构成为包括本申请发明中说明的运动图像编码装置，通过根据用于所述实施例示出的运动图像编码装置的运动图像编码方法，对相机部ex603提供的图像数据进行压缩编码，从而变换为编码图像数据，将其送出到多路复用分离部ex708。并且，此时，同时，移动电话ex114，将相机部ex603正在拍摄中由声音输入部ex605收集的声音，通过声音处理部ex705送出到多路复用分离部ex708，以作为数字的声音数据。

多路复用分离部ex708，根据规定的方式，将由图像编码部ex712提供的编码图像数据、与由声音处理部ex705提供的声音数据多路复用，将据此得到的多路复用数据，由调制解调电路部ex706进行频谱扩展处理，由收发电路部ex701执行模数变换处理以及频率变换处理后，通过天线ex601发送。

在数据通信模式时接收链接于网页等的运动图像文件的数据的情况下，将通过天线ex601从基地台ex110接收的接收数据，由调制解调电路部ex706进行频谱反扩展处理，将据此得到的多路复用数据，送出到多路复用分离部ex708。

并且，为了对通过天线ex601接收的多路复用数据进行解码，多路复用分离部ex708，将多路复用数据分离来分开为图像数据的比特流和声音数据的比特流，通过同步总线ex713，将该编码图像数据提供到图像解码部ex709，并且，将该声音数据提供到声音处理部ex705。

其次，图像解码部ex709，被构成为包括本申请中说明的运动图像解码装置，根据与所述实施例示出的运动图像编码方法相对应的运动图像解码方法，对图像数据的比特流进行解码，从而生成再生运动图像数据，通过LCD控制部ex702，将其提供到显示部ex602，据此，显示例如链接于网页的运动图像文件中包含的运动图像数据。此时，同时，声音处理部ex705，将声音数据变换为模拟声音数据后，将其提供到声音输出部ex608，据此，再生例如链接于网页的运动图像文件中包含的声音数据。

而且，不仅限于所述的系统的例子，最近，由卫星、地波的数据广播已成为话题，如图36示出，在数字广播用系统中也能够嵌入所述实施例的至少运动图像编码装置或运动图像解码装置。具体而言，在广播台ex201，声音数据、映像数据或这些数据被多路复用的比特流，通过电波被通信、或被传输到广播卫星ex202。接受了它的广播卫星ex202，发出广播用的电波，具有卫星广播接收设备的家庭的天线ex204，接收该电波，电视机(接收机)ex300或机顶盒(STB)ex217等的装置，对比特流进行解码并再生。并且，在将作为记录介质的CD以及DVD等的记录介质ex215、ex216所记录的图像数据、和声音数据被多路复用的比特流读出并解码的读出器/刻录器218中，也能够安装所述实施例示出的运动图像解码装置。在此情况下，再生了的映像信号被显示在监视器ex219。并且，也能够考虑以下的结构，即，在与电缆电视用的电缆ex203或卫星/地波广播的天线ex204连接的机顶盒ex217内安装运动图像解码装置，在电视机的监视器ex219再生它。也可以是，不在机顶盒内安装运动图像解码装置，而在电视机内安装运动图像解码装置。并且，也可以是，由具有天线ex205的车辆ex210，从卫星ex202或基地台等接收信号，在车辆ex210具有的汽车导航系统ex211等的显示装置再生运动图像。

并且，在将CD以及DVD等的记录介质ex215所记录的声音数据、映像数据或这些数据被多路复用的编码比特流读出并解码、或者将声音数据、映像数据或这些数据编码并作为多路复用数据来记录到记录介质ex215的读出器/刻录器218中，也能够安装所述实施例示出的运动图像解码装置或运动图像编码装置。在此情况下，再生了的映像信号被显示在监视器ex219。并且，由记录了编码比特流的记录介质ex215，其他的装置以及系统等能够再生映像信号。例如，其他的再生装置ex212，能够利用复制了编码比特流的记录介质ex214，在监视器ex213再生映像信号。

并且，也可以是，在与电缆电视用的电缆ex203或卫星/地波广播的天线ex204连接的机顶盒ex217内安装运动图像解码装置，在电视机的监视器ex219显示它。也可以是，不在机顶盒内安装运动图像解码装置，而在电视机内嵌入运动图像解码装置。

图37是示出利用了所述实施例中说明的运动图像编码装置、运动图像解码装置或其方法的电视机(接收机)ex300的图。电视机ex300包括：调谐器ex301，通过接收所述广播的天线ex204或电缆ex203等获得或输出映像信息的比特流；调制/解调部ex302，将接收的编码数据解调，或者，为了向外部发送而将生成的编码数据调制；多路复用/分离部ex303，将解调后的映像数据和声音数据分离，或者，将编码后的映像数据和声音数据多路复用。并且，电视机ex300包括：信号处理部ex306，具有对声音数据、映像数据分别进行解码、或对每个信息进行编码的声音信号处理部ex304、映像信号处理部ex305；输出部ex309，具有输出解码后的声音信号的扬声器ex307、显示解码后的映像信号的显示器等的显示部ex308。进而，电视机ex300包括具有接受用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300包括：控制部ex310，总括控制各个部；电源电路部ex311，向各个部提供电力。接口部ex317，除了操作输入部ex312以外，还可以具有桥接器ex313、插槽部ex314、驱动器ex315、调制解调器ex316等，其中，桥接器ex313与读出器/刻录器218等的外部设备连接，插槽部ex314使SD卡等的记录介质ex216能够安装，驱动器ex315被用于与硬盘等的外部记录介质连接，调制解调器ex316与电话网连接。而且，记录介质ex216，能够由存储的非易失性/易失性的半导体存储元件电气性地记录信息。电视机ex300的各个部，通过同步总线而相互连接。

首先，说明电视机ex300将由天线ex204等从外部获得的数据解码并再生的结构。电视机ex300，接受来自遥控器ex220等的用户操作，根据具有CPU等的控制部ex310的控制，在多路复用/分离部ex303，将由调制/解调部ex302解调后的映像数据、声音数据分离。进而，电视机ex300，在声音信号处理部ex304对分离后的声音数据进行解码，在映像信号处理部ex305，利用所述实施例说明的运动图像解码方法，对分离后的映像数据进行解码。解码后的声音信号、映像信号，分别从输出部ex309被输出到外部。在输出时，在缓冲器ex318、ex319等暂时蓄积声音信号与映像信号，以使声音信号与映像信号同步再生即可。并且，电视机ex300也可以，不是从广播等，而是从磁/光盘、SD卡等的记录介质ex215，ex216，读出编码后的编码比特流。其次，说明电视机ex300将声音信号以及映像信号编码，并向外部发送或写入到记录介质等的结构。电视机ex300，接受来自遥控器ex220等的用户操作，根据控制部ex310的控制，在声音信号处理部ex304，对声音数据进行编码，在映像信号处理部ex305，在映像信号处理部ex305，利用所述实施例说明的运动图像编码方法，对映像数据进行编码。编码后的声音信号、映像信号，由多路复用/分离部ex303多路复用，被输出到外部。在多路复用时，在缓冲器ex320、ex321等暂时蓄积声音信号与映像信号，以使声音信号与映像信号同步再生即可。而且，可以是如图示出包括多个缓冲器ex318至ex321的结构，也可以是共享一个以上的缓冲器的结构。进而，除了图中示出的内容以外，例如，在调制/解调部ex302与多路复用/分离部ex303之间等，也可以将数据蓄积到用于避免发生系统的上溢以及下溢的作为缓冲材料的缓冲器。

并且，电视机ex300，除了从广播以及记录介质等获得声音数据以及映像数据以外，还可以包括接受麦克风以及相机的AV输入的结构，对从它们获得的数据进行编码处理。并且，在此，对于电视机ex300，说明了能够进行所述的编码处理、多路复用以及外部输出的结构，但也可以是，不能进行这些处理的全部，而仅能够进行所述的接收、解码处理以及外部输出之中的任一个的结构。

并且，在读出器/刻录器218从记录介质读出编码比特流、或进行写入的情况下，可以由电视机ex300以及读出器/刻录器218之中的任一个进行所述解码处理或编码处理，也可以由电视机ex300和读出器/刻录器218相互分担进行所述解码处理或编码处理。

图38示出从光盘读入数据或进行写入时的信息再生/记录部ex400的结构，以作为一个例子。信息再生/记录部ex400包括以下说明的要素ex401至ex407。光头ex401，向作为光盘的记录介质ex215的记录面照射激光点来写入信息，检测从记录介质ex215的记录面的反射光来读入信息。调制记录部ex402，电气性地驱动内置在光头ex401的半导体激光，按照记录数据进行激光的调制。再生解调部ex403，将由内置在光头ex401的光检测器电气性地检测从记录面的反射光的再生信号放大，将记录介质ex215所记录的信号成分分离并解调，再生必要的信息。缓冲器ex404，暂时保持用于记录到记录介质ex215的信息以及从记录介质ex215再生了的信息。盘电动机ex405，使记录介质ex215旋转。伺服控制部ex406，控制盘电动机ex405的旋转驱动，并且，使光头ex401移动到规定的信息磁道，进行激光点的跟踪处理。系统控制部ex407，进行信息再生/记录部ex400整体的控制。系统控制部ex407，利用缓冲器ex404所保持的各种信息，还根据需要生成并增加新的信息，并且，使调制记录部ex402、再生解调部ex403以及伺服控制部ex406协调工作，通过光头ex401进行信息的记录再生，从而实现所述的读出以及写入的处理。系统控制部ex407，例如，由微处理器构成，通过执行读出写入的程序，从而执行这些处理。

以上说明中，光头ex401照射激光点，但也可以被构成为利用近场光进行进一步高密度的记录。

图39示出作为光盘的记录介质ex215的模式图。在记录介质ex215的记录面以螺旋状形成有引导沟(槽)，在信息磁道ex230，预先记录有因槽的形状的变化而表示盘上的绝对位置的地址信息。该地址信息包含用于确定作为记录数据的单位的记录块ex231的位置的信息，进行记录并再生的装置，通过再生信息磁道ex230，读出地址信息，从而能够确定记录块。并且，记录介质ex215包含，数据记录区域ex233、内围区域ex232、外围区域ex234。用于记录用户数据的区域是数据记录区域ex233，被配置在数据记录区域ex233的内围区或外围的内围区域ex232和外围区域ex234是，在用户数据的记录以外的特定用途上利用的。信息再生/记录部ex400，针对这样的记录介质ex215的数据记录区域ex233，进行编码后的声音数据、映像数据或将这些数据多路复用后的编码数据的读写。

以上说明中，示出单层的DVD、BD等的光盘的例子，但不仅限于此，也可以是多层构造且在表面以外也能够记录的光盘。并且，也可以是，在盘的相同地方利用各种不同波长的颜色的光来记录信息，从各种角度记录不同信息的层等，进行多维的记录/再生的构造的光盘。

并且，在数字广播用系统ex200中也可以，由具有天线ex205的车辆ex210从卫星ex202等接收数据，在车辆ex210具有的汽车导航系统ex211等的显示装置再生运动图像。而且，对于汽车导航系统ex211的结构，例如，可以考虑图17示出的结构中追加GPS接收部的结构，对于计算机ex111以及移动电话ex114等，也可以考虑同样的结构。并且，对于所述移动电话ex114等的终端，与电视机ex300同样，除了可以考虑具有编码器以及解码器这两者的收发型终端以外、还可以考虑仅编码器的发送终端、仅解码器的接收终端，即可以考虑三种安装形式。

如上所述，在所述的任何设备以及系统中能够利用所述实施例示出的运动图像编码方法或运动图像解码方法，据此，能够得到所述实施例中说明的效果。

并且，本发明不仅限于所述实施例，而可以在不脱离本发明的范围的情况下进行各种变形或修改。

(实施例3)

典型地，所述的各个实施例示出的运动图像编码方法和装置、运动图像解码方法和装置是，以作为集成电路的LSI来实现的。图40示出单芯片化的LSIex500的结构，以作为一个例子。LSIex500包括以下说明的要素ex501至ex509，各个要素通过总线ex510而连接。电源电路部ex505，在电源开状态的情况下，向各个部提供电力，从而启动并成为能够工作的状态。

例如，在进行编码处理的情况下，LSIex500，根据具有CPUex502、存储控制器ex503以及流控制部ex504等的控制部ex501的控制，由AV I/Oex509从麦克风ex117以及相机ex113等接受AV信号的输入。输入的AV信号，暂时被蓄积到SDRAM等的外部的存储器ex511。根据控制部ex501的控制，例如按照处理量以及处理速度，将蓄积的数据适当地分开为多次来发送到信号处理部ex507。信号处理部ex507，进行声音信号的编码以及/或映像信号的编码。在此，映像信号的编码处理是，所述实施例中说明的编码处理。在信号处理部ex507，进一步，根据情况进行将编码后的映像信号和编码后的映像信号多路复用等的处理，从流I/Oex506向外部输出。该输出的比特流，被发送到基地台ex107，或者，被写入到记录介质ex215。而且，优选的是，在多路复用时，在缓冲器ex508暂时蓄积数据，以使得同步。

并且，例如，在进行解码处理的情况下，LSIex500，根据控制部ex501的控制，将由流I/Oex506通过基地台ex107得到的编码数据、或从记录介质ex215读出而得到的编码数据，暂时蓄积到存储器ex511等。根据控制部ex501的控制，例如按照处理量以及处理速度，将蓄积的数据适当地分开为多次来发送到信号处理部ex507。信号处理部ex507，进行声音数据的解码以及/或映像数据的解码。在此，映像信号的解码处理是，所述实施例中说明的解码处理。进一步，优选的是，根据情况，将解码后的声音信号和解码后的映像信号的每一个信号，暂时蓄积到缓冲器ex508等，以能够同步再生。解码后的输出信号，适当地通过存储器ex511等，从移动电话ex114、游戏机ex115以及电视机ex300等的各个输出部输出。

而且，在所述说明的结构中，存储器ex511在LSIex500的外部，但是，也可以是包含在LSIex500的内部的结构。对于缓冲器ex508，也不仅限于一个，也可以包括多个缓冲器。并且，LSIex500可以被单芯片化，也可以被多芯片化。

而且，在此，被称为LSI，但是，根据集成度不同，会有被称为IC、系统LSI、超LSI、特大LSI的情况。

并且，集成电路化的方法不仅限于LSI，而可以以专用电路或通用处理器来实现。也可以利用在制造LSI后能够编程的FPGA(现场可编程门阵列)、或能够重新构成LSI内部的电路单元以及设定的可重构处理器。

进而，当然，若因半导体技术的进步或导出的其它的技术而出现代替LSI的集成电路化的技术，则可以利用其技术进行功能框的集成化。会有生物技术的适应等的可能性。

以上，根据实施例说明了本发明涉及的运动图像编码方法、运动图像编码装置、运动图像解码方法、运动图像解码装置，但是，本发明不仅限于这些实施例。只要不脱离本发明的宗旨，对该实施例施行本领域的技术人员想到的各种变形的形态、以及组合不同的实施例中的构成要素以及步骤等而构成的其他的形态，也包含在本发明的范围内。

关于基于H.264/AVC的运动图像编码系统，说明了所述例子的大部分的概要。对于用语，主要与H.264/AVC的用语有关。然而，对基于H.264/AVC的编码的各种实施例的用语以及描述，不试图将本发明的原理以及想法限定为该系统。与依据H.264/AVC标准规格的编码以及解码有关的详细说明，试图进一步理解在此举例说明的实施例，而不应该理解为，本发明的运动图像编码中的过程以及功能被限定为说明了的特定的实施例。另一方面，对于在此提出的改良方案，有可能能够容易应用到运动图像编码。并且，对于本发明的理念，有可能能够容易利用于由JVT正在研讨的H.264/AVC的扩展编码。

简单地说，在本发明涉及的运动图像信号的解码中，根据从编码器方提供的滤波数据，对预测信号、预测误差信号、以及重构运动图像信号之中的至少两个信号分别进行滤波，在本发明涉及的运动图像信号的编码中，利用预测信号、预测误差信号、以及重构运动图像信号之中的所述至少两个信号之间统计上的依存关系，对滤波数据进行编码。

本发明涉及的运动图像编码方法以及运动图像解码方法，具有能够抑制编码效率的降低、能够提高被解码的运动图像的画质的效果，例如，能够适用于录像机、移动电话或个人电脑等。

符号说明

105  减法器

110  变换/量化部

120  反量化/反变换部

125  加法器

130  去块滤波器

140  存储器

150  插值滤波器

160  运动补偿预测部

170  画面内预测部

175  帧内/帧间开关

220  反量化/反变换部

225  加法器

230  去块滤波器

240  存储器

250  插值滤波器

260  运动补偿预测部

270  画面内预测部

275  帧内/帧间开关

500  运动图像编码装置

540  后滤波器设计部

590  熵编码部

600  运动图像解码装置

640  后滤波器

690  熵解码部

700  运动图像编码装置

730  频率域后滤波器设计部

800  运动图像解码装置

840  频率域后滤波器

Claims (20)

1.一种运动图像编码方法，对至少包含一个图片的运动图像信号进行编码，

所述运动图像编码方法：

通过在空间上或时间上预测所述运动图像信号，从而生成预测信号；

将所述运动图像信号与所述预测信号之间的差分作为预测误差信号来计算；

通过根据所述预测信号以及所述预测误差信号来重新构成所述运动图像信号，从而生成重构运动图像信号；

针对所述预测信号、所述预测误差信号以及所述重构运动图像信号之中的至少两个信号的每一个，决定用于对该信号进行滤波的滤波数据；

根据被决定的所述滤波数据间的互相关，对被决定的所述滤波数据进行编码。

2.如权利要求1所述的运动图像编码方法，

在对所述滤波数据进行编码时，

通过根据被决定的至少两个滤波数据之中的第一滤波数据，来预测所述第一滤波数据以外的第二滤波数据，从而确定所述第二滤波数据的预测数据，

通过计算所述第二滤波数据与所述预测数据之间的差分，从而对所述第二滤波数据进行编码。

3.如权利要求2所述的运动图像编码方法，

在决定所述滤波数据时，

决定针对所述重构运动图像信号的所述第一滤波数据、以及针对所述预测信号的所述第二滤波数据，

在对所述滤波数据进行编码时，

通过根据针对所述重构运动图像信号的所述第一滤波数据，来预测针对所述预测信号的所述第二滤波数据，从而确定所述第二滤波数据的预测数据，

通过计算针对所述预测信号的所述第二滤波数据与所述预测数据之间的差分，从而对针对所述预测信号的所述第二滤波数据进行编码。

4.如权利要求3所述的运动图像编码方法，

在确定所述预测数据时，

将针对所述重构运动图像信号的所述第一滤波数据作为所述预测数据来确定。

5.如权利要求1至4的任一项所述的运动图像编码方法，

在对所述滤波数据进行编码时，

将所述滤波数据量化，

对表示所述量化的精度的精度信息进行编码。

6.如权利要求5所述的运动图像编码方法，

在对所述精度信息进行编码时，

以所述精度信息表示的精度越低，就越使短的码字被分配到该精度信息的方式，来对所述精度信息进行编码。

7.如权利要求1至6的任一项所述的运动图像编码方法，

在决定所述滤波数据时，

决定所述滤波数据，以使得在针对所述预测信号、所述预测误差信号以及所述重构运动图像信号之中的至少两个信号的每一个适用所述滤波数据的情况下得到的图像，与所述两个信号表示的图像相比，更接近所述运动图像信号表示的图像。

8.如权利要求1至7的任一项所述的运动图像编码方法，

在决定所述滤波数据时，

按每个颜色成分决定所述滤波数据的每一个，

在对所述滤波数据进行编码时，

在存在作为所述颜色成分的第一颜色成分和第二颜色成分的情况下，根据所述第一颜色成分的所述滤波数据与所述第二颜色成分的滤波数据之间的互相关，对所述第一颜色成分的所述滤波数据进行编码。

9.如权利要求1至8的任一项所述的运动图像编码方法，

所述滤波数据包含表示偏移值、滤波系数的大小、所述滤波系数的量化的精度、以及所述滤波系数的编码的类别之中的至少一个的信息。

10.如权利要求1至9的任一项所述的运动图像编码方法，

所述运动图像编码方法，进一步，

根据所述预测误差信号将编码运动图像信号作为比特流来生成，

将编码后的所述滤波数据包含在所述比特流，

在将编码后的所述滤波数据包含在所述比特流时，

在所述比特流内的将要适用利用了所述滤波数据的滤波的图像信号之前配置编码后的所述滤波数据。

11.如权利要求1所述的运动图像编码方法，

所述运动图像编码方法，进一步，

通过将所述预测误差信号量化以及反量化，从而生成量化预测误差信号，

在决定所述滤波数据时，

根据所述运动图像信号，针对所述预测信号、所述量化预测误差信号以及所述重构运动图像信号之中的至少两个信号的每一个，决定所述滤波数据。

12.如权利要求11所述的运动图像编码方法，

在决定所述滤波数据时，

针对所述预测信号、所述量化预测误差信号以及所述重构运动图像信号的每一个，决定滤波数据，

在对所述滤波数据进行编码时，

对被决定的三个滤波数据进行编码。

13.如权利要求1至12的任一项所述的运动图像编码方法，

在决定所述滤波数据时，

针对所述至少两个信号的每一个，选择滤波系数的大小，并决定包含用于确定选择出的大小的语法元素以及所述滤波系数的所述滤波数据。

14.一种运动图像解码方法，对至少包含一个图片的运动图像信号被编码的编码运动图像信号进行解码，

所述运动图像解码方法，

根据所述编码运动图像信号，生成预测误差信号；

通过在空间上或时间上预测所述运动图像信号，从而生成预测信号；

通过根据所述预测信号以及所述预测误差信号来重新构成所述运动图像信号，从而生成重构运动图像信号；

获得编码滤波数据，该编码滤波数据是针对所述预测信号、所述预测误差信号以及所述重构运动图像信号之中的至少两个信号的每一个而被决定的滤波数据被编码而得到的；

通过根据所述滤波数据间的互相关，对针对所述至少两个信号的每一个的所述编码滤波数据进行解码，从而生成滤波数据；

针对所述至少两个信号的每一个，进行利用了生成后的所述滤波数据的滤波。

15.如权利要求14所述的运动图像解码方法，

在生成所述滤波数据时，

通过根据至少两个编码滤波数据之中的第一编码滤波数据，来预测所述第一编码滤波数据以外的第二编码滤波数据被解码的第二滤波数据，从而确定所述第二滤波数据的预测数据，

通过对所述第二编码滤波数据与所述预测数据进行加法运算，从而对所述第二编码滤波数据进行解码，并通过所述解码生成所述第二滤波数据。

16.如权利要求15所述的运动图像解码方法，

在获得所述编码滤波数据时，

获得针对所述重构运动图像信号的所述第一编码滤波数据、以及针对所述预测信号的所述第二编码滤波数据，

在生成所述滤波数据时，

通过根据针对所述重构运动图像信号的所述第一编码滤波数据，来预测针对所述预测信号的所述第二滤波数据，从而确定所述第二滤波数据的预测数据，

通过对针对所述预测信号的所述第二编码滤波数据与所述预测数据进行加法运算，从而对针对所述预测信号的所述第二编码滤波数据进行解码，并通过所述解码生成所述第二滤波数据。

17.如权利要求14至16的任一项所述的运动图像解码方法，

在生成所述滤波数据时，

通过对表示量化的精度的编码精度信息进行解码，从而获得精度信息，

针对所述编码滤波，进行基于所述精度信息表示的精度的反量化。

18.如权利要求14至17的任一项所述的运动图像解码方法，

所述滤波数据包含表示偏移值、滤波系数的大小、所述滤波系数的量化的精度、以及所述滤波系数的编码的类别之中的至少一个的信息。

19.一种运动图像编码装置，对至少包含一个图片的运动图像信号进行编码，包括：

预测部，通过在空间上或时间上预测所述运动图像信号，从而生成预测信号；

减法部，将所述运动图像信号与所述预测信号之间的差分作为预测误差信号来计算，

重构部，通过根据所述预测信号以及所述预测误差信号来重新构成所述运动图像信号，从而生成重构运动图像信号；

决定部，针对所述预测信号、所述预测误差信号以及所述重构运动图像信号之中的至少两个信号的每一个，决定用于对该信号进行滤波的滤波数据；以及

编码部，根据被决定的所述滤波数据间的互相关，对被决定的所述滤波数据进行编码。

20.一种运动图像解码装置，对至少包含一个图片的运动图像信号被编码的编码运动图像信号进行解码，包括：

预测误差信号生成部，根据所述编码运动图像信号，生成预测误差信号；

预测部，通过在空间上或时间上预测所述运动图像信号，从而生成预测信号；

重构部，通过根据所述预测信号以及所述预测误差信号来重新构成所述运动图像信号，从而生成重构运动图像信号；

获得部，获得编码滤波数据，该编码滤波数据是针对所述预测信号、所述预测误差信号以及所述重构运动图像信号之中的至少两个信号的每一个而被决定的滤波数据被编码而得到的；

滤波数据解码部，通过根据所述滤波数据间的互相关，对针对所述至少两个信号的每一个的所述编码滤波数据进行解码，从而生成滤波数据；以及

滤波器，针对所述至少两个信号的每一个，进行利用了生成后的所述滤波数据的滤波。

Images