CN103004205B - 图像编码方法、图像解码方法、图像编码装置、图像解码装置、及图像编解码装置 - Google Patents

Abstract

图像编码方法包括：追加步骤（S701），在用于现运动矢量的编码的预测运动矢量的候选列表中，作为预测运动矢量的候选而追加第1相邻运动矢量；选择步骤（S702），从候选列表选择预测运动矢量；以及编码步骤（S703），使用预测运动矢量来对现运动矢量进行编码；在追加步骤（S701）中，在针对现运动矢量的候选列表中追加第1相邻运动矢量，该现运动矢量指示第2参照图片列表中包含的第2参照图片内的位置，该第1相邻运动矢量指示第1参照图片列表中包含的第1参照图片内的位置。

Description

图像编码方法、图像解码方法、图像编码装置、图像解码装置、 及图像编解码装置

技术领域

本发明涉及执行预测并对图像进行编码的图像编码方法、及执行预测并对图像进行解码的图像解码方法。

背景技术

图像编码装置通常利用图像（包括静止图像及动态图像）所具有的空间方向及时间方向的冗余性来对信息量进行压缩。作为利用空间方向的冗余性的方法，使用向频率区域的变换。作为利用时间方向的冗余性的方法，使用帧间预测。帧间预测也被称为图片间预测。

使用帧间预测的图像编码装置在对某图片进行编码时，将相对于编码对象图片按显示顺序位于前方或后方的已编码的图片作为参照图片使用。并且，图像编码装置检测编码对象图片相对于该参照图片的运动矢量。

接着，图像编码装置基于运动矢量进行运动补偿，取得预测图像数据。接着，图像编码装置取得预测图像数据与编码对象图片的图像数据的差分。接着，图像编码装置对取得的差分进行编码。由此，图像编码装置将时间方向的冗余性除去。

被称为H.264的标准化的图像编码方式（参照非专利文献1）的图像编码装置为了进行信息量的压缩，使用I图片、P图片及B图片的3种图片类型。该图像编码装置对I图片不进行帧间预测。即，图像编码装置对I图片进行帧内预测。帧内预测也被称为图片内预测。

此外，图像编码装置对于P图片，按照显示顺序参照编码对象图片的前方或后方的已编码的1个图片，来进行帧间预测。此外，图像编码装置对于B图片，按照显示顺序参照编码对象图片的前方或后方的已编码的2个图片，来进行帧间预测。

在帧间预测中，图像编码装置生成用于确定参照图片的参照列表（也称为参照图片列表）。在参照列表中，对帧间预测中参照的已编码的参照图片分配参照图片索引（index）。例如，图像编码装置对于B图片参照2个图片，所以保持2个参照列表（L0、L1）。

图33表示参照列表的例子。图33的第1参照图片列表（L0）是与双方向预测的第1预测方向对应的参照图片列表的例子。在图33的第1参照图片列表中，对显示顺序为2的参照图片R1分配值为0的参照图片索引。此外，对显示顺序为1的参照图片R2分配值为1的参照图片索引。并且，对显示顺序为0的参照图片R3分配值为2的参照图片索引。

即，在图33的第1参照图片列表中，参照图片在显示顺序上越靠近编码对象图片，则对该参照图片分配越小的参照图片索引。

另一方面，图33的第2参照图片列表（L1）是与双方向预测的第2预测方向对应的参照图片列表的例子。在图33的第2参照图片列表中，对显示顺序为1的参照图片R2分配值为0的参照图片索引。此外，对显示顺序为2的参照图片R1分配值为1的参照图片索引。此外，对显示顺序为0的参照图片R3分配值为2的参照图片索引。

这样，对于2个参照图片列表中包含的特定的参照图片，有时分配不同的2个参照图片索引（图33的参照图片R1、R2）。此外，对于2个参照图片列表中包含的特定的参照图片，有时分配相同的参照图片索引（图33的参照图片R3）。

将仅使用第1参照图片列表（L0）的预测称为L0预测。将仅使用第2参照图片列表（L1）的预测称为L1预测。将使用第1参照图片列表及第2参照图片列表的双方的预测称为双方向预测或双预测。

在L0预测中，作为预测方向而多数情况下使用前方。在L1预测中，作为预测方向而多数情况下使用后方。即，第1参照图片列表构成为与第1预测方向对应，第2参照图片列表构成为与第2预测方向对应。

基于这些关系，将预测方向分类为第1预测方向、第2预测方向及双方向的某一个。此外，预测方向为双方向的情况下，还将预测方向表现为双方向预测或双预测。

在被称为H.264的图像编码方式中，作为B图片内的编码对象块的编码模式，有运动矢量检测模式。在运动矢量检测模式中，图像编码装置使用参照图片来检测编码对象块的运动矢量。并且，图像编码装置使用参照图片及运动矢量来生成预测图像数据。并且，图像编码装置对预测图像数据与编码对象块的图像数据的差分值、及用于预测图像数据的生成的运动矢量进行编码。

在运动矢量检测模式中，如上述那样，有参照编码对象图片的前方或后方的已编码的2个图片来生成预测图像的双方向预测。此外，在运动矢量检测模式中，有参照编码对象图片的前方或后方的已编码的1个图片来生成预测图像的单方向预测。并且，对于编码对象块，选择双方向预测及单方向预测的某一个。

在运动矢量检测模式中，在对运动矢量进行编码时，图像编码装置根据已编码的相邻块等的运动矢量来生成预测运动矢量。并且，图像编码装置对运动矢量与预测运动矢量的差分进行编码。由此，图像编码装置能够削减信息量。作为具体的例子，参照图34进行说明。

在图34中示出了编码对象块、相邻块A、相邻块B及相邻块C。相邻块A是相对于编码对象块在左边相邻的已编码块。相邻块B是相对于编码对象块在上方相邻的已编码块。相邻块C是相对于编码对象块在右上方相邻的已编码块。

此外，在图34中，相邻块A通过双方向预测进行编码，具有第1预测方向的运动矢量MvL0_A和第2预测方向的运动矢量MvL1_A。在此，第1预测方向的运动矢量是指示由第1参照图片列表确定的参照图片内的位置的运动矢量。第2预测方向的运动矢量是指示由第2参照图片列表确定的参照图片内的位置的运动矢量。

此外，相邻块B通过单方向预测进行编码，具有第1预测方向的运动矢量MvL0_B。此外，相邻块C通过双方向预测进行编码，具有第1预测方向的运动矢量MvL0_C和第2预测方向的运动矢量MvL1_C。此外，编码对象块是通过双方向预测来编码的块，具有第1预测方向的运动矢量MvL0和第2预测方向的运动矢量MvL1。

图像编码装置对编码对象块的第1预测方向的运动矢量MvL0进行编码时，根据具有第1预测方向的运动矢量的相邻块来生成与第1预测方向对应的预测运动矢量PMvL0。更具体地说，图像编码装置使用相邻块A的运动矢量MvL0_A、相邻块B的运动矢量MvL0_B、及相邻块C的运动矢量MvL0_C来生成预测运动矢量PMvL0。

即，图像编码装置对编码对象块的第1预测方向的运动矢量MvL0进行编码时，利用相邻块的第1预测方向的运动矢量。并且，图像编码装置对运动矢量MvL0与预测运动矢量PMvL0的差分、即差分运动矢量进行编码。

预测运动矢量PMvL0使用Median（MvL0_A、MvL0_B、MvL0_C）等来计算，该Median是用于计算运动矢量MvL0_A、MvL0_B、MvL0_C的中间值（中央值）的式子。在此，Median通过以下的式1～式3来表现。

【数1】

Median(x，y，z)＝x+y+z-Min(x，Min(y，z))-Max(x，Max(y，z))···(式1)

【数2】

$\mathrm{Min}(x,y)=\left\{\begin{array}{cc}x& (x\≤y)\\ y& (x>y)\end{array}\right.$ ···(式2)

【数3】

$\mathrm{Max}(x,y)=\left\{\begin{array}{cc}x& (x\&GreaterEqual;y)\\ y& (x<y)\end{array}\right.$ ···(式3)

图像编码装置对编码对象块的第2预测方向的运动矢量MvL1进行编码时，根据具有第2预测方向的运动矢量的相邻块来生成与第2预测方向对应的预测运动矢量PMvL1。更具体地说，图像编码装置使用相邻块A的运动矢量MvL1_A及相邻块C的运动矢量MvL1_C来生成预测运动矢量PMvL1。

即，图像编码装置对编码对象块的第2预测方向的运动矢量MvL1进行编码时，利用相邻块的第2预测方向的运动矢量。并且，图像编码装置对运动矢量MvL1与预测运动矢量PMvL1的差分、即差分运动矢量进行编码。预测运动矢量PMvL1使用Median（MvL1_A、0、MvL1_C）等来计算。

在先技术文献

非专利文献

非专利文献1：ITU-TH.26403/2010

发明的概要

发明所要解决的课题

但是，相同的预测方向的运动矢量较少的情况下，用于计算预测运动矢量的运动矢量的数量也变少。这种情况下，妨碍运动矢量的编码效率的提高。

如上所述，在以往的预测运动矢量的计算方法中，图像编码装置在计算编码对象块的第1预测方向的预测运动矢量PMvL0时，仅利用相邻块的第1预测方向的运动矢量。并且，这时图像编码装置不利用相邻块的第2预测方向的运动矢量。

此外，图像编码装置在计算编码对象块的第2预测方向的预测运动矢量PMvL1时，仅利用相邻块的第2预测方向的运动矢量。并且，图像编码装置不利用相邻块的第1预测方向的运动矢量。

即，在以往的预测运动矢量的计算方法中，限定了在计算预测运动矢量时所利用的相邻块的运动矢量。因此，无法导出最佳的运动矢量，妨碍编码效率的提高。

发明内容

在此，本发明的目的在于，提供一种图像编码方法及图像解码方法，能够导出适于提高运动矢量的编码效率的预测运动矢量。

解决课题所采用的手段

为了解决上述课题，本发明的图像编码方法，执行使用第1参照图片列表及第2参照图片列表的一方或双方的预测，按每个块对编码对象图片进行编码，该图像编码方法包括以下步骤：追加步骤，在用于现运动矢量的编码的预测运动矢量的候选列表中，作为所述预测运动矢量的候选而追加第1相邻运动矢量，该现运动矢量是所述编码对象图片中包含的编码对象块的运动矢量，该第1相邻运动矢量是与所述编码对象块相邻的相邻块的运动矢量；选择步骤，从包含所述第1相邻运动矢量的所述候选列表，选择用于所述现运动矢量的编码的所述预测运动矢量；以及编码步骤，使用所选择的所述预测运动矢量，对所述现运动矢量进行编码；在所述追加步骤中，在针对所述现运动矢量的所述候选列表中追加所述第1相邻运动矢量，该现运动矢量指示所述第2参照图片列表中包含的第2参照图片内的位置，该第1相邻运动矢量指示所述第1参照图片列表中包含的第1参照图片内的位置。

由此，在与第2参照图片列表对应的候选列表中，追加与第1参照图片列表对应的相邻运动矢量。因此，增加了预测运动矢量的选择余地。由此，能够导出适于提高现运动矢量的编码效率的预测运动矢量。

此外，也可以是，在所述追加步骤中，进一步在所述候选列表中追加第2相邻运动矢量，该第2相邻运动矢量是所述相邻块的运动矢量，并且指示所述第2参照图片列表中包含的第3参照图片内的位置。

由此，在与第2参照图片列表对应的候选列表中，还追加与第2参照图片列表对应的相邻运动矢量。因此，增加了预测运动矢量的选择余地。由此，能够导出适于提高现运动矢量的编码效率的预测运动矢量。

此外，也可以是，在所述追加步骤中，判定所述第2参照图片和所述第3参照图片是否相同，在判定为所述第2参照图片和所述第3参照图片相同的情况下，在所述候选列表中追加所述第2相邻运动矢量，判定所述第2参照图片和所述第1参照图片是否相同，在判定为所述第2参照图片和所述第1参照图片相同的情况下，在所述候选列表中追加所述第1相邻运动矢量。

由此，仅在与现运动矢量对应的参照图片和与相邻运动矢量对应的参照图片一致的情况下，在候选列表中追加相邻运动矢量。因此，仅在相邻运动矢量适于作为预测运动矢量的候选的情况下，追加到候选列表中。由此，能够导出合适的预测运动矢量。

此外，也可以是，在所述追加步骤中，在没有判定为所述第2参照图片和所述第3参照图片相同的情况下，判定所述第2参照图片和所述第1参照图片是否相同，在没有判定为所述第2参照图片和所述第3参照图片相同、且判定为所述第2参照图片和所述第1参照图片相同的情况下，在所述候选列表中追加所述第1相邻运动矢量。

由此，在现运动矢量与第2参照图片列表对应的情况下，将与第2参照图片列表对应的相邻运动矢量优先地追加到候选列表中。因此，将更适于作为预测运动矢量的候选的相邻运动矢量追加到候选列表中。

此外，也可以是，在所述追加步骤中，通过判定由所述第2参照图片列表及第2参照索引确定的所述第2参照图片的显示顺序和由所述第2参照图片列表及第3参照索引确定的所述第3参照图片的显示顺序是否相同，来判定所述第2参照图片和所述第3参照图片是否相同，通过判定由所述第2参照图片列表及所述第2参照索引确定的所述第2参照图片的显示顺序和由所述第1参照图片列表及第1参照索引确定的所述第1参照图片的显示顺序是否相同，来判定所述第2参照图片和所述第1参照图片是否相同。

由此，基于显示顺序，适当地判定在第1参照图片列表中确定的参照图片和在第2参照图片列表中确定的参照图片是否一致。

此外，也可以是，在所述追加步骤中，在没有判定为所述第2参照图片和所述第3参照图片相同、且没有判定为所述第2参照图片和所述第1参照图片相同的情况下，作为所述预测运动矢量的候选而在所述候选列表中追加大小为0的运动矢量。

由此，抑制了候选数的减少。因此，避免了在候选列表中完全不存在候选的状况。

此外，也可以是，在所述追加步骤中，以多个索引值和所述预测运动矢量的多个候选一对一地对应的方式，在所述候选列表中追加索引值和所述预测运动矢量的候选，在所述选择步骤中，从所述候选列表选择索引值来作为所述预测运动矢量，在所述编码步骤中，进一步以索引值越大则码元越长的方式，对所选择的所述索引值进行编码。

由此，适当地对所选择的预测运动矢量进行编码。因此，在编码侧和解码侧选择了相同的预测运动矢量。

此外，也可以是，在所述追加步骤中，将所述编码对象块的左邻的块、所述编码对象块的上邻的块、及所述编码对象块的右上邻的块分别看做所述相邻块，在所述候选列表中追加所述相邻块的所述第1相邻运动矢量。

由此，将多个相邻运动矢量作为预测运动矢量的多个候选追加到候选列表中。由此，增加了预测运动矢量的选择余地。

此外，也可以是，本发明的图像解码方法，执行使用第1参照图片列表及第2参照图片列表的一方或双方的预测，按每个块对解码对象图片进行解码，该图像解码方法包括以下步骤：追加步骤，在用于现运动矢量的解码的预测运动矢量的候选列表中，作为所述预测运动矢量的候选而追加第1相邻运动矢量，该现运动矢量是所述解码对象图片中包含的解码对象块的运动矢量，该第1相邻运动矢量是与所述解码对象块相邻的相邻块的运动矢量；选择步骤，从包含所述第1相邻运动矢量的所述候选列表，选择用于所述现运动矢量的解码的所述预测运动矢量；以及解码步骤，使用所选择的所述预测运动矢量，对所述现运动矢量进行解码；在所述追加步骤中，在针对指示所述第2参照图片列表中包含的第2参照图片内的位置的所述现运动矢量的所述候选列表中，追加指示所述第1参照图片列表中包含的第1参照图片内的位置的所述第1相邻运动矢量。

由此，在与第2参照图片列表对应的候选列表中追加与第1参照图片列表对应的相邻运动矢量。因此，增加了预测运动矢量的选择余地。由此，能够导出适于提高现运动矢量的编码效率的预测运动矢量。

此外，也可以是，在所述追加步骤中，进一步在所述候选列表中追加第2相邻运动矢量，该第2相邻运动矢量是所述相邻块的运动矢量，并且指示所述第2参照图片列表中包含的第3参照图片内的位置。

由此，在与第2参照图片列表对应的候选列表中还追加与第2参照图片列表对应的相邻运动矢量。因此，增加了预测运动矢量的选择余地。由此，能够导出适于提高现运动矢量的编码效率的预测运动矢量。

此外，也可以是，在所述追加步骤中，判定所述第2参照图片和所述第3参照图片是否相同，在判定为所述第2参照图片和所述第3参照图片相同的情况下，在所述候选列表中追加所述第2相邻运动矢量，判定所述第2参照图片和所述第1参照图片是否相同，在判定为所述第2参照图片和所述第1参照图片相同的情况下，在所述候选列表中追加所述第1相邻运动矢量。

由此，仅在与现运动矢量对应的参照图片和与相邻运动矢量对应的参照图片一致的情况下，在候选列表中追加相邻运动矢量。因此，仅在相邻运动矢量适于作为预测运动矢量的候选的情况下，追加到候选列表中。由此，能够导出合适的预测运动矢量。

此外，也可以是，在所述追加步骤中，在没有判定为所述第2参照图片和所述第3参照图片相同的情况下，判定所述第2参照图片和所述第1参照图片是否相同，在没有判定为所述第2参照图片和所述第3参照图片相同、且判定为所述第2参照图片和所述第1参照图片相同的情况下，在所述候选列表中追加所述第1相邻运动矢量。

由此，在现运动矢量与第2参照图片列表对应的情况下，将与第2参照图片列表对应的相邻运动矢量优先地追加到候选列表中。因此，作为预测运动矢量的候选而将更合适的相邻运动矢量追加到候选列表中。

此外，也可以是，在所述追加步骤中，通过判定由所述第2参照图片列表及第2参照索引确定的所述第2参照图片的显示顺序和由所述第2参照图片列表及第3参照索引确定的所述第3参照图片的显示顺序是否相同，来判定所述第2参照图片和所述第3参照图片是否相同，通过判定由所述第2参照图片列表及所述第2参照索引确定的所述第2参照图片的显示顺序和由所述第1参照图片列表及第1参照索引确定的所述第1参照图片的显示顺序是否相同，来判定所述第2参照图片和所述第1参照图片是否相同。

由此，基于显示顺序，适当地判定在第1参照图片列表中确定的参照图片和在第2参照图片列表中确定的参照图片是否一致。

此外，也可以是，在所述追加步骤中，在没有判定为所述第2参照图片和所述第3参照图片相同、且没有判定为所述第2参照图片和所述第1参照图片相同的情况下，作为所述预测运动矢量的候选而在所述候选列表中追加大小为0的运动矢量。

由此，抑制了候选数的减少。因此，避免了在候选列表中完全不存在候选的状况。

此外，也可以是，在所述追加步骤中，以多个索引值和所述预测运动矢量的多个候选一对一地对应的方式，在所述候选列表中追加索引值和所述预测运动矢量的候选，在所述解码步骤中，进一步对以索引值越大则码元越长的方式编码的索引值进行解码，在所述选择步骤中，从所述候选列表选择与解码的所述索引值对应的所述预测运动矢量。

由此，所选择的预测运动矢量被适当地解码。因此，在编码侧和解码侧选择了相同的预测运动矢量。

此外，也可以是，在所述追加步骤中，将所述解码对象块的左邻的块、所述解码对象块的上邻的块、及所述解码对象块的右上邻的块分别看做所述相邻块，在所述候选列表中追加所述相邻块的所述第1相邻运动矢量。

由此，将多个相邻运动矢量作为预测运动矢量的多个候选而追加到候选列表中。由此，增加了预测运动矢量的选择余地。

此外，也可以是，本发明的图像编码装置，执行使用第1参照图片列表及第2参照图片列表的一方或双方的预测，按每个块对编码对象图片进行编码，该图像编码装置具备：追加部，在用于现运动矢量的编码的预测运动矢量的候选列表中，作为所述预测运动矢量的候选而追加第1相邻运动矢量，该现运动矢量是所述编码对象图片中包含的编码对象块的运动矢量，该第1相邻运动矢量是与所述编码对象块相邻的相邻块的运动矢量；选择部，从包含所述第1相邻运动矢量的所述候选列表，选择用于所述现运动矢量的编码的所述预测运动矢量；以及编码部，使用所选择的所述预测运动矢量，对所述现运动矢量进行编码；所述追加部在针对所述现运动矢量的所述候选列表中追加所述第1相邻运动矢量，该现运动矢量指示所述第2参照图片列表中包含的第2参照图片内的位置，该第1相邻运动矢量指示所述第1参照图片列表中包含的第1参照图片内的位置。

由此，所述图像编码方法作为图像编码装置来实现。

此外，也可以是，本发明的图像解码装置，执行使用第1参照图片列表及第2参照图片列表的一方或双方的预测，按每个块对解码对象图片进行解码，该图像解码装置包括以下部：追加部，在用于现运动矢量的解码的预测运动矢量的候选列表中，作为所述预测运动矢量的候选而追加第1相邻运动矢量，该现运动矢量是所述解码对象图片中包含的解码对象块的运动矢量，该第1相邻运动矢量是与所述解码对象块相邻的相邻块的运动矢量；选择部，从包含所述第1相邻运动矢量的所述候选列表，选择用于所述现运动矢量的解码的所述预测运动矢量；以及解码部，使用所选择的所述预测运动矢量，对所述现运动矢量进行解码；所述追加部在针对所述现运动矢量的所述候选列表中追加所述第1相邻运动矢量，该现运动矢量指示所述第2参照图片列表中包含的第2参照图片内的位置，该第1相邻运动矢量指示所述第1参照图片列表中包含的第1参照图片内的位置。

由此，所述图像解码方法作为图像解码装置来实现。

此外，也可以是，本发明的图像编解码装置，执行使用第1参照图片列表及第2参照图片列表的一方或双方的预测，按每个块对编码对象图片进行编码，按每个块对解码对象图片进行解码，该图像编解码装置具备：追加部，在用于现运动矢量的编码或解码的预测运动矢量的候选列表中，作为所述预测运动矢量的候选而追加第1相邻运动矢量，该现运动矢量是所述编码对象图片或所述解码对象图片中包含的处理对象块的运动矢量，该第1相邻运动矢量是与所述处理对象块相邻的相邻块的运动矢量；选择部，从包含所述第1相邻运动矢量的所述候选列表，选择用于所述现运动矢量的编码或解码的所述预测运动矢量；编码部，使用所选择的所述预测运动矢量对所述现运动矢量进行编码；以及解码部，使用所选择的所述预测运动矢量对所述现运动矢量进行解码；所述追加部在针对所述现运动矢量的所述候选列表中追加所述第1相邻运动矢量，该现运动矢量指示所述第2参照图片列表中包含的第2参照图片内的位置，该第1相邻运动矢量指示所述第1参照图片列表中包含的第1参照图片内的位置。

由此，所述图像编码装置及所述图像解码装置的双方的功能作为图像编解码装置来实现。

发明的效果：

根据本发明，能够导出适于提高运动矢量的编码效率的预测运动矢量。因此，提高了运动矢量的编码效率。

附图说明

图1是实施方式1的图像编码装置的构成图。

图2是表示实施方式1的图像编码装置的动作的流程图。

图3是表示实施方式1的预测方向的决定处理的流程图。

图4是表示实施方式1的候选列表的计算处理的流程图。

图5是表示实施方式1的追加标志的判定处理的流程图。

图6A是表示实施方式1的第1预测方向的候选列表的例子的图。

图6B是表示实施方式1的第2预测方向的候选列表的例子的图。

图7是表示实施方式1的预测运动矢量索引的码元的例子的图。

图8是表示实施方式1的预测运动矢量的选择处理的图。

图9是表示实施方式2的图像解码装置的构成图。

图10是表示实施方式2的图像解码装置的动作的流程图。

图11A是实施方式3的图像编码装置的构成图。

图11B是表示实施方式3的图像编码装置的动作的流程图。

图12A是实施方式4的图像解码装置的构成图。

图12B是表示实施方式4的图像解码装置的动作的流程图。

图13是实施方式5的图像编解码装置的构成图。

图14是实现内容分发服务的内容供给系统的整体结构图。

图15是数字广播用系统的整体结构图。

图16是表示电视机的结构例的框图。

图17是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的框图。

图18是表示作为光盘的记录介质的构造例的图。

图19A是表示便携电话的一例的图。

图19B是表示便携电话的结构例的框图。

图20是表示复用数据的结构的图。

图21是示意地表示各流在复用数据中怎样被复用的图。

图22是更详细地表示在PES包序列中视频流怎样被保存的图。

图23是表示复用数据的TS包和源包的构造的图。

图24是表示PMT的数据结构的图。

图25是表示复用数据信息的内部结构的图。

图26是表示流属性信息的内部结构的图。

图27是表示识别影像数据的步骤的图。

图28是表示实现各实施方式的动态图像编码方法及动态图像解码方法的集成电路的结构例的框图。

图29是表示切换驱动频率的结构的图。

图30是表示识别影像数据、切换驱动频率的步骤的图。

图31是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。

图32A是表示将信号处理部的模块共用的结构的一例的图。

图32B是表示将信号处理部的模块共用的结构的另一例的图。

图33是表示2个参照图片列表的例子的图。

图34是表示编码对象块及3个相邻块的例子的图。

具体实施方式

以下，参照附图说明本发明的实施方式。另外，以下说明的实施方式都表示本发明的优选的一具体例。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置及连接方式、步骤、步骤的顺序等只是一例，不意图限定本发明。本发明仅由权利要求限定。因此，对于以下的实施方式中的构成要素中的、未记载于表示本发明的最上位概念的独立权利要求的构成要素，不是达成本发明的课题所必需的，作为更优选的方式来说明。

此外，在以下的记载中，第1参照图片列表对应于L0预测，第2参照图片列表对应于L1预测。并且，第1参照图片列表对应于第1预测方向，第2参照图片列表对应于第2预测方向。但也可以是，第1参照图片列表对应于L1预测，第2参照图片列表对应于L0预测。同样地，也可以是，第1参照图片列表对应于第2预测方向，第2参照图片列表对应于第1预测方向。

（实施方式1）

图1是表示本实施方式的图像编码装置的构成的框图。

图1所示的图像编码装置100具备：正交变换部102、量化部103、逆量化部105、逆正交变换部106、块存储器108、帧存储器109、帧内预测部110、帧间预测部111、帧间预测控制部114、图片类型决定部113、参照图片列表管理部115、追加判定部116、可变长度编码部104、减法部101、加法部107及开关部112。

正交变换部102对于由后述的单元生成的预测图像数据和输入图像列的预测误差数据，进行从图像区域向频率区域的变换。量化部103对变换为频率区域的预测误差数据进行量化处理。逆量化部105对由量化部103进行了量化处理后的预测误差数据进行逆量化处理。逆正交变换部106对逆量化处理后的预测误差数据进行从频率区域向图像区域的变换。

块存储器108是用于以块为单位保存根据预测图像数据和逆量化处理后的预测误差数据求出的解码图像的存储器。帧存储器109是用于以帧为单位保存解码图像的存储器。

图片类型决定部113决定以I图片、B图片、P图片的哪一个图片类型来对输入图像列进行编码，生成图片类型信息。帧内预测部110使用保存在块存储器108中的以块为单位的解码图像，生成基于编码对象块的帧内预测的预测图像数据。帧间预测部111使用保存在帧存储器109中的帧单位的解码图像，生成基于编码对象块的帧间预测的预测图像数据。

参照图片列表管理部115对帧间预测中参照的已编码的参照图片分配参照图片索引，制作显示顺序等和参照列表。

另外，在本实施方式中，参照图片列表管理部115通过参照图片索引和显示顺序来管理参照图片，但是也可以通过参照图片索引和编码顺序等来管理参照图片。

追加判定部116使用由参照图片列表管理部115制作的第1参照图片列表及第2参照图片列表，判定是否追加预测运动矢量的候选（预测运动矢量候选）。具体地说，在后述的方法中，追加判定部116判定是否在编码对象块中的第2预测方向的候选列表（预测运动矢量候选列表）中追加第1预测方向的预测运动矢量候选。然后，追加判定部116设定追加标志。

帧间预测控制部114以使用多个预测运动矢量候选中的、与通过运动检测导出的运动矢量的误差最小的预测运动矢量候选来进行运动矢量的编码的方式，决定用于编码的预测运动矢量。在此，误差表示预测运动矢量候选和通过运动检测导出的运动矢量的差分值。

此外，帧间预测控制部114按照每个块生成与所决定的预测运动矢量对应的预测运动矢量索引。然后，将预测运动矢量索引、预测运动矢量候选的误差信息、及参照图片索引发送至可变长度编码部104。

可变长度编码部104对量化处理后的预测误差数据、帧间预测方向标志、参照图片索引、及图片类型信息进行可变长度编码处理，从而生成比特流。

图2表示本实施方式的图像编码方法的处理流程的概要。帧间预测控制部114决定以运动矢量检测模式对编码对象块进行编码的情况下的预测方向（S101）。接着，帧间预测控制部114判定运动矢量检测模式的预测方向是否为双方向预测（S102）。

预测方向为双方向预测的情况下（S102：是），帧间预测控制部114通过后述的方法分别计算第1预测方向的预测运动矢量候选列表及第2预测方向的预测运动矢量候选列表（S103、S104）。

接着，追加判定部116判定是否将第1预测方向的预测运动矢量候选追加到第2预测方向的预测运动矢量候选列表中（S105）。判定为追加预测运动矢量候选的情况下（S105：是），帧间预测控制部114将第1预测方向的预测运动矢量候选追加到第2预测方向的预测运动矢量候选列表中（S106）。

接着，帧间预测控制部114从第1预测方向的预测运动矢量候选列表及第2预测方向的预测运动矢量候选列表分别选择第1预测方向的预测运动矢量和第2预测方向的预测运动矢量。然后，可变长度编码部104对与所选择的各预测运动矢量对应的预测运动矢量索引进行编码，并附加在比特流中（S107）。

运动矢量检测模式的预测方向为单方向预测的情况下（S102：否），帧间预测控制部114判定运动矢量检测模式的预测方向是否为第2预测方向（S108）。

预测方向是第2预测方向的情况下（S108：是），帧间预测控制部114计算第2预测方向的预测运动矢量候选（S109）。接着，追加判定部116判定是否将第1预测方向的预测运动矢量候选追加到第2预测方向的预测运动矢量候选列表中（S110）。判定为追加预测运动矢量的情况下（S110：是），帧间预测控制部114将第1预测方向的预测运动矢量候选追加到第2预测方向的预测运动矢量候选列表中（S111）。

接着，帧间预测控制部114从第2预测方向的预测运动矢量候选列表选择第2预测方向的预测运动矢量。然后，可变长度编码部104对与所选择的预测运动矢量对应的预测运动矢量索引进行编码，并附加在比特流中（S112）。

预测方向不是第2预测方向的情况下（S108：否），帧间预测控制部114计算第1预测方向的预测运动矢量候选（S113）。然后，帧间预测控制部114从第1预测方向的预测运动矢量候选列表选择第1预测方向的预测运动矢量。然后，可变长度编码部104对与所选择的预测运动矢量对应的预测运动矢量索引进行编码，并附加在比特流中（S114）。

最后，可变长度编码部104对表示运动矢量检测模式的预测方向的帧间预测方向标志及参照图片索引进行编码，并附加在比特流中（S115）。

接着，使用图3的处理流程来详细说明图2中的运动矢量检测模式的预测方向的决定方法（S101）。帧间预测控制部114对由第1预测方向的参照图片索引确定的参照图片及由第2预测方向的参照图片索引确定的参照图片进行运动检测。然后，帧间预测控制部114生成针对2个参照图片的第1运动矢量及第2运动矢量（S201）。

在此，帧间预测控制部114在运动检测中计算编码图片内的编码对象块与参照图片内的块的差分值。然后，帧间预测控制部114将参照图片内的多个块中的、差分值最小的块决定为参照块。然后，帧间预测控制部114根据编码对象块的位置和参照块的位置求出运动矢量。

接着，帧间预测部111使用所求出的第1运动矢量，生成第1预测方向的预测图像。帧间预测控制部114通过以如下的式4表现的R-D最优化模型，来计算作为通过该预测图像对编码对象块进行编码的情况下的成本的Cost1（S202）。

Cost＝D＋λ×R…（式4）

在式4中，D表示编码失真。具体地说，将使用以某运动矢量生成的预测图像来对编码对象块进行编码及解码而得到的像素值与编码对象块的原来的像素值之间的差分绝对值和等作为D来使用。此外，R表示发生码元量。具体地说，将对用于预测图像生成的运动矢量进行编码所需的码元量等作为R来使用。此外，λ是拉格朗日的不定乘数。

接着，帧间预测部111使用所求出的第2运动矢量，生成第2预测方向的预测图像。然后，帧间预测控制部114通过式4来计算Cost2（S203）。

接着，帧间预测部111使用所求出的第1运动矢量和第2运动矢量，生成双方向的预测图像。在此，帧间预测部111例如对根据第1运动矢量求出的预测图像和根据第2运动矢量求出的预测图像，按照每个像素进行加法平均，由此生成双方向预测图像。然后，帧间预测控制部114通过式4来计算CostBi（S204）。

接着，帧间预测控制部114对Cost1、Cost2及CostBi进行比较（S205）。在CostBi最小的情况下（S205：是），帧间预测控制部114将运动矢量检测模式的预测方向决定为双方向预测（S206）。在CostBi不是最小的情况下（S205：否），帧间预测控制部114对Cost1和Cost2进行比较（S207）。

在Cost1最小的情况下（S207：是），帧间预测控制部114将运动矢量检测模式决定为第1预测方向的单方向预测（S208）。在Cost1不是最小的情况下（S207：否），帧间预测控制部114将运动矢量检测模式决定为第2预测方向的单方向预测（S209）。

另外，在本实施方式中，帧间预测部111在双方向的预测图像生成时进行每个像素的加法平均，但是也可以进行带权重的加法平均等。

接着，使用图4的流程图说明图2中的预测运动矢量候选列表的计算方法（S103、S104、S109、S113）。帧间预测控制部114决定在编码对象块的左边相邻的相邻块A、在上方相邻的相邻块B、在右上方相邻的相邻块C（S301）。

例如，帧间预测控制部114将位于编码对象块的最左上的位置的像素的左邻的像素所属的块决定为相邻块A。并且，帧间预测控制部114将位于编码对象块的最左上的位置的像素的上邻的像素所属的块决定为相邻块B。并且，帧间预测控制部114将在位于编码对象块的最右上的位置的像素的右上方相邻的像素所属的块决定为相邻块C。

接着，帧间预测控制部114对于相邻块A、B、C分别判定是否满足2个条件的双方（S302）。这2个条件中的1个为，相邻块N（N为A、B、C的某一个）具有与对应于编码对象块的运动矢量的预测方向相同的预测方向的运动矢量。另一个1为，相邻块N的参照图片与编码对象块的参照图片相同。

相邻块N满足2个条件的情况下（S302：是），帧间预测控制部114将相邻块N的相邻运动矢量追加到预测运动矢量候选列表中（S303）。此外，帧间预测控制部114计算多个相邻块的多个运动矢量的中间值（中央值），并追加到预测运动矢量候选列表中（S304）。

另外，在上述处理中，帧间预测控制部114将具有与对应于编码对象块的运动矢量的预测方向相同的预测方向的相邻块的运动矢量追加到预测运动矢量候选列表中。然后，帧间预测控制部114不追加具有不同的预测方向的相邻块的运动矢量。但是，帧间预测控制部114也可以将具有不同的预测方向的相邻块的运动矢量作为0而追加到预测运动矢量候选列表中。

接着，说明图2中的追加标志的决定方法（S105、S110）。

存在相邻块的第1预测方向的参照图片索引所示的参照图片和编码对象块的第2预测方向的参照图片索引所示的参照图片相同的情况。一般来说，这种情况下，相邻块的第1预测方向的运动矢量和编码对象块的第2预测方向的运动矢量有比较接近的趋势。

因此，这种情况下，帧间预测控制部114将相邻块的第1预测方向的运动矢量追加到编码对象块的第2预测方向的预测运动矢量候选中。即，将编码对象块的第1预测方向的预测运动矢量候选追加到第2预测方向的预测运动矢量候选中。

这样，图像编码装置100在编码对象块的第2预测方向的运动矢量候选中，不仅追加相邻块的第2预测方向的运动矢量，还追加第1预测方向的运动矢量，由此，能够更高效地进行编码。

另外，在本实施方式中，帧间预测控制部114将编码对象块的第1预测方向的预测运动矢量候选追加到第2预测方向的预测运动矢量候选中，但不限于此。

例如，存在相邻块的第2预测方向的参照图片和编码对象块的第1预测方向的参照图片相同的情况。这种情况下，帧间预测控制部114也可以将相邻块的第2预测方向的运动矢量追加到编码对象块的第1预测方向的预测运动矢量候选中。

即，帧间预测控制部114也可以将编码对象块的第2预测方向的预测运动矢量候选追加到第1预测方向的预测运动矢量候选中。通过该构成，图像编码装置100也能够对运动矢量更高效地进行编码。

此外，可变长度编码部104也可以对上述的追加标志进行编码，并追加到比特流中。由此，在解码侧，能够基于追加标志来判断是否应该追加第1预测方向的预测运动矢量候选。因此，能够削减解码时的处理量。

此外，也可以是，可变长度编码部104以块为单位来附加追加标志。由此，能够进行灵活的切换。此外，也可以是，可变长度编码部104以图片为单位来附加追加标志。由此，能够兼得编码效率的提高和解码侧的处理量的削减。

以下，使用图5来详细说明追加标志的决定方法。

追加判定部116取得编码对象块的第2预测方向的参照图片索引（S401）。此外，帧间预测控制部114取得相邻块A、B、C的第1预测方向的参照图片索引（S402）。

接着，追加判定部116判定编码对象块的第2预测方向的参照图片索引的值所示的参照图片和相邻块的第1预测方向的参照图片索引的值所示的参照图片是否相同（S403）。这时，追加判定部116使用第2参照图片列表及第1参照图片列表进行判定。

例如，追加判定部116根据第2参照图片列表求出编码对象块的第2预测方向的参照图片索引所示的参照图片的显示顺序。此外，追加判定部116根据第1参照图片列表求出相邻块的第1预测方向的参照图片索引所示的参照图片的显示顺序。追加判定部116比较这2个显示顺序，如果它们相同，则判定为这2个参照图片相同。

编码对象块的第2预测方向的参照图片和相邻块的第1预测方向的参照图片相同的情况下（S403：是），追加判定部116将追加标志设定为有效（S404）。编码对象块的第2预测方向和参照图片和相邻块的第1预测方向的参照图片不相同的情况下（S403：否），追加判定部116将追加标志设定为无效（S405）。

另外，在本实施方式中，追加判定部116使用显示顺序来判定2个参照图片是否相同。但是，追加判定部116也可以使用编码顺序等来判定2个参照图片是否相同。此外，追加判定部116仅在图4的判定结果为“假”的情况下（S302：否），进行图5的处理。

在图4的判定结果为“真”的情况下（S302：是），帧间预测控制部114作为编码对象块的第2预测方向的预测运动矢量候选而追加相邻块的第2预测方向的运动矢量。这种情况下，如果作为编码对象块的第2预测方向的预测运动矢量候选而再次追加相邻块的第1预测方向的运动矢量，则成为冗余。

因此，也可以仅在图4的判定结果为“假”的情况下（S302：否），追加判定部116进行图5的处理。由此，仅在相邻块的第2预测方向的运动矢量未成为编码对象块的第2预测方向的预测运动矢量候选的情况下，帧间预测控制部114作为编码对象块的第2预测方向的预测运动矢量的候选而追加相邻块的第1预测方向的运动矢量。由此，能够提高编码效率。

接着，如图34所示，使用图6A、图6B来说明编码对象块具有第1预测方向的运动矢量MvL0及第2预测方向的运动矢量MvL1的情况下，通过图2的处理（S103～S106）生成的预测运动矢量候选列表的例子。

在以后的说明中，在图34中假定如下的关系。即，编码对象块的第1预测方向的参照图片和相邻块A、B、C的第1预测方向的参照图片相同。此外，编码对象块的第2预测方向的参照图片、相邻块A、C的第2预测方向的参照图片、相邻块B的第1预测方向的参照图片为同一图片。

在图6A的第1预测方向的预测运动矢量候选列表中，对应于Median（MvL0_A、MvL0_B、MvL0_C）的预测运动矢量索引为0。对应于运动矢量MvL0_A的预测运动矢量索引为1。对应于运动矢量MvL0_B的预测运动矢量索引为2。对应于运动矢量MvL0_C的预测运动矢量索引为3。

此外，在图6B的第2预测方向的预测运动矢量候选列表中，对应于Median（MvL1_A、MvL0_B、MvL1_C）的预测运动矢量索引为0。对应于运动矢量MvL1_A的预测运动矢量索引为1。对应于运动矢量MvL0_B的预测运动矢量索引为2。对应于运动矢量MvL1_C的预测运动矢量索引为3。

在此，不存在相邻块B的第2预测方向的运动矢量MvL1_B的情况下，帧间预测控制部114将第1预测方向的运动矢量MvL0_B追加到第2预测方向的预测运动矢量候选列表中。这样，在相邻块中不存在第2预测方向的运动矢量、而在相邻块中存在第1预测方向的运动矢量的情况下，帧间预测控制部114将相邻块的第1预测方向的运动矢量追加到第2预测方向的预测运动矢量候选列表中。

由此，提高了编码效率。另外，在第2预测方向的预测运动矢量候选列表中不存在相邻块的运动矢量的情况下，帧间预测控制部114不分配预测运动矢量索引。由此，提高了编码效率。此外，预测运动矢量索引的分配方法不限于该例。不存在运动矢量的情况下，帧间预测控制部114也可以将大小为0的运动矢量追加到候选列表中，并分配预测运动矢量索引。

图7表示对预测运动矢量索引进行可变长度编码时使用的码元表的例子。预测运动矢量索引越小则码元越短。帧间预测控制部114对被推测为预测精度较高的候选分配较小的预测运动矢量索引。由此，提高了编码效率。

另外，在图6B的第2预测方向的预测运动矢量候选列表的例子中，对相邻块B的第1预测方向的运动矢量MvL0_B分配值为2的预测运动矢量索引。但是，也可以对同一预测方向的候选优选分配较小的预测运动矢量索引。

具体地说，帧间预测控制部114在第2预测方向的预测运动矢量候选列表中，对与Median（MvL1_A、MvL0_B、MvL1_C）对应的预测运动矢量索引分配0。

然后，帧间预测控制部114对与运动矢量MvL1_A对应的预测运动矢量索引分配1。此外，帧间预测控制部114对与运动矢量MvL1_C对应的预测运动矢量索引分配2。此外，帧间预测控制部114对与运动矢量MvL0_B对应的预测运动矢量索引分配3。

由此，使同一预测方向优先，对被推测为预测精度较高的预测运动矢量候选分配较小的预测运动矢量索引。

接着，使用图8的流程图详细说明图2中的预测运动矢量选择方法（S107、S112、S114）。帧间预测控制部114作为初始化而对计数器值设定0，对最小差分运动矢量设定值的最大值等（S501）。

接着，帧间预测控制部114判定是否计算了全部预测运动矢量候选的差分运动矢量（S502）。仍然剩余预测运动矢量候选的情况下（S502：是），帧间预测控制部114从运动检测结果矢量减去预测运动矢量候选，从而计算差分运动矢量（S503）。

接着，帧间预测控制部114判定所求出的差分运动矢量是否小于最小差分运动矢量（S504）。差分运动矢量小于最小差分运动矢量的情况下（S504：是），帧间预测控制部114更新最小差分运动矢量及预测运动矢量索引（S505）。

接着，帧间预测控制部114对计数器值追加1（S506）。并且，帧间预测控制部114再次判定是否存在下一预测运动矢量候选（S502）。判断为对全部预测运动矢量候选计算了差分运动矢量的情况下（S502：否），帧间预测控制部114将最终决定的最小差分运动矢量及预测运动矢量索引发送至可变长度编码部104，并进行编码（S507）。

这样，根据本实施方式，帧间预测控制部114作为预测运动矢量的候选而选择相邻块的运动矢量时，使用新的选择基准。由此，帧间预测控制部114导出最适于编码对象图片的运动矢量的编码的预测运动矢量。因此，提高了编码效率。

特别地，存在编码对象块的第2预测方向的参照图片索引所示的参照图片和相邻块的第1预测方向的参照图片索引所示的参照图片相同的情况。这种情况下，帧间预测控制部114作为编码对象块的第2预测方向的预测运动矢量的候选而追加相邻块的第1预测方向的运动矢量。由此。能够高效地进行编码。

另外，在本实施方式中，帧间预测控制部114在编码对象块的第2预测方向的预测运动矢量候选列表中追加相邻块的第1预测方向的运动矢量。但也可以是，帧间预测控制部114在编码对象块的第1预测方向的预测运动矢量候选列表中追加相邻块的第2预测方向的运动矢量。

（实施方式2）

图9是表示本实施方式的图像解码装置的构成的框图。

图9所示的图像解码装置200具备：可变长度解码部204、逆量化部205、逆正交变换部206、加法部207、块存储器208、帧存储器209、帧内预测部210、帧间预测部211、开关部212、帧间预测控制部214、参照图片列表管理部215及追加判定部216。

可变长度解码部204对输入的比特流进行可变长度解码处理。然后，可变长度解码部204生成图片类型、参照图片索引、帧间预测方向信息、预测运动矢量索引、及量化系数。逆量化部205对量化系数进行逆量化处理。逆正交变换部206将进行了逆量化处理后的正交变换系数从频率区域变换为图像区域，生成预测误差图像数据。

块存储器208是以块为单位保存将预测误差图像数据和预测图像数据相加而生成的图像列的存储器。帧存储器209是以帧为单位保存图像列的存储器。

帧内预测部210使用保存在块存储器208中的块单位的图像列来执行帧内预测，从而生成解码对象块的预测图像数据。

帧间预测部211使用保存在帧存储器209中的帧单位的图像列来执行帧间预测，从而生成解码对象块的预测图像数据。帧间预测控制部214根据图片类型、参照图片索引、帧间预测方向信息及预测运动矢量索引，来控制帧间预测中的运动矢量和预测图像数据生成方法。

参照图片列表管理部215对帧间预测中参照的已解码的参照图片分配参照图片索引，制作显示顺序等和参照列表（与图33同样）。B图片参照2个图片而被解码。因此，参照图片列表管理部215保持2个参照列表。

另外，本实施方式的参照图片列表管理部215通过参照图片索引和显示顺序来管理参照图片。但是，参照图片列表管理部215也可以通过参照图片索引和编码顺序（解码顺序）等来管理参照图片。

追加判定部216使用由参照图片列表管理部215制作的第1参照图片列表及第2参照图片列表，判定是否在解码对象块中的第2预测方向的预测运动矢量候选列表中追加第1预测方向的预测运动矢量候选。然后，追加判定部216设定追加标志。另外，追加标志的决定流程与实施方式1的图5同样，所以省略说明。

最后，加法部207将解码的预测误差图像数据和预测图像数据相加，从而生成解码图像列。

图10表示本实施方式的图像解码方法的处理流程的概要。首先，帧间预测控制部214判定解码的预测方向是否为双方向（S601）。

解码的预测方向是双方向的情况下（S601：是），帧间预测控制部214计算第1预测方向及第2预测方向的预测运动矢量候选列表（S602、S603）。另外，在预测运动矢量候选列表的计算方法中，使用实施方式1的图4等。帧间预测控制部214从比特流将第1预测方向及第2预测方向的参照图片索引解码。追加判定部216判定是否将第1预测方向的预测运动矢量候选追加到第2预测方向的预测运动矢量候选列表中（S604）。

追加标志为有效的情况下（S604：是），帧间预测控制部214将第1预测方向的预测运动矢量候选追加到第2预测方向的预测运动矢量候选列表中（S605）。另外，表示是否追加第1预测方向的预测运动矢量候选的追加标志与实施方式1的图5等同样地设定。

帧间预测控制部214从第1预测方向及第2预测方向的预测运动矢量候选列表选择表示从比特流解码的第1预测方向及第2预测方向的预测运动矢量索引的预测运动矢量。然后，帧间预测控制部214将第1预测方向及第2预测方向的预测运动矢量和从比特流解码的第1预测方向及第2预测方向的差分运动矢量相加。

由此，帧间预测控制部214将第1预测方向及第2预测方向的运动矢量解码（S606）。

预测方向不是双方向的情况下（S601：否），即帧间预测方向为单方向的情况下，帧间预测控制部214判定预测方向是否为第2预测方向（S607）。

预测方向是第2预测方向的情况下（S607：是），帧间预测控制部214计算第2预测方向的预测运动矢量候选（S608）。追加判定部216判定是否将第1预测方向的预测运动矢量候选追加到第2预测方向的预测运动矢量候选列表中（S609）。

追加标志为有效的情况下（S609：是），帧间预测控制部214将第1预测方向的预测运动矢量候选追加到第2预测方向的预测运动矢量候选列表中（S610）。

帧间预测控制部214从第2预测方向的预测运动矢量候选列表选择表示从比特流解码的第2预测方向的预测运动矢量索引的预测运动矢量。帧间预测控制部214将选择的预测运动矢量和从比特流解码的第2预测方向的差分运动矢量相加，从而将第2预测方向的运动矢量解码（S611）。

预测方向不是第2预测方向的情况下（S607：否），即预测方向是第1预测方向的情况下，帧间预测控制部214计算第1预测方向的预测运动矢量候选（S612）。

帧间预测控制部214从第1预测方向的预测运动矢量候选列表选择表示从比特流解码的第1预测方向的预测运动矢量索引的预测运动矢量。然后，帧间预测控制部214将所选择的预测运动矢量和从比特流解码的第1预测方向的差分运动矢量相加，从而将第1预测方向的运动矢量解码（S613）。

这样，根据本实施方式，帧间预测控制部214作为预测运动矢量的候选而选择相邻块的运动矢量时，使用新的选择基准。由此，导出了最适于运动矢量的解码的预测运动矢量。并且，提高了编码效率。

特别地，存在解码对象块的第2预测方向的参照图片索引所示的参照图片和相邻块的第1预测方向的参照图片索引所示的参照图片相同的情况。这种情况下，帧间预测控制部214作为解码对象块的第2预测方向的预测运动矢量候选而追加相邻块的第1预测方向的运动矢量。由此，提高了编码效率。

另外，本实施方式的帧间预测控制部214在解码对象块的第2预测方向的预测运动矢量候选列表中追加相邻块的第1预测方向的运动矢量。但是，帧间预测控制部214也可以在解码对象块的第1预测方向的预测运动矢量候选列表中追加相邻块的第2预测方向的运动矢量。

（实施方式3）

本实施方式补充地表示具备实施方式1的图像编码装置100的特征性构成要素的图像编码装置。

图11A是本实施方式的图像编码装置的构成图。图11A所示的图像编码装置300具备追加部301、选择部302及编码部303。追加部301主要对应于实施方式1的追加判定部116。选择部302主要对应于实施方式1的帧间预测控制部114。编码部303主要对应于实施方式1的可变长度编码部104。

并且，图像编码装置300按每个块对编码对象图片进行编码。这时，图像编码装置300执行使用第1参照图片列表及第2参照图片列表的一方或双方的预测。即，图像编码装置300执行使用第1参照图片列表所示的参照图片及第2参照图片列表所示的参照图片的一方或双方的预测。

图11B是表示图11A所示的图像编码装置300的动作的流程图。首先，追加部301在用于现运动矢量的编码的预测运动矢量的候选列表中，作为预测运动矢量的候选而追加第1相邻运动矢量（S701）。

第1相邻运动矢量是与编码对象图片中包含的编码对象块相邻的相邻块的运动矢量。此外，第1相邻运动矢量指示第1参照图片列表中包含的第1参照图片内的位置。现运动矢量是编码对象块的运动矢量。此外，现运动矢量指示第2参照图片列表中包含的第2参照图片内的位置。

接着，选择部302从包括第1相邻运动矢量的候选列表选择用于现运动矢量的编码的预测运动矢量（S702）。接着，编码部303使用所选择的预测运动矢量来对现运动矢量进行编码（S703）。

由此，在与第2参照图片列表对应的候选列表中追加与第1参照图片列表对应的相邻运动矢量。因此，增加了预测运动矢量的选择余地。由此，能够导出适于提高现运动矢量的编码效率的预测运动矢量。

此外，也可以是，追加部301还在候选列表中追加第2相邻运动矢量。第2相邻运动矢量是相邻块的运动矢量，是指示第2参照图片列表中包含的第3参照图片内的位置的运动矢量。

由此，在与第2参照图片列表对应的候选列表中还追加与第2参照图片列表对应的相邻运动矢量。因此，增加了预测运动矢量的选择余地。由此，能够导出适于提高现运动矢量的编码效率的预测运动矢量。

此外，也可以是，追加部301判定第2参照图片和第3参照图片是否相同。并且，也可以是，在判定为第2参照图片和第3参照图片相同的情况下，追加部301在候选列表中追加第2相邻运动矢量。此外，也可以是，追加部301判定第2参照图片和第1参照图片是否相同。并且，也可以是，在判定为第2参照图片和第1参照图片相同的情况下，追加部301在候选列表中追加第1相邻运动矢量。

由此，仅在与现运动矢量对应的参照图片和与相邻运动矢量对应的参照图片一致的情况下，在候选列表中追加相邻运动矢量。因此，仅在相邻运动矢量适于作为预测运动矢量的候选的情况下，追加到候选列表中。由此，能够导出合适的预测运动矢量。

此外，也可以是，追加部301在判定为第2参照图片和第3参照图片不相同的情况下，判定第2参照图片和第1参照图片是否相同。并且，也可以是，追加部301在判定为第2参照图片和第3参照图片不相同、且判定为第2参照图片和第1参照图片相同的情况下，在候选列表中追加第1相邻运动矢量。

由此，在现运动矢量与第2参照图片列表对应的情况下，将与第2参照图片列表对应的相邻运动矢量优先地追加到候选列表。因此，将更适于作为预测运动矢量的候选的相邻运动矢量追加到候选列表中。

此外，也可以是，追加部301通过判定第2参照图片的显示顺序和第3参照图片的显示顺序是否相同，来判定第2参照图片和第3参照图片是否相同。此外，也可以是，通过判定第2参照图片的显示顺序和第1参照图片的显示顺序是否相同，来判定第2参照图片和第1参照图片是否相同。

在此，第1参照图片由第1参照图片列表及第1参照索引确定。此外，第2参照图片由第2参照图片列表及第2参照索引确定。此外，第3参照图片由第2参照图片列表及第3参照索引确定。

由此，基于显示顺序，适当地判定在第1参照图片列表中确定的参照图片和在第2参照图片列表中确定的参照图片是否一致。

此外，也可以是，追加部301在判定为第2参照图片和第3参照图片不相同、且判定为第2参照图片和第1参照图片不相同的情况下，在候选列表中追加0。即，这种情况下，追加部301在候选列表中作为预测运动矢量的候选而追加大小为0的运动矢量。

由此，抑制了候选数的减少。因此，避免了在候选列表中完全不存在候选的状况。

此外，也可以是，追加部301以多个索引值和预测运动矢量的多个候选一对一地对应的方式，在候选列表中追加索引值和预测运动矢量的候选。并且，也可以是，选择部302从候选列表选择索引值来作为预测运动矢量。也可以是，编码部303还以索引值越大则码元越长的方式，对所选择的索引值进行编码。

由此，选择的预测运动矢量被适当地编码。因此，在编码侧和解码侧选择了相同的预测运动矢量。

此外，也可以是，追加部301将编码对象块的左邻的块、编码对象块的上邻的块、及编码对象块的右上邻的块分别看做相邻块，而在候选列表中追加相邻块的第1相邻运动矢量。

由此，将多个相邻运动矢量作为预测运动矢量的多个候选而追加到候选列表中。由此，增加了预测运动矢量的选择余地。

（实施方式4）

本实施方式补充地表示具备实施方式2的图像解码装置200的特征性构成要素的图像解码装置。

图12A是本实施方式的图像解码装置的构成图。图12A所示的图像解码装置400具备追加部401、选择部402及解码部403。追加部401主要对应于实施方式2的追加判定部216。选择部402主要对应于实施方式2的帧间预测控制部214。解码部403主要对应于实施方式2的可变长度解码部204及帧间预测控制部214。

并且，图像解码装置400按每个块对解码对象图片进行解码。这时，图像解码装置400执行使用第1参照图片列表及第2参照图片列表的一方或双方的预测。即，图像解码装置400执行使用第1参照图片列表所示的参照图片及第2参照图片列表所示的参照图片的一方或双方的预测。

图12B是表示图12A所示的图像解码装置400的动作的流程图。首先，追加部401在用于现运动矢量的解码的预测运动矢量的候选列表中作为预测运动矢量的候选而追加第1相邻运动矢量（S801）。

第1相邻运动矢量是与解码对象图片中包含的解码对象块相邻的相邻块的运动矢量。此外，第1相邻运动矢量指示第1参照图片列表中包含的第1参照图片内的位置。现运动矢量是解码对象块的运动矢量。此外，现运动矢量指示第2参照图片列表中包含的第2参照图片内的位置。

接着，选择部402从包括第1相邻运动矢量的候选列表选择用于现运动矢量的解码的预测运动矢量（S802）。接着，解码部403使用所选择的预测运动矢量对现运动矢量进行解码（S803）。

由此，在与第2参照图片列表对应的候选列表中追加与第1参照图片列表对应的相邻运动矢量。因此，增加了预测运动矢量的选择余地。由此，能够导出最适于现运动矢量的编码效率的提高的预测运动矢量。

此外，也可以是，追加部401还在候选列表中追加第2相邻运动矢量。第2相邻运动矢量是相邻块的运动矢量，是指示第2参照图片列表中包含的第3参照图片内的位置的运动矢量。

由此，在与第2参照图片列表对应的候选列表中还追加与第2参照图片列表对应的相邻运动矢量。因此，增加了预测运动矢量的选择余地。由此，能够导出最适于现运动矢量的编码效率的提高的预测运动矢量。

此外，也可以是，追加部401判定第2参照图片和第3参照图片是否相同。并且，也可以是，追加部401在判定为第2参照图片和第3参照图片相同的情况下，在候选列表中追加第2相邻运动矢量。此外，也可以是，追加部401判定第2参照图片和第1参照图片是否相同。并且，也可以是，追加部401在判定为第2参照图片和第1参照图片相同的情况下，在候选列表中追加第1相邻运动矢量。

由此，仅在与现运动矢量对应的参照图片和与相邻运动矢量对应的参照图片一致的情况下，在候选列表中追加相邻运动矢量。因此，仅在相邻运动矢量适于作为预测运动矢量的候选的情况下，追加到候选列表中。由此，能够导出合适的预测运动矢量。

此外，也可以是，追加部401在判定为第2参照图片和第3参照图片不相同的情况下，判定第2参照图片和第1参照图片是否相同。并且，也可以是，追加部401在判定为第2参照图片和第3参照图片不相同、且判定为第2参照图片和第1参照图片相同的情况下，在候选列表中追加第1相邻运动矢量。

由此，在现运动矢量与第2参照图片列表对应的情况下，将与第2参照图片列表对应的相邻运动矢量优先地追加到候选列表中。因此，将更适于作为预测运动矢量的候选的相邻运动矢量追加到候选列表中。

此外，也可以是，追加部401通过判定第2参照图片的显示顺序和第3参照图片的显示顺序是否相同，来判定第2参照图片和第3参照图片是否相同。此外，也可以是，通过判定第2参照图片的显示顺序和第1参照图片的显示顺序是否相同，来判定第2参照图片和第1参照图片是否相同。

在此，第1参照图片由第1参照图片列表及第1参照索引确定。此外，第2参照图片由第2参照图片列表及第2参照索引确定。此外，第3参照图片由第2参照图片列表及第3参照索引确定。

由此，基于显示顺序，适当地判定在第1参照图片列表中确定的参照图片和在第2参照图片列表中确定的参照图片是否一致。

此外，也可以是，追加部401在判定为第2参照图片和第3参照图片不相同、且判定为第2参照图片和第1参照图片不相同的情况下，在候选列表中追加0。即，这种情况下，追加部401在候选列表中作为预测运动矢量的候选而追加大小为0的运动矢量。

由此，抑制了候选数的减少。因此，避免了在候选列表中完全不存在候选的状况。

此外，也可以是，追加部401以多个索引值和预测运动矢量的多个候选一对一地对应的方式，在候选列表中追加索引值和预测运动矢量的候选。并且，也可以是，解码部403还以索引值越大则码元越长的方式对编码的索引值进行解码。选择部402也可以从候选列表选择与解码的索引值对应的预测运动矢量。

由此，所选择的预测运动矢量被适当地解码。因此，在编码侧和解码侧选择了相同的预测运动矢量。

此外，也可以是，追加部401将解码对象块的左邻的块、解码对象块的上邻的块、及解码对象块的右上邻的块分别看做相邻块，在候选列表中追加相邻块的第1相邻运动矢量。

由此，将多个相邻运动矢量作为预测运动矢量的多个候选追加到候选列表中。由此，增加了预测运动矢量的选择余地。

（实施方式5）

本实施方式补充地表示具备实施方式1的图像编码装置100及实施方式2的图像解码装置200的特征性构成要素的图像编解码装置。

图13是本实施方式的图像编解码装置的构成图。图13所示的图像编解码装置500具备追加部501、选择部502、编码部503及解码部504。

追加部501主要对应于实施方式1的追加判定部116及实施方式2的追加判定部216。选择部402主要对应于实施方式1的帧间预测控制部114及实施方式2的帧间预测控制部214。编码部503主要对应于实施方式1的可变长度编码部104。解码部504主要对应于实施方式2的可变长度解码部204及帧间预测控制部214。

并且，图像编解码装置500按每个块对编码对象图片进行编码，按每个块对解码对象图片进行解码。这时，图像编解码装置500执行使用第1参照图片列表及第2参照图片列表的一方或双方的预测。即，图像编解码装置500执行使用第1参照图片列表所示的参照图片及第2参照图片列表所示的参照图片的一方或双方的预测。

追加部501在用于现运动矢量的编码或解码的预测运动矢量的候选列表中作为预测运动矢量的候选而追加第1相邻运动矢量。

第1相邻运动矢量是与编码对象图片或解码对象图片中包含的处理对象块相邻的相邻块的运动矢量。此外，第1相邻运动矢量指示第1参照图片列表中包含的第1参照图片内的位置。现运动矢量是处理对象块的运动矢量。此外，现运动矢量指示第2参照图片列表中包含的第2参照图片内的位置。

选择部502从包括第1相邻运动矢量的候选列表选择用于现运动矢量的编码或解码的预测运动矢量。编码部503使用所选择的预测运动矢量，对现运动矢量进行编码。解码部504使用所选择的预测运动矢量，对现运动矢量进行解码。

由此，作为图像编解码装置而实现了图像编码装置及图像解码装置的双方的功能。

以上，基于多个实施方式说明了本发明的图像编码装置及图像解码装置，但本发明不限于此。对于这些实施方式施以本领域技术人员能够想到的变形而得到的方式、以及将这些实施方式中的构成要素任意组合而实现的其他方式也包含在本发明中。

例如，也可以由其他处理部来执行由特定的处理部执行的处理。此外，也可以变更执行处理的顺序，或并行地执行多个处理。

此外，本发明不仅能够作为图像编码装置及图像解码装置来实现，也能够作为将以构成图像编码装置及图像解码装置的处理单元为步骤的方法来实现。例如，这些步骤由计算机执行。并且，本发明能够作为用于使计算机执行这些方法中包含的步骤的程序来实现。此外，本发明能够作为记录有该程序的CD－ROM等计算机可读取的记录介质来实现。

此外，图像编码装置及图像解码装置通过将其中包含的构成要素组合而作为图像编解码装置来实现。

此外，图像编码装置及图像解码装置中包含的多个构成要素可以作为集成电路、即LSI（Large Scale Integration）来实现。这些构成要素可以单独地1芯片化，也可以包含一部分或全部地1芯片化。例如，可以将存储器以外的构成要素1芯片化。在此采用了LSI，但是根据集成度的不同，有时也称为IC（Integrated Circuit）、系统LSI、超级LSI或特级LSI。

此外，集成电路化的手法不限于LSI，也可以通过专用电路或通用处理器来实现。也可以利用可编程的FPGA（Field Programmable Gate Array）或能够将LSI内部的电路单元的连接及设定重构的可重构处理器。

进而，通过半导体技术的进步或派生的其他技术，如果出现了取代LSI的集成电路化的技术，当然可以使用该技术来进行图像编码装置及图像解码装置中包含的构成要素的集成电路化。

（实施方式6）

通过将用来实现上述各实施方式所示的动态图像编码方法或动态图像解码方法的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。

进而，这里说明在上述各实施方式中示出的动态图像编码方法（图像编码方法）及动态图像解码方法（图像解码方法）的应用例和使用它的系统。该系统的特征在于，具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编码解码装置。关于系统的其他结构，可以根据情况而适当变更。

图14是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。

该内容供给系统ex100在因特网ex101上经由因特网服务提供商ex102及电话网ex104、及基站ex106～ex110连接着计算机ex111、PDA（Personal Digital Assistant）ex112、照相机ex113、便携电话ex114、游戏机ex115等的各设备。

但是，内容供给系统ex100并不限定于图14那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站ex106～ex110将各设备直接连接在电话网ex104上。此外，也可以将各设备经由近距离无线等直接相互连接。

照相机ex113是能够进行数字摄像机等的动态图像摄影的设备，照相机ex116是能够进行数字照相机等的静止图像摄影、动态图像摄影的设备。此外，便携电话ex114是GSM（Global System for Mobile Communications）方式、CDMA（Code Division MultipleAccess）方式、W－CDMA（Wideband－Code Division Multiple Access）方式、或LTE（LongTerm Evolution）方式、HSPA（High Speed Packet Access）的便携电话机、或PHS（PersonalHandyphone System）等，是哪种都可以。

在内容供给系统ex100中，通过将照相机ex113等经由基站ex109、电话网ex104连接在流媒体服务器ex103上，能够进行现场分发等。在现场分发中，对用户使用照相机ex113摄影的内容（例如音乐会现场的影像等）如在上述各实施方式中说明那样进行编码处理（即，作为本发明的一个方式的图像编码装置发挥作用），向流媒体服务器ex103发送。另一方面，流媒体服务器ex103将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机ex111、PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现（即，作为本发明的一个方式的图像解码装置发挥作用）。

另外，摄影的数据的编码处理既可以由照相机ex113进行，也可以由进行数据的发送处理的流媒体服务器ex103进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器ex103进行，也可以相互分担进行。此外，并不限于照相机ex113，也可以将由照相机ex116摄影的静止图像及/或动态图像数据经由计算机ex111向流媒体服务器ex103发送。此情况下的编码处理由照相机ex116、计算机ex111、流媒体服务器ex103的哪个进行都可以，也可以相互分担进行。

此外，这些编码解码处理一般在计算机ex111或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将动态图像编码解码用的软件装入到能够由计算机ex111等读取的某些记录介质（CD－ROM、软盘、硬盘等）中、使用该软件进行编码解码处理。进而，在便携电话ex114是带有照相机的情况下，也可以将由该照相机取得的动态图像数据发送。此时的动态图像数据是由便携电话ex114具有的LSIex500编码处理的数据。

此外，也可以是，流媒体服务器ex103是多个服务器或多个计算机，是将数据分散处理、记录、及分发的。

如以上这样，在内容供给系统ex100中，客户端能够接收编码的数据而再现。这样，在内容供给系统ex100中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。

另外，并不限定于内容供给系统ex100的例子，如图15所示，在数字广播用系统ex200中也能够装入上述实施方式的至少动态图像编码装置（图像编码装置）或动态图像解码装置（图像解码装置）的某个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的动态图像编码方法编码后的数据（即，通过本发明的一个方式的图像编码装置编码后的数据）。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机（接收机）ex300或机顶盒（STB）ex217等的装置将接收到的复用数据解码并将其再现（即，作为本发明的一个方式的图像解码装置发挥作用）。

此外，可以在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的动态图像解码装置或动态图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外，也可以在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装动态图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入动态图像解码装置。

图16是表示使用在上述各实施方式中说明的动态图像解码方法及动态图像编码方法的电视机（接收机）ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理不ex306中编码的影像数据、声音数据复用的复用/分离部ex303。

此外，电视机ex300具备：具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305（即，作为本发明的一个方式的图像编码装置或图像解码装置发挥作用）的信号处理部ex306；具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。

首先，对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。

此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另外，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。

此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。

作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图17中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。

以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用接近场光进行高密度的记录的结构。

在图18中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽（沟），在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。

以上，举1层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。

此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现动态图像。另外，车载导航仪ex211的结构可以考虑例如在图16所示的结构中添加GPS接收部的结构，在计算机ex111及便携电话ex114等中也可以考虑同样的结构。

图19A是表示使用在上述实施方式中说明的动态图像解码方法和动态图像编码方法的便携电话ex114的图。便携电话ex114具有由用来在与基站ex110之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话ex114还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。

进而，使用图19B对便携电话ex114的结构例进行说明。便携电话ex114对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD（LiquidCrystal Display：液晶显示器）控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。

电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态，则通过从电池组对各部供给电力，便携电话ex114起动为能够动作的状态。

便携电话ex114基于具有CPU、ROM及RAM等的主控制部ex360的控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话ex114在语音通话模式时，将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部ex354变换为模拟声音数据后，将其经由声音输出部ex357输出。

进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站ex110发送。在接收电子邮件的情况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示部ex358。

在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的动态图像编码方法进行压缩编码（即，作为本发明的一个方式的图像编码装置发挥作用），将编码后的影像数据送出至复用/分离部ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编码后的声音数据送出至复用/分离部ex353。

复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部（调制/解调电路部）ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。

在数据通信模式时接收到链接到主页等的动态图像文件的数据的情况下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的动态图像编码方法相对应的动态图像解码方法进行解码，由此对影像信号进行解码（即，作为本发明的一个方式的图像解码装置发挥作用），经由LCD控制部ex359从显示部ex358显示例如链接到主页的动态图像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码，从声音输出部ex357输出声音。

此外，上述便携电话ex114等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外，在数字广播用系统ex200中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。

这样，将在上述各实施方式中表示的动态图像编码方法或动态图像解码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各实施方式中说明的效果。

此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。

（实施方式7）

也可以通过将在上述各实施方式中示出的动态图像编码方法或装置、与依据MPEG－2、MPEG4－AVC、VC－1等不同的标准的动态图像编码方法或装置根据需要而适当切换，来生成影像数据。

这里，在生成分别依据不同的标准的多个影像数据的情况下，在解码时，需要选择对应于各个标准的解码方法。但是，由于不能识别要解码的影像数据依据哪个标准，所以产生不能选择适当的解码方法的问题。

为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG－2传输流形式的数字流。

图20是表示复用数据的结构的图。如图20所示，复用数据通过将视频流、音频流、演示图形流（PG）、交互图形流中的1个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流（IG）表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的动态图像编码方法或装置、依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的动态图像编码方法或装置编码。音频流由杜比AC－3、Dolby Digital Plus、MLP、DTS、DTS－HD、或线性PCM等的方式编码。

包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011，对音频流分配0x1100到0x111F，对演示图形分配0x1200到0x121F，对交互图形流分配0x1400到0x141F，对在电影的副影像中使用的视频流分配0x1B00到0x1B1F，对与主声音混合的副声音中使用的音频流分配0x1A00到0x1A1F。

图21是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到1条流中而构成。

图22更详细地表示在PES包序列中怎样保存视频流。图22的第1段表示视频流的视频帧序列。第2段表示PES包序列。如图22的箭头yy1、yy2、yy3、yy4所示，视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS(Presentation Time-Stamp)及作为图片的解码时刻的DTS(Decoding Time—Stamp)。

图23表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD-ROM的情况下，对于TS包赋予4字节的TP_Extra_Header，构成192字节的源包，写入到复用数据中。在TP_Extra_Header中记载有ATS(Arrival_Time_Stamp)等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中，源包如图24下段所示排列，从复用数据的开头起递增的号码被称作SPN(源包号)。

此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program ClockReference)等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为0。PMT具有复用数据所包含的影像、声音、子幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC(Arrival Time Clock)与作为PTS及DTS的时间轴的STC(System Time Clock)的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。

图24是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息(帧速率、纵横比等）的流描述符构成。流描述符存在复用数据中存在的流的数量。

在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。

复用数据信息文件如图25所示，是复用数据的管理信息，与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。

复用数据信息如图25所示，由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定为对复用数据的末端的视频帧的PTS加上1帧量的再现间隔的值。

流属性信息如图26所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。

在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的动态图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据、和依据其他标准的影像数据。

此外，在图27中表示本实施方式的动态图像解码方法的步骤。在步骤exS100中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exS101中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的动态图像编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的动态图像解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的复用数据的情况下，在步骤exS103中，通过依据以往的标准的动态图像解码方法进行解码。

这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的动态图像解码方法或装置解码。因而，在被输入了依据不同的标准的复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，将在本实施方式中示出的动态图像编码方法或装置、或者动态图像解码方法或装置用在上述任何设备、系统中。

（实施方式8）

在上述各实施方式中示出的动态图像编码方法及装置、动态图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图28中表示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。

例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/Oex509从麦克风ex117及照相机ex113等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/Oex506向外部输出。将该输出的比特流向基站ex107发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。

另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成1个芯片，也可以形成多个芯片。

此外，在上述中，假设控制部ex501具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，但控制部ex501的结构并不限定于该结构。例如，也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。

另外，这里设为LSI，但根据集成度的差异，也有称作IC、系统LSI、超级(super)LSI、特级(ultra)LSI的情况。

此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA（Field Programmable Gate Array）、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。

进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。

（实施方式9）

在将通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。

为了解决该问题，电视机ex300、LSIex500等的动态图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图29表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的动态图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的动态图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的动态图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的标准的解码处理部ex802指示将影像数据解码。

更具体地讲，驱动频率切换部ex803由图28的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的动态图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图29的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式7中记载的识别信息。关于识别信息，并不限定于在实施方式7中记载的信息，只要是能够识别影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标准的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图31所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。

图30表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。

进而，通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。

此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4－AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。

进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况相比，将停止时间设定得短。

这样，根据影像数据所依据的标准来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。

（实施方式10）

在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个标准。但是，如果单独使用对应于各个标准的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。

为了解决该问题，采用将用来执行在上述各实施方式中示出的动态图像解码方法的解码处理部、和依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的解码处理部一部分共用的结构。图32A的ex900表示该结构例。例如，在上述各实施方式中示出的动态图像解码方法和依据MPEG4－AVC标准的动态图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构：关于共通的处理内容，共用对应于MPEG4－AVC标准的解码处理部ex902，关于不对应于MPEG4－AVC标准的本发明的一个方式所特有的其他的处理内容，使用专用的解码处理部ex901。特别是，本发明在滤波处理（解块/滤波）方面具有特征，因此可以考虑例如对于滤波处理（解块/滤波）使用专用的解码处理部ex901，对于除此之外的熵解码、逆量化、运动补偿中的某一个或者全部的处理，共用解码处理部。关于解码处理部的共用，也可以是如下结构：关于共通的处理内容，共用用来执行在上述各实施方式中示出的动态图像解码方法的解码处理部，关于MPEG4－AVC标准所特有的处理内容，使用专用的解码处理部。

此外，用图32B的ex1000表示将处理一部分共用的另一例。在该例中，采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部ex1001、和与其他的以往标准所特有的处理内容对应的专用的解码处理部ex1002、和与在本发明的一个方式的动态图像解码方法和其他的以往标准的动态图像解码方法中共通的处理内容对应的共用的解码处理部ex1003的结构。这里，专用的解码处理部ex1001、ex1002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIex500安装本实施方式的结构。

这样，对于在本发明的一个方式的动态图像解码方法和以往的标准的动态图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。

工业实用性

本发明的图像编码方法及图像解码方法例如能够应用于电视机、数字视频记录机、车载导航仪、便携电话、数字摄像机、或数字视频摄像机等。

码元的说明

100、300图像编码装置

101减法部

102正交变换部

103量化部

104可变长度编码部

105、205逆量化部

106、206逆正交变换部

107、207加法部

108、208块存储器

109、209帧存储器

110、210帧内预测部

111、211帧间预测部

112、212开关部

113图片类型决定部

114、214帧间预测控制部

115、215参照图片列表管理部

116、216追加判定部

200、400图像解码装置

204可变长度解码部

301、401、501追加部

302、402、502选择部

303、503编码部

403、504解码部

500图像编解码装置

Claims (9)

1.一种图像编码方法，执行使用第1参照图片列表及第2参照图片列表的一方或双方的预测，按每个块对编码对象图片进行编码，该图像编码方法包括以下步骤：

追加步骤，在用于现运动矢量的编码的预测运动矢量的候选列表中，作为所述预测运动矢量的候选而追加第1相邻运动矢量，该现运动矢量是所述编码对象图片中包含的编码对象块的运动矢量，该第1相邻运动矢量是与所述编码对象块相邻的相邻块的运动矢量；

选择步骤，从包含所述第1相邻运动矢量的所述候选列表，选择用于所述现运动矢量的编码的所述预测运动矢量；以及

编码步骤，使用所选择的所述预测运动矢量，对所述现运动矢量进行编码；

在所述追加步骤中，判断所述编码对象图片的所述第2参照图片列表中包含的第2参照图片与所述相邻块的所述第1参照图片列表中包含的第1参照图片是否相同，在判断为相同的情况下，在针对所述现运动矢量的所述候选列表中追加所述第1相邻运动矢量，该现运动矢量指示所述第2参照图片列表中包含的第2参照图片内的位置，该第1相邻运动矢量指示所述第1参照图片列表中包含的第1参照图片内的位置。

2.如权利要求1所述的图像编码方法，

在所述追加步骤中，进一步在所述候选列表中追加第2相邻运动矢量，该第2相邻运动矢量是所述相邻块的运动矢量，并且指示所述第2参照图片列表中包含的第3参照图片内的位置。

3.如权利要求2所述的图像编码方法，

在所述追加步骤中，

判定所述第2参照图片和所述第3参照图片是否相同，

在判定为所述第2参照图片和所述第3参照图片相同的情况下，在所述候选列表中追加所述第2相邻运动矢量。

4.如权利要求3所述的图像编码方法，

在所述追加步骤中，

在没有判定为所述第2参照图片和所述第3参照图片相同的情况下，判定所述第2参照图片和所述第1参照图片是否相同，

在没有判定为所述第2参照图片和所述第3参照图片相同、且判定为所述第2参照图片和所述第1参照图片相同的情况下，在所述候选列表中追加所述第1相邻运动矢量。

5.如权利要求3或4所述的图像编码方法，

在所述追加步骤中，

通过判定由所述第2参照图片列表及第2参照索引确定的所述第2参照图片的显示顺序和由所述第2参照图片列表及第3参照索引确定的所述第3参照图片的显示顺序是否相同，来判定所述第2参照图片和所述第3参照图片是否相同，

通过判定由所述第2参照图片列表及所述第2参照索引确定的所述第2参照图片的显示顺序和由所述第1参照图片列表及第1参照索引确定的所述第1参照图片的显示顺序是否相同，来判定所述第2参照图片和所述第1参照图片是否相同。

6.如权利要求3或4所述的图像编码方法，

在所述追加步骤中，

在没有判定为所述第2参照图片和所述第3参照图片相同、且没有判定为所述第2参照图片和所述第1参照图片相同的情况下，在所述候选列表中作为所述预测运动矢量的候选而追加大小为0的运动矢量。

7.如权利要求1～4中任一项所述的图像编码方法，

在所述追加步骤中，以多个索引值和所述预测运动矢量的多个候选一对一地对应的方式，在所述候选列表中追加索引值和所述预测运动矢量的候选，

在所述选择步骤中，从所述候选列表选择索引值来作为所述预测运动矢量，

在所述编码步骤中，进一步以索引值越大则编码越长的方式，对所选择的所述索引值进行编码。

8.如权利要求1～4中任一项所述的图像编码方法，

在所述追加步骤中，将所述编码对象块的左邻的块、所述编码对象块的上邻的块、及所述编码对象块的右上邻的块分别看做所述相邻块，在所述候选列表中追加所述相邻块的所述第1相邻运动矢量。

9.一种图像编码装置，执行使用第1参照图片列表及第2参照图片列表的一方或双方的预测，按每个块对编码对象图片进行编码，该图像编码装置具备：

追加部，在用于现运动矢量的编码的预测运动矢量的候选列表中，作为所述预测运动矢量的候选而追加第1相邻运动矢量，该现运动矢量是所述编码对象图片中包含的编码对象块的运动矢量，该第1相邻运动矢量是与所述编码对象块相邻的相邻块的运动矢量；

选择部，从包含所述第1相邻运动矢量的所述候选列表，选择用于所述现运动矢量的编码的所述预测运动矢量；以及

编码部，使用所选择的所述预测运动矢量，对所述现运动矢量进行编码；

所述追加部判断所述编码对象图片的所述第2参照图片列表中包含的第2参照图片与所述相邻块的所述第1参照图片列表中包含的第1参照图片是否相同，在判断为相同的情况下，在针对所述现运动矢量的所述候选列表中追加所述第1相邻运动矢量，该现运动矢量指示所述第2参照图片列表中包含的第2参照图片内的位置，该第1相邻运动矢量指示所述第1参照图片列表中包含的第1参照图片内的位置。