CN1129870C

CN1129870C - 对具有象素的数字图像进行运动估算的方法和装置

Info

Publication number: CN1129870C
Application number: CN99810653A
Authority: CN
Inventors: 哲真·番德尔; 格罗·巴斯; 诺伯特·欧特尔
Original assignee: I C Com Ltd
Current assignee: I C Com Ltd
Priority date: 1998-08-07
Filing date: 1999-08-02
Publication date: 2003-12-03
Anticipated expiration: 2019-08-02
Also published as: KR100367468B1; WO2000008601A1; CN1317125A; DE19835845A1; JP2002522933A; DE59901028D1; US7023916B1; JP3597781B2; KR20010072338A; EP1101196A1; EP1101196B1

Abstract

对具有象素的数字图像进行运动估算的方法和装置，其中，象素被分组到图象块。象素被分组到至少第一图象区域和第二图象区域。第一运动估算在第一检索区域被实现，以便确定一个第一运动矢量。此外，第二运动估算在第二检索区域被实现，以便确定一个第二运动矢量。第一检索区域和第二检索区域大小不同。

Description

对具有象素的数字图像进行运动估算的方法和装置

技术领域

本发明涉及对具有象素的数字图像进行的运动估算。

这样的方法不同于参考文献[1]。

在参考文献[1]的运动估算方法中，将要进行运动估算的数字块中的象素被分组成为若干图象块。

背景技术

对于在图象中的每一个图象块，在大小可以预先确定的检索区域内进行尝试，以确定图象块中一个与检索区域同样大小的编码信息最相似的区域，该编码信息包括在进行运动估算的图象块中。

在下文中，名词“编码信息”意味着与一个象素相关的亮度信息(亮度值)或颜色信息(色度值)。

在先前图象中的不同区域的编码信息之间的绝对偏差和或偏差的平方和被形成。最佳匹配的区域，这也就是说和值最小的区域，被视作匹配图象块，并且在先前图象的″最佳″区域和该图象块之间图象块位置的移动被确定。这个移动被称为运动矢量。

Oh等人在美国于1998年7月的电子成像期刊第3期，7卷，571-577页上发表的文章″用于低比特率视频编码的、基于检索窗口的动态调整的块-匹配算法″描述了用块匹配算法，在视频序列中为对象进行运动估算的方法，并使用了利用该视频数据的压缩方法而确定的运动矢量。对于运动矢量的估算，各个视频图象被分为N×N的象素块。对于当前视频图象中的每个图象块，确定在先前参考视频图象中相关的最佳匹配的图象块，而且从2个视频图象间的块位置差分确定被检索的图象块的运动矢量。在这种情况下，该方法使用大小可变的检索区域，其中在参考视频图象中，匹配图象块被锁定。

文件US-A-5537155描述了一种视频压缩方法，其中，在视频序列中各个图象间的运动估算被实现。用块匹配算法实现运动估算，其中，当前视频图象的图象块与先前视频图象的图象块比较。在不同检索区域用相应的不同步骤进行比较。在比较图象的第一检索区域的当前图象块位置附近，用小步长进行检索。在当前图象块附近的大范围内，则用相应的大步长进行检索。

当比较图象中相应的视频块被找到时，就为该块确定用于编码视频块的运动矢量。

发明内容

本发明针对上述问题，提供了一种运动估算方法和装置，它减少了编码运动矢量所需总比特数。

根据本发明的一个方面，提供了一种用于具有象素的数字图像的运动估算的方法，

其中所述象素被分组成图象块，

其中所述象素被进一步分组以形成至少一个第一图象区域和一个第二图象区域，所述第一图象区域包括至少一个第一图象块，且所述第二图象区域包括至少一个第二图象块，

其中，在一个第一检索区域中，至少为第一图象区域中的所述至少一个第一图象块实行第一运动估算，以确定一个第一运动矢量，利用该第一运动矢量，第一图象块的移动与一个在先的原有图象中的所述第一图象块相比较地和/或与一个在后的后继图象中的所述第一图象块相比较地而得到描述；

其中，在一个第二检索区域中，至少为第二图象区域中的所述至少一个第二图象块实行第二运动估算，以确定一个第二运动矢量，利用该第二运动矢量，第二图象块的移动与一个在前的原有图象中的所述第二图象块相比较地和/或与一个在后的后继图象中的所述第二图象块相比较地而得到描述，

其中第一检索区域和第二检索区域大小不同；

其中，第一检索区域和/或第二检索区域大小作为一个预定图象质量的函数而变化，第一图象块和/或第二图象块借助该预定图象质量而得到编码。

根据本发明的另一个方面，提供了一种用于对具有象素的数字图像进行运动估算的装置，

该装置具有一个处理器，该处理器被适当地设置，以便执行下述步骤：

所述象素被分组成图象块，

所述象素被进一步分组，以形成至少一个第一图象区域和一个第二图象区域，

在一个第一检索区域中，至少为在第一图象区域中的所述至少一个第一图象块实行第一运动估算，以确定一个第一个运动矢量，利用该第一运动矢量，第一图象块的移动与一个在先的原有图象中的所述第一图象块相比较地和/或与一个在后的后继图象中的所述第一图象块相比较地而得到描述；

在一个第二检索区域中，至少为第二图象区域中的所述至少一个第二图象块实行第二运动估算，以确定一个第二运动矢量，利用该第二运动矢量，第二图象块的移动与一个在前的原有图象中的所述第二图象块相比较地和/或与一个在后的后继图象中的所述第二图象块相比较地而得到确定；

第一检索区域和第二检索区域大小不同；

其中，该处理器被适当地设置，以使第一检索区域和/或第二检索区域的大小作为一个预定的图象质量的函数而变化，第一图象块和/或第二图象块借助该预定的图象质量而得到编码。

本发明可以减少为压缩视频数据传输而要求的数据量，因为运动矢量的大小可自适应地符合质量的要求，所以即使在非常小的检索区域，也没有明显的图象质量的主观印象的下降，例如，在只要求低质量的区域中。检索区域中运动矢量的最大尺寸也因此相对小，这导致运动矢量编码的位数被减小。

从本发明可以明显的看出：不同大小的检索区域被用于该图象区域中的图象块的运动估算，本发明可以根据质量灵活的减少运动矢量编码所要求的数据量。

从从属权利要求中可得出本发明的进一步改进。

一个改进规定第一检索区域和/或第二检索区域的大小是预先确定的图象质量的函数，利用它，第一图象块和/或第二图象块被编码。

以这种方式，一种限制检索区域的方法被确定，它根据要求的图象质量减少需求的数据量。

在一个实施例中，一个十分简单的确定检索区域大小的标准是一个量化参数，通过它第一图象块和/或第二图象块被量化。

进一步的改进规定一定数量的表格，存储不同长度的编码的代码，它们用于运动矢量的不同的长度编码，这样导致进一步减少视频数据的传输所要求的数据量。

附图说明

本发明的一个实施例将在下面详细介绍，并在下面的图中图示，其中：

图1a到1c显示了图象和先前图象的略图，其中，图示了本发明的基本原理；

图2显示了具有两个计算机、一个摄像机和一个显示器的装置，通过它视频数据被编码、传送、解码和显示；

图3显示了基于块的数字图象的编码设备的略图。

图2显示了包括两台计算机202，208和一个摄像机201的装置，显示了图象的编码、视频数据的传输和图象的解码。

具体实施方式

摄像机201通过连线19连接到第一计算机202。摄像机201传送它拍摄的图象204到第一计算机202。第一计算机202拥有第一处理器203，它通过总线218连接到帧存储器205。在第一计算机202的第一处理器203执行一种图象编码方法。以这种方式，编码的视频数据206从第一计算机202通过通讯链路207，最好是电缆或是无线路径，被传送到第二计算机208。第二计算机208拥有第二处理器209，它通过总线210连接到帧存储器211。通过第二处理器209，图象解码方法被实行。

第一计算机202和第二计算机208具有各自的显示器212或213，通过它们视频数据204被显示。输入单元，最好是键盘214或215和计算机鼠标216或217，被分别提供给第一计算机202和第二计算机208。

通过连线219从摄像机201传送到第一计算机202的视频数据204是时域数据，而通过通讯链路207，从第一计算机202传送到第二计算机208的数据206是频域视频数据。

编码的视频数据被显示在显示器213。

图3显示了根据H.263标准(参见[5])执行基于块的图象编码方法的装置的略图。

将编码的并具有被顺序数字化的图象的视频数据流提供到图象编码单元301。数字化的图象被再细分为宏块302，每一个宏块包括16×16象素。宏块302包括4个图象块303，304，305和306，每一个图象块包括8×8象素，它们的照度值(亮度值)被指定。此外，每一个宏块302包括具有被分配给该象素(色信息，色饱和度)的色度值的2个色度块307和308。

图象中的块包括亮度值(＝亮度)，第一色度值和第二色度值。这时，亮度值，第一色度值和第二色度值被称作颜色值。

图象块被提供给变换编码单元309。在差分图象编码时，从先前图象的图象块编码的值被减去在那时编码的图象块的值，只有差分构成信息310被提供给变换编码单元(离散余弦变换，DCT)309。为此，宏块302通过链路334被传信到运动估算单元329。在变换编码单元309，将被编码的图象块或差分图象块的频谱系数311被形成，并被提供给量化单元312。

量化的频谱系数313在反馈路径上被提供给扫描单元314和反量化单元315。使用扫描方法，例如″z字形″扫描方法，在为此目的而提供的熵编码单元316中，对扫描的频谱系数332执行熵编码。熵编码的频谱系数作为编码的视频数据317通过一个信道，最好是电缆或无线通路，被传送到解码器。

量化的频谱系数313的反向量化在反向量化单元315中被实行。以这种方法得到的频谱系数318被提供给反向变换编码单元319(反向离散余弦变换，IDCT)。重建的编码值(和差分编码值)320以差分构成模式被提供给加法器321。一旦运动补偿被进行，加法器321也接收从先前图象获得的图象块的编码值。加法器321用于形成储存在帧存储器323中的重建的图象块322。

重建的图象块322的色度值324从帧存储器323被提供到运动补偿单元325。对于亮度值326，在提供的内插单元327中实现内插。该内插最好用于使包括在各个图象块中的亮度值扩大四倍。亮度值328不仅被提供到运动补偿单元325，也被提供到运动估算单元329。运动估算单元329，通过链路334分别接收将被编码的宏块(16×16象素)的图象块。在运动估算单元329，根据内插的亮度值(″基于半象素的运动估算″)进行运动估算。

运动估算的结果是表示从先前图象选出的宏块到将被编码的宏块302的位置移动的运动矢量330。

与由运动估算单元329确定的宏块相关的亮度信息和色度信息通过运动矢量330被改变，被减去宏块302的编码值(参见数据路径231)

运动估算得到了具有2个运动矢量分量的运动矢量330，即，分别沿着第一方向x和第二方向y的第一运动矢量分量BV_x，和第二运动矢量分量BV_y。

BV = (\frac{{BV}_{x}}{{BV}_{y}})

运动矢量330被分配到图象块。

图3中的图象编码单元为所有图象块和图象宏块都提供运动矢量330。

图1a显示了将用图3所示设备编码的数字图象100。

数字图象100具有被分配有编码信息的象素。

象素101被分组到图象块102。图象块102被分组到第一图象区域105和第二图象区域106。

在下文中，假设在第一图象区域105的质量要求比在第二图象区域106的质量要求更严格。

为第一图象区域105中的第一图象块103实行运动估算。为此，在先前图象和/或在后继图象110中，定义了第一检索区域114。

基于形状、大小同于第一图象块的起始区113，在每种情况下下，以下误差E被确定，它变化是一个象素或几分之一或多个象素(例如用半象素(半象素运动估算))，利用它，在各种情况下，起始区113被移

E = Σ_{i = 1}^{n} Σ_{j = 1}^{m} {(x_{i, j} - y_{i, j})}^{2},

动：

其中

-i，j是连续的指数，

-n是在第一图象块中沿第一方向的象素数，

-m是在第一图象块中沿第二方向的象素数，

-x_i，j是在第一图象块中在位置i，j的象素的编码信息，

-y_i，j是通过相应的运动矢量移动的，在先前图象相应位置的象素编码信息。

在先前图象，对于每一个移动110，误差E被计算，并且从该移动(＝运动矢量)的图象块中，误差E具有最小值的、一个被选为与第一图象块103最相似的一个。

在本实施例中，在每种情况下，检索区域在水平垂直方向跨越4象素间隔，大约是相应于在先前图象110第一图象区域的第一图象块位置的起始位置113。因此，这时将被编码的第一运动矢量117的最大尺寸是象素间隔(参见图1b)。

图1c显示了在第二图象区域106中的第二图象块104的第二运动估算。该运动估算的基本过程也被描述为如上述的第二运动估算的过程。

对于第二运动估算，第二检索区域116更小，因为在第二图象区域106的图象质量要求不如第一图象区域105的严格。

因此，第二检索区域116的大小只是从起始位置115向每一个方向的2个象素116。将为第二图象块104编码的第二运动矢量118的最大尺寸是

从这个例子可见，编码第二运动矢量118需要的计算量比编码第一运动矢量117显著减小。

根据这个例子，在该实施例中的图象块的探测区大小取决于量化参数，它显示了用于先前图象100编码的量化步骤。

探测区大小S用下式获得：

S＝15-QP/2

其中

-S是检索区域大小，

-QP是量化参数。

量化参数QP是包括在H.263的一般标题数据中的因数，并用作为量化初始值。

为图象块而确定的检索区域大小S随量化参数QP的变小而增大，这相应于高的图象质量。

包括具有不同长度范围的不同长度的运动矢量的编码的若干个表，用于运动矢量的可变长编码。

量化参数QP用于选择一个变长度编码表，其中变长度编码域值与检索区域大小S匹配，因此达到运动矢量的最大长度。

上述示例性实施例的一些变形被描述如下。

运动估算的类型以及相应的类似形成测度方法，与本发明无关。

例如，以下公式也可形成误差E：

E = Σ_{i = 1}^{n} Σ_{j = 1}^{m} | X_{i, j} - Y_{i, j} |,

它进一步显示了，为了进一步减少要求的数据量，在许多情况下，只传送运动矢量已经足够了，而不传送在运动补偿差分图象的形成时产生的误差信号。

很明显，在本发明中，不同尺寸的检索区域被用于该图象区域中的图象块的运动估算，其结果是，对于该运动矢量的编码，可按照质量以需要的数据率来减少数据量。

下面的出版物被本文引用：

[1]ITU-T Draft Recommendation H.26，Video Coding for LowBitrate Communication，May，1996.

Claims

1、一种用于具有象素的数字图像的运动估算的方法，

其中所述象素被分组成图象块，

其中第一检索区域和第二检索区域大小不同；

2、按照权利要求1所述的方法，

其特征在于：第一检索区域和/或第二检索区大小按照量化参数的函数变化，利用该函数，第一图象块和/或第二图象块被量化。

3、按照权利要求1-2所述的方法，它们被用于编码数字图象，

4、按照权利要求3所述的方法，

其中运动矢量的变长编码被实现，

其中若干个储存的不同表用于变长编码，所述表存储了变长编码的代码。

5、按照权利要求4所述的方法，其特征在于：该表被匹配到运动矢量的最大长度。

6、一种用于对具有象素的数字图像进行运动估算的装置，

所述象素被分组成图象块，

第一检索区域和第二检索区域大小不同；

7、按照权利要求6的装置，其中，

该处理器被如此设置，以使第一检索区域和/或第二检索区域的大小按照量化参数的函数变化，通过它，第一图象块和/或第二图象块被量化。

8、按照权利要求6-7所述的装置，它们被用于图象编码设备。

9、按照权利要求6或7所述的装置，它们被用于图象编码设备，

其中，该处理器被如此设置，以便

实现运动矢量的变长编码，

若干个储存的不同表用于变长编码，该表存储了变长编码的代码。

10、按照权利要求9所述的装置，

其特征在于：该处理器被如此设置，以使表匹配到运动矢量的最大长度。