CN1150769C - 静态图象产生方法和装置 - Google Patents

Abstract

本发明涉及从包括连续的视频对象的一个视频序列产生诸如子图象或者马赛克图象的一个较大的静态图象M(n)。这一方法包括步骤：相对于先前产生的静态图象M(n-1)，计算关于该序列的当前视频对象VO(n)的运动参数；使用该计算的运动参数，卷曲所述视频对象；将卷曲的视频对象与静态图象M(n-1)混合；对于该当前视频对象的每个象素计算一个与该卷曲的视频对象和该静态图象M(n-1)之间的误差相关的一个加权系数W_WF(n)[x，y]；该混合公式然后考虑所述加权信息。通过一个基于形态分段的空间过滤步骤将基于象素的加权图转换为一个基于区域的图，选择属于前景对象的区域以及在混合步骤之前作为分离物丢弃它们。

Description

静态图象产生方法和装置

本发明涉及从包括连续的视频对象VO的一个视频序列产生诸如子图象(sprite)或者马赛克图象(mosaic)的一个大的静态图象M(n)的方法，所述方法包括下列步骤：

(A)相对于先前产生的静态图象M(n-1)，计算关于该序列的当前视频对象VO(n)的运动参数；

(B)在所述计算的运动参数的基础上，卷曲所述当前视频对象VO(n)；

(C)将所得到的卷曲的视频对象WVO(n)与先前产生的静态图象M(n-1)混合；

以及本发明涉及一个相应的装置。这一发明可以用于相关的MPEG-4和MPEG-7标准。

本发明的背景技术

在MPEG-7的帧中将要进行标准化的描述子(descriptor)以及描述模式(description scheme)(该MPEG-7在近数年中一直在致力于将描述多媒体内容的一般方式进行标准化)在各种特征类型(诸如文本，颜色，纹理，运动和语义内容等)的基础上将允许快速和有效的数据检索。在这一MPEG-7上下文中，马赛克可以担当一个有用的角色。正如例如在文章“视频序列的有效表示以及它们的应用”(″Efficient representations of video sequences and theirapplications″)(作者M.Irani等人，发表于Signal Processing：Image Communication，vol.8，1996，pp.327-351)中所解释的，对于一个场景的一个全景视图，是从该场景序列的所有帧中构造一个马赛克图象。有可能例如从这一全景视图抽取出该序列的主要特征，比如色度或亮度图，目标的形状，整体运动参数等等。

作为应用于该MPEG-4标准的上下文，一个马赛克图象的定义可以相比于一个子图象的定义。一个子图象是由通过一个完整序列可以看见的一个对象中的图形元素(象素)组成的一个较大的静态图象。这一静态图象形成一个全景视图，由于前景目标或者相机运动的影响，其某些部分在一些图象帧中可能是不可见。如果可以收集遍及整个序列的所有相关的象素，就可获得一个完全的全景视图(称作精确的背景子图象)，该视图可以有效地进行传输(或存储)，以及以后用来重建部分视频帧。

正如例如在文献WO98/59497中所描述的一个子图象的情况(该情况也可以适用于一个马赛克图象)，一个子图象或者马赛克图象的产生涉及三个主要步骤(在下面的描述中，将用普通词汇“静态图象”来代替子图象或者马赛克图象)。首先是一个运动计算步骤，用于获得允许将一个当前视频帧F(n)或者在一个当前视频帧F(n)中的视频对象与已由先前视频帧F(1)，F(2)，…，F(n-1)(或者在先前视频帧中的先前视频对象)构成的静态图象M(n-1)进行正确合并的运动参数。然后可以计算其逆参数，从而可以补偿在其方向中的当前视频帧；这一第二步也称作卷曲(warping)。该所卷曲的当前视频帧F(n)最后与M(n-1)混合，以形成一个新的增长的静态图象M(n)，用其与下一进来的视频帧F(n+1)合并，如此等等。

在由本申请人先前提交的申请号为98401997.6的欧洲专利申请中已经提出了一种静态图象生成方法，该方法对于分离物(outlier)(即并不随着整体运动的象素，这些象素所对应的目标具有它们自己的运动)表现出一种较好的健壮性。该方法相对于在文献WO98/59497中描述的方法具有改进，该改进的方法在上述的卷曲和混合步骤之间另外包括一个用于计算的第四步骤，该步骤用于对该当前视频对象VO(n)的每一图形元素计算一个加权系数W_WF(n)[x，y]，该系数与在该卷曲的视频对象WVO(n)和该静态图形M(n-1)之间在每一图形元素[x，y]的误差相关。然后对于每个象素[x，y]用于确定该新近产生的静态图象M(n)的混合公式考虑所述加权系数：

$M\left(n\right)[x,y]=\frac{w_{M(n-1)}[x,y]M(n-1)[x,y]+w_{\mathrm{WF}\left(n\right)}[x,y]\mathrm{WF}\left(n\right)[x,y]}{w_{M(n-1)}+w_{\mathrm{WF}\left(n\right)}}---\left(1\right)$

(各项的定义在后面给出)。

在图1中示出了实现例如用于一个马赛克图象的这一改进的方法的装置。一个运动计算级11接收连续的视频对象，在本例于中是连续的视频帧F(1)，F(2)，F(3)，…，F(i)，…，F(n-1)，F(n)，该运动计算级计算该运动参数，允许将进来的视频帧F(n)与该先前产生的存储在一个存储器12中的马赛克图象M(n-1)相合并，该马赛克图象M(n-1)已经包括该先前视频帧F(1)至F(n-1)。

在文献EP 0771115(PHF96534)中描述了在该级11中进行的所述运动参数计算的例子。值(Dx，Dy)指示从一个视频帧至下一个视频帧的一个运动矢量的分量，其中Dx和Dy是x和y的函数，其系数是所请求的运动参数，该(Dx，Dy)可以写成L(x，y，t)＝L(x-Dx，y-Dy，t-1)，其中t＝时间，L＝在一个给定点的亮度。定义该函数的系数的数量取决于所考虑的运动模型的类型(可以使用不同的运动模型，该运动实际上由给定数量的点的位移所表示)。

一旦进行所述运动计算，一个马赛克增长级13允许卷曲该当前视频帧F(n)以及与该马赛克图象混合。该增长级13包括下列电路：一个卷曲电路131，一个混合电路135，以及在它们之间的一个基于象素的加权电路，该加权电路对于每一象素利用表达式(2)计算一个加权系数：

$w_{\mathrm{WF}\left(n\right)}[x,y]=\frac{1}{r(x,y)}\frac{d}{\mathrm{dr}}\mathrm{\ρ}\left(r(x,y)\right)----\left(2\right)$

其中p是用于该运动计算级11中的洛伦兹函数M估算值，r(x，y)是该卷曲的当前图象和该马赛克图象之间在该象素(x，y)处的误差。在该基于象素的加权电路中，在一个误差图定义电路132中进行该整个误差图的构造，以及在一个系数计算电路133中进行该加权系数的计算。然后由该混合电路135使用该基于象素的加权电路(132，133)计算的整个加权系数集合。在所述电路中，对于每一象素(x，y)，用于计算该新的马赛克图象M(n)(该图象从该混合步骤产生，并且考虑该加权系数W_WF(n)[x，y])的该亮度和色度值的混合公式是公式(1)，其中各项的定义如下：

(a)n＞0；

(b)对于任一(x，y)，W_M(0)＝0；

(c)对于任一(x，y)， $W_{\mathrm{WF}\left(n\right)}[x,y]=\frac{1}{r(x,y)}\frac{d}{\mathrm{dr}}\mathrm{\ρ}\left(r(x,y)\right)$

(d)W_M(n)＝W_M(n-1)+W_WF(n)

p是用于该运动计算步骤中的洛伦兹函数M估算值。

该增长过程包括步骤A，B和C，并且对于每一象素执行该增长过程，在该过程期间，有些目标没有正确地检测为前景，并且仅仅它们的一些象素被作为分离物信息。根据本发明的技术方案是通过一个另外的预处理步骤寻找连接的分离物区，给它们一个弱的加权，该预处理步骤包括将该图象分割成多个区域以检测分离物区。所提议的方法基于连接的算子(operator)，通过合并其平面区该算子能够过滤一个信号。这种过滤所提供的优点是简化该图象，因为去掉了一些成分，同时完整地保留了涉及没有被去除的成分的轮廓信息。

本发明概述

本发明的一个目的是提供一种静态图象产生方法，该方法对于分离物表现出一种增强的健壮性。

为此，本发明涉及在本说明书中的开始段落所介绍的方法，并且其特征还在于：

(1)所述方法在所述卷曲和混合步骤之间还包括另外一个步骤，该步骤包括：

第一基于象素的误差图定义子步骤，对于当前视频对象VO(n)的每一图象元素(x，y)，该步骤用于构造该卷曲的视频对象WVO(n)和该静态图象M(n-1)之间在所述图象元素(x，y)的误差r(x，y)的图；

第二空间过滤子步骤，用于将所述基于象素的误差图变换为一个基于区域的误差图；

第三加权子步骤，其对于每一象素用于计算一个加权系数W_WVO(n)[x，y]，该系数与所述误差有关，并且同时用于选择属于前景对象的区域和在该混合步骤之前作为分离物丢弃它们；

(2)对于每一象素[x，y]，用于确定该新近产生的静态图象的该混合步骤根据下列混合公式考虑所述加权系数：

$M\left(n\right)[x,y]=\frac{\mathrm{wM}(n-1)[x,y]\·M(n-1)[x,y])+\mathrm{wWVO}\left(n\right)[x,y]\·\mathrm{WVO}\left(n\right)[x,y\left]\right)}{\mathrm{wM}(n-1)+\mathrm{wWVO}\left(n\right)}$

其中各项的定义如下：

(a)n＞0；

(b)对于任一(x，y)，WM(0)＝0；

(c)对于任一(x，y)，

$w_{\mathrm{WVO}\left(N\right)}[x,y]=\frac{1}{r(x,y)}\frac{d}{\mathrm{dr}}\mathrm{\ρ}\left(r(x,y)\right)$

(d)W_M(n)＝W_M(n-1)+W_WVO(n)

p是用于该运动计算步骤中的洛伦兹函数M估算值。

该增长过程包括步骤A，B和C，并且对于每一象素执行该增长过程，在该过程期间，有些对象没有正确地检测为前景，并且仅仅它们的一些象素被作为分离物信息。根据本发明的技术方案是通过一个另外的预处理步骤寻找连接的分离物区，给它们一个弱的加权，该预处理步骤包括将该图象分割成多个区域以检测分离物区。所提议的方法基于连接的控制器，通过合并其平面区域该控制器能够过滤一个信号。这种过滤所提供的优点是简化该图象，因为去掉了一些成分，同时完整地保留了涉及没有被去除的成分的轮廓信息。

本发明的另一个目的是提供一个用于执行所述方法的静态图象产生装置。

为此，本发明涉及从一个包括连续的视频对象VO产生诸如子图象或马赛克图象的大的静态图象M(n)的装置，所述装置包括：

(A)一个运动计算电路，用于计算相对于在该序列的该当前视频对象和先前产生的静态图象M(n-1)之间的相对运动的一个运动信息；

(B)一个卷曲电路，用于在所述当前视频对象和所述运动信息的基础上定义一个卷曲的视频对象WVO(n)；

(C)一个混合电路，用于更新该静态图象，通过混合M(n-1)和所述卷曲的视频对象使所述先前产生的静态图象M(n-1)由该新的M(n)来代替；

其特征在于：

(1)所述设备还包括一个基于区域的加权电路，用于接收该当前视频对象和该相关的运动信息，并且该加权电路包括：

一个基于象素的误差图定义电路，对于所述当前视频对象的每一图象元素(x，y)，该电路用于构造该卷曲的视频对象和该先前的静态图象M(n-1)之间在所述图象元素(x，y)的误差r(x，y)的图；

一个空间过滤电路，用于将所述基于象素的误差图变换为一个基于区域的误差图；

一个加权电路，其对于每一象素用于计算一个加权系数W_WVO(n)[x，y]，该系数与所述误差有关，并且同时用于选择属于前景对象的区域和在该混合步骤之前作为分离物丢弃它们；

(2)对于每一象素[x，y]，用于确定该新近产生的静态图象M(n)的该混合电路中所使用的混合公式根据下列混合公式考虑所述加权系数：

$M\left(n\right)[x,y]=\frac{\mathrm{wM}(n-1)\left)\right[x,y]\·M(n-1)[x,y\left]\right)+\mathrm{wWVO}\left(n\right)[x,y]\·\mathrm{WVO}\left(n\right)[x,y])}{\mathrm{wM}(n-1)+\mathrm{wWVO}\left(n\right)}$

其中各项的定义如下：

(a)n＞0；

(b)对于任一(x，y)，W_M(0)＝0；

(c)对于任一(x，y)，

$w_{\mathrm{WVO}\left(n\right)}[x,y]=\frac{1}{r(x,y)}\frac{d}{\mathrm{dr}}\mathrm{\ρ}\left(r(x,y)\right)$

(d)W_M(n)＝W_M(n-1)+W_WVO(n)

p是用于该运动计算电路中的洛伦兹函数M估算值。

附图的简要描述

下面将参照附图更详细地解释本发明的特点和优点，其中：

图1显示了一个先前的静态图象产生装置的方案；

图2显示了根据本发明的一个静态图象产生装置的一种实现。

本发明的描述

图2中示出了在一个马赛克图象的情况下实现根据本发明的方法的装置。如前所述，等同于级11的一个运动计算级21接收连续的视频对象帧VO(1)，VO(2)，VO(3)，…，VO(i)，…，VO(n-1)，VO(n)。然后一个马赛克增长级23用于刷新在一个存储器22中存储的前面一个图象(M(n-1))构建新的马赛克M(n)。

一旦如在前面所述欧洲专利申请中描述的那样执行了该运动计算，该马赛克增长级23用于卷曲该当前视频帧VO(n)以及将之与该马赛克混合。该级23包括下列电路：一个卷曲电路231，一个误差图定义电路232，一个空间分段电路233，一个系数计算电路234和一个混合电路235。电路231、232和235与对应的电路131、132和135相同。

在图1中，根据表达式(2)该基于象素的加权电路对于每一图形元素(象素)计算一个加权系数W_WVO(n)(该整个误差图的构建是在该误差图定义电路132中进行的，该加权系数的随后计算是在该系数计算电路133中进行的)。根据本发明，将一个基于形态数学(morphologicalmathematics)的空间分段子步骤加到实现该误差图的构建的电路232之后。在一个空间分段电路233中进行的这一附加的子步骤将该原始的基于象素的误差图转换为一个基于区域的加权图，该基于区域的加权图允许检测属于前景目标的区域以及在将该当前视频帧VO(n)与该马赛克M(n-1)混合时有效地丢弃它们。由于该误差图是基于象素的，一些对象没有很好地检测为前景，因为它们中只有一些象素被认为是分离物信息。由于要将该图象分段为各个区域，所增加的实现形态分段的该空间预处理子步骤允许检测该分离物区以及丢弃它们。

例如在文献US 5867605(PHF96629)中描述了这一分段方法，该方法基于连接的算子(operator)，并且允许将该基于象素的分离物图过滤成一个基于目标的分离物图。通过合并平面区而不影响目标的边界，该类形态数学控制器的优点是简化了图象并且保留该轮廓信息(即完全保留没有除去的成分)，该算子对于由平面区组成的图象的一个层次化结构的树状表示进行运算(检测该一致性区域之后，通过一个标记步骤基于该误差图信息，以及接着通过一个维特比(Viterbi)算法的实现来完成，该维特比算法裁剪该树并且判断加权区域)。在当前的情况下，该图象是该视频帧的亮度分量，但是该方法也对这些视频帧的其他转换起作用。

Claims (4)

1、一种用于从包括连续的视频对象VO的一个视频序列产生静态图象M(n)的方法，所述方法包括下列步骤：

(A)相对于先前产生的静态图象M(n-1)，计算关于该序列的当前视频对象VO(n)的运动参数，所述运动参数是一个运动矢量的分量(Dx，Dy)，其中Dx和Dy是其系数取决于所考虑的模型的类型的函数；

(B)在所述计算的运动参数的基础上，卷曲所述当前视频对象VO(n)，所述卷曲步骤相应于根据所述运动参数所针对的对象的失真；

(C)将所得到的卷曲的视频对象WVO(n)与先前产生的静态图象M(n-1)混合；

其特征在于：

(1)所述方法在所述卷曲和混合步骤之间还包括另外一个步骤，该步骤包括：

第一基于象素的误差图定义子步骤，对于当前视频对象VO(n)的每一图象元素，该步骤用于在所述图象元素(x，y)上构造该卷曲的视频对象WVO(n)和该静态图象M(n-1)之间的误差r(x，y)的图，或者预测数据与其实际数值之间的亮度差的图；

第二空间过滤子步骤，用于将所述基于象素的误差图变换为一个基于区域的误差图；

第三加权子步骤，其用于对于每一象素计算一个加权系数W_WVO(n)[x，y]，该系数与所述误差有关，并且同时用于选择属于前景对象的区域和在该混合步骤之前作为分离物丢弃它们；

(2)对于每一象素[x，y]，用于确定该新近产生的静态图象M(n)的该混合步骤，为了确定所述静态图像的亮度和色度值，根据下列混合公式使用所述加权系数：

$M\left(n\right)[x,y]=\frac{\left(w\left(M(n-1)\right[x,y\left]\right)M(n-1)\right[x,y\left]\right)+\left(\mathrm{wWVO}\left(n\right)\right[x,y\left]\mathrm{WVO}\left(n\right)\right[x,y\left]\right)}{\mathrm{wM}(n-1)+\mathrm{wWVO}\left(n\right)}$

其中各项的定义如下：

(a)n＞0；

(b)对于任一(x，y)，W_M(0)＝0；

(c)对于任一(x，y)，

$w_{\mathrm{WVO}\left(n\right)}[x,y]=\frac{1}{r(x,y)}\frac{d}{\mathrm{dr}}\mathrm{\ρ}\left(r(x,y)\right);$

(d)W_M(n)＝W_M(n-1)+W_WVO(n)；

p是用于该运动计算步骤中的洛伦兹函数M估算值。

2、根据权利要求1的方法，其特征在于所述静态图像是子图象或马赛克图象。

3、一个从包括连续的视频对象VO的视频序列产生静态图象M(n)的装置，所述装置包括：

(A)一个运动计算电路，用于计算关于在该序列的该当前视频对象和先前产生的静态图象M(n-1)之间的相对运动的运动参数，所述运动参数是一个运动矢量的分量(Dx，Dy)，其中Dx和Dy是其系数取决于所针对的模型的类型的函数；

(B)一个卷曲电路，用于在所述当前视频对象和所述运动参数的基础上定义一个卷曲的视频对象WVO(n)；

(C)一个混合电路，用于更新该静态图象，通过混合M(n-1)和所述卷曲的视频对象WVO(n)使所述先前产生的静态图象M(n-1)由该新的M(n)来代替；

其特征在于：

(1)所述装置还包括一个基于区域的加权电路，用于接收该当前视频对象和该相关的运动参数，它包括：

一个基于象素的误差图定义电路，对于所述当前视频对象的每一图象元素(x，y)，该电路用于在所述图象元素(x，y)上构造该卷曲的视频对象和该先前的静态图象M(n-1)之间的误差r(x，y)的图；

一个空间过滤电路，用于将所述基于象素的误差图变换为一个基于区域的误差图；

一个加权单元，其对于每一象素用于计算一个加权系数W_WVO(n)[x，y]，该系数与所述误差有关，并且同时用于选择属于前景对象的区域和在该混合步骤之前作为分离物丢弃它们；

(2)对于每一象素[x，y]，用于确定该新近产生的静态图象M(n)的该混合电路中使用的混合公式，为了确定所述静态图像的亮度和色度值，根据下列混合公式使用所计算的加权系数：

$M\left(n\right)[x,y]=\frac{\left(w\left(M(n-1)\right[x,y\left]\right)\right)+\left(\mathrm{wWVO}\left(n\right)\right[x,y\left]\mathrm{WVO}\left(n\right)\right[x,y\left]\right)}{\mathrm{wM}(n-1)+\mathrm{wWVO}\left(n\right)}$

其中各项的定义如下：

(a)n＞0；

(b)对于任一(x，y)，W_M(0)＝0；

(c)对于任一(x，y)， $w_{\mathrm{WVO}\left(n\right)}[x,y]=\frac{1}{r(x,y)}\frac{d}{\mathrm{dr}}\mathrm{\ρ}\left(r(x,y)\right);$

(d)W_M(n)＝W_M(n-1)+W_WVO(n)；

p是用于该运动计算步骤中的洛伦兹函数M估算值。

4.根据权利要求3的装置，其特征在于所述静态图像是子图象或马赛克图象。