CN1633185A

CN1633185A - 视频信号编码/解码方法和装置及对应的无线电电信装置

Info

Publication number: CN1633185A
Application number: CNA2005100041642A
Authority: CN
Inventors: M·汉努克塞拉; K·卡拉
Original assignee: Nokia Oyj
Current assignee: Nokia Technologies Oy
Priority date: 2000-05-15
Filing date: 2001-05-14
Publication date: 2005-06-29
Anticipated expiration: 2021-05-14
Also published as: GB0011606D0; EP2148513A2; HUP0302055A3; EP1287699B1; EE05652B1; KR20030005348A; CN1440623A; ATE522086T1; EP1287699A2; WO2001089223A3; GB2362532B; KR100892119B1; CA2409027C; CA2409027A1; EE200200642A; JP2003533950A; JP4362259B2; BRPI0110770B1; KR20080083030A; GB2362532A

Abstract

本发明提供了一种对表示图像序列的视频信号进行编码，以形成一个编码视频信号的方法，所述方法包括：根据所述序列中当前图像的缺省参考图像形成至少一部分该当前图像的预测，所述方法还包括：为所述当前图像或者一部分所述当前图像提供一个指示符，该指示符在对编码的视频信号进行解码时，识别所述序列中的另一图像，该另一图像能够用作所述当前图像或者所述当前图像的所述部分的另一参考图像。

Description

视频信号编码/解码方法和装置及对应的无线电电信装置

本申请是申请号为01812480.1、申请日为2001年5月14日的原案申请的分案申请，该原案的在先申请号为0011606.1、在先申请日为2000年05月15日。

技术领域

本发明涉及视频编码。

背景技术

视频序列由一系列静止图像或帧构成。视频压缩方法是基于减少视频序列的冗余和感觉上不相关的部分。视频序列中的冗余度可以分为光谱、空间及时间冗余度。光谱冗余度指的是相同图像的不同色彩成分之间的相似性。空间冗余度是由图像中相邻像素之间的相似性所导致的。由于出现在先前图像中的对象也可能出现在当前图像中，因此存在时间冗余度。通过利用这种时间冗余度并且从称作锚点或参考图像的另一图像来预测当前图像，可以实现压缩。通过产生描述当前图像和先前图像之间运动的运动补偿数据，实现进一步压缩。

但是，仅通过减少序列的固有冗余度通常无法实现足够的压缩。因此，视频编码器还尝试降低视频序列中主观上不太重要的那些部分的质量。另外，通过压缩参数和系数的有效无损编码，减小了编码比特流的冗余度。主要技术是采用可变长度码。

视频压缩方法通常区分采用时间冗余度压缩和不采用时间冗余度压缩的图像。不采用时间冗余度压缩方法的压缩图像通常称作INTRA或I帧或I图像。时间上预测的图像通常是从出现在当前图像之前的图像进行正向预测，并且称作INTER或P帧。在INTER帧的情况下，预测的运动补偿图像几乎都不够精确，因此把空间上压缩的预测差错帧与各INTER帧相关联。INTER图像可以包含INTRA编码的区域。

许多视频压缩方案还采用了时间上双向预测的帧，它们通常称作B图像或B帧。B图像插入I和/或P帧的锚点图像对之间，并且根据这些锚点图像中任一个或两个来进行预测。与正向预测图像相比，B图像通常得到增大的压缩。B图像不用作锚点图像，也就是说，不根据它们来预测其它图像。因此，它们可以被(有意或无意地)丢弃，而不影响后续图像的图像质量。虽然与P图像相比，B图像可以改善压缩性能，但是它们的产生要求较大的计算复杂性和存储器用量，并且它们还引入额外的延迟。对于如视频流之类的非实时应用，这可能不成问题，但是在如电视会议之类的实时应用中就会产生问题。

压缩的视频剪辑通常由图像序列构成，它们可大致分为时间上独立的INTRA图像和时间上差分编码的INTER图像。由于INTRA图像中的压缩效率通常低于INTER图像，因此保守地使用INTRA图像，尤其是在较低比特率的应用中。

视频序列可以包含许多场景或镜头。不同场景之间，图像内容可能明显不同，因此，场景中的第一幅图像通常是INTRA编码的。电视和电影素材中存在频繁的场景变化，而在电视会议中场景剪接相对较少。另外，通常插入INTRA图像来停止重构的视频信号中的传输差错在时间上的传播，以及向视频比特流提供随机存取点。

压缩视频易受到传输差错的破坏，主要有两个原因。首先，由于利用了时间预测差分编码(INTER帧)，在空间和时间上都传播了差错。实际上，这意味着一旦出现差错，较长时间内肉眼容易看到。尤其易受影响的是低比特率的传输，其中只有少量INTRA编码的帧，因此在一段时间内时间上的差错传播不会停止。其次，可变长度码的使用增加了对差错的敏感度。当比特差错改变了码字时，解码器会丢失码字同步，并且还会对后续的无差错码字(包括若干比特)进行错误解码，直到下一个同步(或开始)码为止。同步码是一种位模式，它无法根据其它码字的任何合法组合来产生，把这些码不时地添加到比特流中来实现再同步。另外，在传输过程中丢失数据时会产生差错。例如，在IP网络中采用不可靠的UDP传输协议的视频应用中，网元可能丢弃部分的编码视频比特流。

接收机有许多方法来解决传输路径中引入的讹误。一般，在接收到信号时，首先检测传输差错，然后再由接收机来校正或隐藏。纠错是指将错误数据恢复到完全象以前从未引入任何差错一样的处理。差错隐藏是指隐藏传输差错的影响、使得在重构的视频序列中几乎看不到这些差错的处理。通常由源或传输编码添加一定量的冗余度，以便帮助差错检测、纠正以及隐藏。

现有大量已知的隐藏算法，在Y.Wang和Q.-F.Zhu的“视频通信的差错控制和隐藏：述评”(Proceedings of the IEEE，第86卷，第5期，1998年5月，第974-997页)中以及在P.Salama、N.B.Shroff E.J.Delp提交给IEEE Journal on Selected Areas in Communications的文章“编码视频中的差错隐藏”中，对这些算法提供了述评。

当前的视频编码标准为自给自足的视频比特流定义了语法。编撰时最通用的标准是ITU-T建议H.263，“低比特率通信的视频编码”，1998年2月；ISO/IEC 14496-2，“视听对象的通用编码，第2部分：视觉”，1999年(称作MPEG-4)；以及ITU-T建议H.262(ISO/IEC13818-2)(称作MPEG-2)。这些标准定义了用于比特流以及相应地用于图像序列和图像的分级结构。

在H.263中，分级结构具有四层：图像层、图段层、宏块层以及块层。图像层的数据包含影响整个图像区以及图像数据解码的参数。这种数据的绝大部分安排在所谓的图像信头中。

图段层可以是块层组或者一个片段层。缺省情况下，各图像被分为多个块组。一个块组(GOB)通常包含16个相继的像素行。各GOB的数据包含可选的GOB信头以及随后的宏块数据。如果使用可选的片段结构化模式，则各图像被分为若干片段而不是若干GOB。一个片段包含多个按扫描顺序排列的相继宏块。每片段的数据包含片段信头以及随后的宏块数据。

各GOB或片段被分成多个宏块。一个宏块涉及到亮度的16×16个像素(或2×2个块)，以及空间上相应的色度分量的8×8个像素(或块)。一个块涉及到亮度或色度的8×8个像素。

块层数据包含均匀量化的离散余弦变换系数，它们按Z字形顺序被扫描，采用游程长度编码器来处理，并采用可变长度码来编码。MPEG-2和MPEG-4层分级结构类似于H.263中的一个。

缺省情况下，这些标准利用时间上的前一锚点图像(I、EI、P或EP)作为时间预测的参考。这条信息不会被发送，也就是说，比特流不包含关于参考图像标识的信息。因此，解码器无法检测是否丢失了参考图像。许多传输编码器将视频数据以这样的方式分组化，使得它们将序号与各数据包相关联。但是，这类序号不与视频比特流相关。例如，一部分视频比特流可能包含P图像P1、B图像B2、P图像P3以及P图像P4的数据，它们按这种顺序被捕捉(以及被显示)。然而，该部分的视频比特流将会按以下顺序进行压缩、传送及解码：P1、P3、B2、P4，因为B2在能够被编码或解码之前需要P1和P3。假定每个图像有一个数据包，每个数据包含有一个序号，并且携带B2的数据包已丢失，则接收机能够根据数据包序号来检测该数据包丢失。但是，接收机无法检测是否丢失了P4的运动补偿参考图像或者是否丢失了B图像，在该情况下它能够正常地继续进行解码。

因此，解码器通常向发射机发送INTRA请求，并冻结显示器上的图像。但发射机可能无法响应这个请求。例如在非实时视频流应用中，发射机无法响应来自解码器的INTRA请求。因此，解码器冻结图像，直至接收到下一个INTRA帧。在实时应用、如电视会议中，发射机可能无法响应。例如，在多方会议中，编码器可能无法响应各个请求。解码器还是冻结图像，直到发射机输出INTRA帧。

发明内容

根据本发明的第一方面，提供一种对表示图像序列的视频信号进行编码的方法，该方法包括：接收要编码的当前图像；根据当前图像的缺省参考图像形成当前图像的时间预测；将缺省参考图像与至少一个另外的参考图像相比较；计算缺省参考图像与每个另外的参考图像之间的相似度；以及如果相似度满足预定标准，则输出标识另外的参考图像的指示符，并将该指示符与当前帧的时间预测相关联。

编码器可用这种指示符来指示解码器哪些图像极为类似于当前运动补偿参考图像，使得如果实际参考图像在传输过程中丢失，则这些图像之一可用作备用参考图像。如果解码器缺少实际参考图像但是可以获得备用参考图像，则解码器最好不要发出关于INTRA图像更新的请求。指示符可以称作备用参考图像编号，因为指示符向解码器指出哪个(些)参考图像类似于缺省参考图像。如果缺省参考图像由于某些原因而丢失，则这种“备用”参考图像可由解码器用来对当前帧解码。

备用参考图像编号可以与整个图像或图像的一部分有关。在前一种情况下，备用参考图像编号通常包含在图像信头中。在后一种情况下，备用参考图像编号包括在图像的图段信头或宏块信头中。在本发明的一种最佳实现中，视频信号是根据H.263标准编码的，而指示符包含在附加增强信息中。

所述方法最好还包括：根据当前图像的第一缺省参考图像和第二缺省参考图像形成当前图像的时间预测，所述第一缺省参考图像在时间上出现在当前图像之前，而所述第二缺省参考图像在时间上出现在当前图像之后；将第一缺省参考图像与在时间上出现在当前图像之前的至少一个另外的参考图像相比；计算第一缺省参考图像与每个另外的参考图像之间的相似度；以及如果相似度满足预定标准，则输出标识另外参考图像的指示符。

由此，提供用于正向预测帧而不用于反向预测帧的指示符。

最好是把缺省参考图像与多个另外的参考图像相比，并且为每个满足预定标准的另外的参考图像输出指示符。有利的是，把满足预定标准的另外的参考图像按照相似度的次序进行排列，并且按照排序使指示符与当前帧的时间预测相关，具有与缺省参考图像最近的相似度的另外的参考图像排在第一位。可以同时对图像的各部分、例如图像的块或其他非矩形区域进行比较。

根据本发明的第二方面，提供一种对表示图像序列的视频信号进行编码的方法，该方法包括：接收要编码的当前图像；根据当前图像的缺省参考图像形成当前图像的至少一部分的预测；比较缺省参考图像或当前图像的所述部分与序列中至少一个另外的图像的相应部分，从而得出相似度；以及如果相似度满足预定标准，则输出标识序列中所述另外的图像的关于当前帧的所述部分的指示符。

根据本发明的第三方面，提供一种对表示图像序列的编码视频信号进行解码的方法，所述编码信号包括已经通过根据当前图像的缺省参考图像形成当前图像的时间预测来编码的图像，所述方法包括：接收表示当前图像的编码视频信号并且对当前图像的至少图像信头进行解码，其中，当所述解码器无法对当前图像的缺省参考图像进行解码时，检查标识另外的参考图像的指示符，并且如果这样一个指示符与当前图像相关，则参考所述另外的参考图像对当前图像进行解码。

根据本发明的第四方面，提供一种视频编码器，它包括：用于接收表示图像序列的视频信号的输入；用于接收要编码的当前图像的输入；预测编码器，用于根据当前图像的缺省参考图像形成当前图像的时间预测；比较器，用于比较缺省参考图像或当前图像与至少一个另外的参考图像并且计算相似度；当相似度满足预定标准时，输出标识另外参考图像的指示符。

根据本发明的第五方面，提供一种视频解码器，它包括用于接收表示图像序列的编码视频信号的输入，所述编码信号包括已经通过根据当前图像的缺省参考图像形成当前图像的时间预测来编码的图像，所述解码器包括用于接收表示当前图像的编码视频信号的输入以及用于对当前图像的至少图像信头进行解码的处理器，其中，当解码器无法对当前图像的缺省参考图像进行解码时，所述解码器被设置成检查标识另外的参考图像的指示符，并且如果这样一个指示符与当前图像相关，则参考所述另外的参考图像对当前图像进行解码。

本发明还涉及无线电电信装置，其中包括上述的编码器和/或解码器。

附图说明

仅以举例的方式参照附图来描述本发明，图中：

图1表示一种多媒体移动通信系统；

图2表示多媒体终端的多媒体组件的一个实例；

图3表示视频编解码器的一个实例；

图3a表示根据本发明的视频编码器的更详细的视图；

图4说明根据本发明的视频编码器的第一实施例的操作；

图5说明根据本发明的视频编码器的第二种实现的操作；

图6表示根据H.263所知的比特流的语法；

图7表示根据本发明的编码器所输出的比特流的第一实例；

图8表示根据本发明的编码器所输出的比特流的第二实例；

图9表示根据本发明的编码器所输出的比特流的第三实例；

图10说明视频编码中用于SNR可缩放性的增强层；以及

图11说明视频编码中用于空间可缩放性的增强层。

具体实施方式

图1表示一种典型的多媒体移动通信系统。第一多媒体移动终端1通过到移动通信网络4的无线电链路3与第二多媒体移动终端2进行通信。在两个终端1、2之间发送控制数据以及多媒体数据。

图2表示终端1的典型多媒体组件。终端包括视频编解码器10、音频编解码器20、数据协议管理器30、控制管理器40、复用器/分用器50以及调制解调器60(如果需要的话)。视频编解码器10从终端的视频捕捉装置(未标出)(如摄像机)接收要编码的信号，以及从远程终端2接收要解码的信号，以供终端1在显示器70上显示。音频编解码器20从终端1的传声器(未标出)接收要编码的信号，以及从远程终端2接收要解码的信号，以便通过终端1的扬声器(未标出)再现。所述终端可以是便携式无线电通信装置、如无线电话。

控制管理器40控制视频编解码器10、音频编解码器20以及数据协议管理器30的操作。但是，由于本发明与视频编解码器10的操作有关，因此不再对音频编解码器20和数据协议管理器30进行讨论。

图3表示根据本发明的视频编解码器10的实例。视频编解码器包括编码器部分100和解码器部分200。编码器部分100包括输入101，用于从终端1的摄像机或视频源(未标出)接收视频信号。切换器102使编码器在编码的INTRA模式和INTER模式之间进行切换。所述视频编解码器10的编码器部分100包括DCT变换器103、量化器104、逆量化器108、逆DCT变换器109、加法器110、多个图像存储器107(具体情况参见图3a)、用于形成预测误差的减法器106、切换器113以及编码控制管理器105。

视频编解码器10的解码器部分200包括逆量化器120、逆DCT变换器121、运动补偿器122、多个图像存储器123以及控制器124。控制器124接收由分用器50从编码的多媒体流中分用的视频编解码器控制信号。实际上，编码器的控制器105和解码器的控制器124可以是同一处理器。

现在描述根据本发明的编码器的操作。视频编解码器10接收待编码的视频信号。视频编解码器的编码器100通过进行DCT变换、量化和运动补偿而对视频信号进行编码。然后把编码的视频信号输出到复用器50。复用器50将来自视频编解码器10的视频数据与来自控制器40的控制数据(以及所需的其他信号)复用成多媒体信号。终端1经由调制解调器60(如需要)向接收终端2输出这种多媒体信号。

在INTRA模式中，来自输入101的视频信号由DCT变换器103转换为DCT系数。然后，DCT系数被传递给将系数量化的量化器104。切换器102和量化器104均由视频编解码器的编码控制管理器105控制，编码控制管理器105还通过控制管理器40从接收终端2接收反馈控制。然后使量化器输出的数据通过逆量化器108并且对经过逆量化的数据运用逆DCT变换109，从而形成解码图像。然后把所得数据输入到加法器110。在INTRA模式中，这样设置切换器113，使得从切换器113到加法器110的输入被设置为零。把加法器110的两个输入加在一起，所得数据输入到图像存储器107。

在INTER模式中，对切换器102进行操作，以便从减法器106接收来自输入101的信号与存储在图像存储器107中的参考图像之差。从减法器106输出的差数据表示当前图像与存储在图像存储器107中的参考图像之间的预测误差。运动估算器111可以参考图像存储器107中的数据以传统方式产生运动补偿数据。

编码控制管理器105确定是应用INTRA还是应用INTER编码，或者完全根据减法器106的输出或者对接收解码器接收的反馈控制数据作出响应，确定是否对帧进行编码。在当前帧与参考帧之间的相似度很高或没有时间对该帧进行编码时，编码控制管理器可决定完全不对接收的帧进行编码。编码控制管理器相应地操作切换器102。

在不对反馈控制数据作出响应时，或者仅在编码开始时(所有其它帧是P帧)，或者按照一定间隔，例如每5秒，或者在减法器的输出超过阈值时，即当前图像和存储在图像存储器107中的图像被判定相差太大时，编码器通常将帧编码为INTRA帧。还可以对编码器进行编程，以便按特别规定的序列、如IBBPBBPBBPBBPBBIBBP等对帧进行编码。

视频编解码器输出经量化的DCT系数112a、量化索引112b(即所用量化器的详细资料)、表明所执行的编码模式(I或P/B)的INTRA/INTER标志112c、表明被编码的帧的号码的发送标志112d以及(在INTER模式中)被编码的图像的运动矢量112e。它们与其它多媒体信号共同由复用器50复用在一起。

下面参考图3a描述编码器100，图中表示视频编解码器的编码器100的简化视图。编码器100包括多个图像存储器107a-107g。尽管在此实例中表示出七个图像存储器，但是图像存储器的数目可以是两个或两个以上。

考虑这样的编码器，它被设置成对具有IBBPBBPBBPBBPBBPBBPBBI等的格式的输入信号进行编码。为了简化，假定编码器对输入信号的每一帧进行编码，即不跳过任何帧。这示于图4。

如前面提到的，按照0、1、2、3、4、5、6等顺序从视频捕捉装置中接收各帧，并且按照这样的顺序进行显示，即按照I0、B1、B2、P3、B4、B5、P6等顺序显示解码的帧。但是，以下列I0、P3、B1、B2、P6、B4、B5等顺序来对视频比特流进行压缩、发送和解码。这是因为每个B帧在其可以被编码/解码之前需要前面和后继的参考帧，也就是说，帧B1在它可被编码/解码之前需要帧I0和P3被编码/解码。

当接收到第一帧时，所有图像存储器107是空的，并且在编码控制器105的控制下把切换器102置于INTRA模式，使得输入信号按INTRA格式进行编码。输入信号被进行DCT变换和量化。这是按宏块基础在宏块上进行的。然后由逆量化器108和逆DCT109对所得信号进行解码。由于该帧被INTRA编码，切换器113是开路的。加法器110的输出被输入到第一图像存储器107a。为此，切换器114a是闭路的，而切换器114b-g是开路的。这样，帧存储器107a保存参考图像I0的解码版本。

下一个待编码的图像是帧3，它是从I0正向预测的。因此，当帧3在101输入时，切换器102改为INTER模式，最新的参考图像存储器的输出切换器115(即切换器115a)是闭合的，并且从输入信号中减去图像存储器107a的运动补偿内容，运动补偿数据已按照常规方式计算出来。然后，这种预测误差通过DCT 103和量化器104进行编码，并且通过逆量化器108和IDCT 109进行解码。切换器113然后闭合，切换器115a闭合，切换器114b闭合(其它切换器114和115开路)。因此，加法器110把解码图像加到图像存储器107a中存储的图像上，并且把结果存储在图像存储器107b中。

下一个待编码的帧是帧2，它被编码为B帧。这样，以常规方式使减法器106可获得两个帧存储器107a和107b的内容。由于B帧不构成任何其他帧的参考图像，所编码的B帧未被解码并存储在参考图像存储器中。

这样，在如上所述的情况下，在19帧之后，帧存储器107a到107g分别含有帧I0、P3、P6、P9、P12、P15和P18的解码版本。

在本发明中，当编码器以预测方式对帧进行编码时，编码控制管理器105可将帧与备用参考图像编号(SRPN)相关联。例如，SRPN可以与视频信号的P和B帧相关联，但不与I帧相关联。

编码器可以使用这个消息向解码器指明哪个或哪些参考图像类似于当前参考图像，使得如果实际参考图像在传输过程中丢失，它们之一可以用作备用参考图像。

当参考帧0对帧3进行编码时，参考图像存储器107a-g中没有存储其它参考帧。因此，没有SRPN与帧3相关联。类似地，当参考帧0和3对帧1和2进行双向编码时，在参考图像存储器107a-g中没有保存其它帧。因此，没有SRPN与这样帧中任一个相关联。

但是，当由帧3(图像存储器107b中存储帧3的解码版本)正向预测帧6时，图像存储器107a中也有帧I0的解码副本。编码器计算当前帧的缺省参考图像(即帧6所用的帧3)与其它占用的图像存储器、即图像存储器107a的内容之间的相似性。如果两个参考图像足够相似(例如，帧存储器107a和107b的内容之间的相关性超过阈值)，则编码器将SRPN与帧6的数据相关联。SRPN将帧0标识为备用参考图像。但是，如果相似性不够，则不将SRPN与帧6相关联。

产生相似度的方式不是本发明的内容，可以采用任何适当的相似度。例如，可以用绝对差之和(SAD)作为相似度。最好是，通过求出当前帧的缺省参考图像和另一“潜在”参考帧、即存储在图像存储器107之一中的帧中在空间上对应的像素之间在值上的差异来计算SAD。求出每个差的绝对值并且将绝对差值累加而形成SAD。这样，SAD表示缺省参考图像与其它潜在参考帧之间的相似性。显然，当它们之间的SAD低于阈值时，可以认为这两个图像是足够相似的。或者，当前图像的缺省参考帧与另一潜在帧的相似性可以利用图像直方图来评估。图像直方图是给定图像内像素值出现次数的量度，如果两个图像的直方图在很大程度上是对应的，则认为它们是相似的。

在本发明的另一实施例中，不是确定当前帧的缺省参考帧与另一潜在参考帧之间的相似性，而是编码器检查图像存储器107之一中现有的另一潜在参考帧与当前帧本身之间的相似性。在本发明的这另一实施例中，设置阈值以定义当前帧与潜在参考帧之间容许的最大差异。这样，呈现出与当前帧之间的足够高的相似性(小的差异)的任何存储帧都可用作当前图像的备用参考图像。而且，绝对差之和(SAD)、图像直方图或者任何其它适当的方法可用来评估当前帧与其它潜在参考帧之间的相似/差异的程度。

应当理解，当帧15要编码(为P帧)时，帧0、3、6、9和12的解码版本分别保存在图像存储器114a-e中。按照缺省情况，帧15参考存储在图像存储器107e中的帧12进行编码。编码器还对图像存储器107e中的数据与其它占用的图像存储器107a-d中存储的数据之间的相关性进行计算。编码器识别具有与图像存储器107e的内容、即正被编码的当前帧的缺省参考图像之间的最大相关性的图像存储器(由此得出参考图像)。然后，编码器将SRPN添加到编码数据中，指示所识别的参考图像。这个SRPN可以与以下所述的参考图像的时间参考相等。

可以将一个以上的SRPN与一帧相关联。在此情况下，SRPN在图像信头内按照相似性的次序来排序，最相似的参考图像(除缺省之外)被最先提及。

编码控制管理器105在输出112f上输出这个SRPN码字，指明与编码帧相关的备用参考图像编号。这由复用器复用到视频比特流中。

图4说明编码器的第一实施例的操作。图4的第一行表示从捕捉输入装置接收并在输入101上输入视频编码器的数据帧。图4的第二行表示输入信号中编码器决定编码的这些帧以及用来对各帧进行编码的编码模式。如上所述，在本例中，编码器被设置成对每帧进行编码，并且使用IBBP编码格式。

按INTRA模式对帧0编码；参考帧0和/或3将帧1编码为B帧；参考帧0和/或3将帧2编码为B帧；参考帧0将帧3编码为P帧；参考帧3和/或6将帧4编码为B帧；参考帧3和/或6将帧5编码为B帧；参考帧3将帧6编码为P帧；等等。

图4的第三行表示与编码信号的帧相关的SRPN字段。在本实施例中，SRPN与P帧和B帧相关联，如图4的第三行所示。编码帧的P帧和B帧是经过时间预测编码的，I帧则不是这样。

图4的第四行说明编码帧的时间参考(TR)。这是一个包含在H.263中的字段，将时间上的前一参考图像信头中的TR值加一，再加上自先前发送的参考图像以来跳过的图像或非参考图像的数目，从而形成TR的值。因此，在图4所示的实例中，所示各帧的TR与输入到101的原始信号的原始时序相同。

示出SRPN的可能值的实例。这些值指明如上所述的由编码器识别的备用参考帧的TR。尽管本例中仅示出每个预测编码图像的一个SRPN，但是，如上所述，可以将一个以上的SRPN与每个预测编码图像相关联。

图5说明根据本发明的编码器的第二实施例的操作。在本实施例中，编码器被设置成按照常规的序列IBBPBBPBBPBBIBBPBBP对帧进行编码。但是，在本实施例中，SRPN仅与正向预测的帧(即P帧)相关联。

图5的第一行表示输入帧，第二行表示编码帧及其编码模式，即I、P或B。

图5的第三行表示与P帧相关的SRPN。这些可以按上面参照图3a描述的方式来产生。

图5的第四行表示编码帧的时间参考(TR)。在图4所示的实例中，所示的各帧的TR与输入到101的原始信号中各帧的原始时序相同。

考虑终端1从终端2接收编码的视频数据，参照视频编解码器10的解码作用对其操作进行说明。终端1从发送终端2接收多媒体信号。分用器50对多媒体信号进行分用，并将视频数据传递给视频编解码器10，以及将控制数据传递给控制管理器40。视频编解码器的解码器200通过对数据进行逆量化、逆DCT变换以及运动补偿，对编码的视频数据进行解码。解码器的控制器124检验所接收数据的完整性，如果检测到差错，则尝试以下述方式来隐藏该差错。然后把经过解码、纠错以及隐藏的视频数据存储在图像存储器123之一中，并且输出以便在接收终端1的显示器70中再现。

视频数据中的差错可能出现在图像层、GOB层或宏块层。差错检验可在任一层或每一层上进行。

首先考虑如图4所示的信号，当根据本发明的解码器接收这个信号时，对该信号的每帧以传统方式进行解码，然后显示在显示装置上。可按照传统方式对经过解码的帧进行纠错及隐藏差错。每次对帧进行解码时，解码器检查TR字段以确定显示该帧的时间。

在图4所示的情况下，解码器接收帧0，并根据其图像信头确定该帧经过INTRA编码。解码器不参考任何其它图像来对帧0解码，并且将其存储在图像存储器123a中。然后，解码器接收帧3并且从其图像信头中确定该帧被INTER编码成P帧。因此，解码器参考前面的参考帧0对帧3解码，并将其存储在下一图像存储器123b中。然后，解码器参考帧0和3对帧1和2解码，等等。这些帧不存储在图像存储器123中，因为这些帧是B图像，不用作任何其他帧的参考帧。

现在假定解码器(可能由于帧9的数据受到很大破坏或者一起丢失)无法对帧9解码(以及由此重构)。解码器收到的下一帧是帧7，其TR＝7并且SRPN＝0。由于解码器未对帧9(帧7的缺省参考图像之一)解码，所以解码器查找所接收帧的信头中的SRPN，以便进行反向预测。但是帧7不包含反向中的SRPN。因此，解码器无法对帧7进行解码。这对于帧8也是如此。

要接收的下一帧是帧12，它是参照图像9来编码的，并且具有SRPN＝6。由于帧9未被解码，所以解码器使用SRPN所指明的参考图像(即存储在图像存储器123c中的帧6)来对帧12解码。然后解码器接收帧10，该帧是参考帧9和12来编码的。帧9未被解码器解码。但是，帧10具有SRPN＝6。因此，解码器使用存储在图像存储器123c中的解码的参考帧6对帧10进行正向解码，而不是帧7。这对于帧11也是如此。

解码器可用多种方式来检测参考帧的遗漏，例如可以检查与每个编码帧的时序相关的信息。或者，如在同一日期由本申请人提交的英国专利申请中所描述的，可以按照顺序为编码信号的参考帧分配一个号码。

如果解码器具有向发送视频编码器发送控制反馈数据的装置，则解码器可以向发送视频编码器发送请求以将帧编码成INTRA帧，以便停止由参考帧6对帧10和11进行解码所导致的时间差错传播。解码器继续按常规方式对信号解码。

当解码器接收到作为INTRA帧的帧21时，解码器不参考任何其它帧对帧21解码，并且将解码后的帧存储在图像存储器123中。然后，解码器参考帧18和21对帧19和20进行解码。即使可能由参考帧6而不是帧9对帧12进行解码而将一些差错引入帧18，但是所产生的图像也是可接受的，并且不将显示图像保持在冻结状态，直到接收到INTRA图像。这可能对于观众而言更易接受。

现在考虑如图5所示的信号，当根据本发明的解码器接收这个信号时，按常规方式对该信号的各帧进行解码，然后显示在显示装置上。可按常规方式对经过解码的帧纠错及隐藏差错。每次对帧进行解码时，解码器检查TR字段以确定显示该帧的时间。

解码器接收作为INTRA帧的帧0并且相应地对其解码，并将其存储在图像存储器123a中。假定解码器无法重构帧3(这可能由于数据遭到极大破坏或一起丢失)并且解码器所接收和解码的下一帧是帧1。帧1是参考帧0和3编码的双向帧。由于帧3丢失，所以解码器无法重构帧1，对帧2也类似。B帧1和2已丢失的事实对于解码器是不重要的，因为B帧不构成任何其它帧的参考图像，因此它的丢失不会引入任何时间差错传播。解码器继续按照常规方式对信号解码。

解码器所接收并解码的下一帧是帧6。解码器已知前面的参考图像P3已丢失(因为它无法对帧1或2解码)。因此，解码器检查所接收的帧的信头以查找SRPN。解码器确定帧6具有SRPN＝0，所以使用图像存储器123a中的帧0来对帧6解码。

如果解码器具有向发送视频编码器发送控制反馈数据的装置，解码器就可以向发送视频编码器发送请求，以便将帧编码为INTRA帧，从而停止由于参考帧6对后续帧进行解码而产生的时间差错传播，其中帧6是参考帧0而不是缺省帧3来解码的。但是，解码器可以在其等待INTRA编码帧的同时继续解码并不冻结显示器上的图像。

下面参照H.263视频编码标准来说明如何可将备用参考图像编号包含在编码信号中。

图6说明根据H.263所知的比特流的语法。以下实现说明了GOB格式，但是，本领域的技术人员应当清楚，本发明也可按照片段格式来实现。

如前文所提到的，比特流具有四层：图像层、图段层、宏块层以及块层。图像层包括图像信头，其后是块组的数据，最后是可选的序列结束码及填充位。

先有技术H.263比特流被格式化成如图6所示。每个部分的描述符如下：

PSC 图像开始码(PSC)指示图像的开始

TR 通过把时间上的前一参考图像信头中的TR值加一并且

加上自先前发送的一个以来跳过的或非参考图像的数

目来形成时间参考(TR)

PTYPE 其中，PTYPE包括图像编码类型、即INTRA或INTER

的详细情况

PQUANT 指示直到由任何后续量化器信息更新为止用于图像的

量化器的码字

CPM 用信号通知可选的连续出现多点和视频复用(CPM)模

式的使用的码字

PSBI 图像子比特流指示符—仅在设置了CPM时出现

TR_B 在帧为双向预测帧(称作PB帧)的情况下出现

DBQUANT 在双向帧的情况下出现

PEI 这涉及额外插入信息，并设置为“1”以表示下列可

选数据字段PSUPP和PEI的出现。PSUPP和PEI统

称为补充增强信息，在H263的附录L中有进一步定

义

GOBS 是当前图像的块组的数据

ESTF 为获得EOS之前的字节对齐而提供的填充码字

EOS 表示图像的数据序列的结束的码字

PSTUF 供下一图像开始码PSC的字节对齐用的填充码字

如图6所示的结构不包括可选的PLUSTYPE数据字段。PSBI仅在CPM指示的情况下出现。TR_B和DBQUANT仅在PTYPE指示使用了所谓的PB帧模式的情况下出现(出现PLUSTYPE字段并且其中指示使用了DBQUANT的情况除外)。H.263规范中更详细地陈述了这些事项。

下文概述了根据本发明第一方面的编码器所输出的比特流的可能的实现。

备用参考图像编号可以按如下方式结合到H.263比特流中。图7说明根据本发明的第一种实现的编码器所输出的比特流的实例。如图7所示，比特流包括另一个码字SRPN，这是一个表示备用参考图像编号的码字。如上所述，它由根据本发明的编码器插入。

或者，SRPN可以包含在补充增强信息PSUPP中(参阅H.263的附录L以及图4)。补充信息可以出现于比特流中，即使解码器也许不能提供增强功能来使用它或者甚至是正确地解释它。简单地丢弃补充信息是解码器可允许的，除非外部装置已协商了提供所请求功能的需要。

如果PEI设置为“1”，则随后有9位，其中包括8位数据(PSUPP)以及另一个指示是否随后还有9位的PEI位，等等。

PSUPP数据包括一个4位函数类型指示FTYPE，随后有一个4位参数数据大小规格DSIZE，随后是函数参数数据的DSIZE字节，其后可选地跟随另一个FTYPE，等等。已知采用这种PSUPP码字来以信号方式通知各种情况，比如：指示整个图像或部分图像在调整或不调整大小的情况下冻结或取消冻结请求；标记视频流中的特定图像或图像序列以供外部使用；或者为视频合成传送色键信息。

为了采用补充增强信息来实现本发明，另一个FTYPE被定义为备用参考图像编号。

图8说明一个实例，其中，参数SRPN包含在图像信头的SEI中。FTYPE被定义为SRPN。DSIZE指定参数大小，随后的字节是参数数据、即SRPN的值。根据该值，接收解码器能够确定是否定义了备用参考图像，在丢失或破坏了主参考图像的情况下可以使用该备用参考图像。

或者，信息可以包含在附加的补充增强信息中，如“新附录W的草案：附加补充增强信息规范”(P.Ning和S.Wenger，ITU-T Study Group16 Question 15 Document Q15-I-58，1999年11月)所述。

在为附录W提议的草案中，FTYPE 14被定义为“图像消息”。在设置了这个FTYPE时，图像消息函数指示一个或多个代表消息数据的八位字节的出现。消息数据的第一个八位字节是具有如图9所示结构的消息信头，即CONT、EBIT以及MTYPE。DSIZE等于与图像消息函数对应的消息数据中八位字节的数量，包括第一个八位字节消息信头。

继续字段CONT如果等于1，则表示与图像消息相关的消息数据是与和下一图像消息函数相关的消息数据相同的逻辑消息的一部分。结束比特位置字段EBIT指定最后一个消息八位字节中应忽略的最低有效位的数量。这些字段的详细情况可查阅附录W。

字段MTYPE指示消息的类型。附录W的草案中建议了各种类型的消息。根据本发明，一种类型、如MTYPE 13被定义为备用参考图像。MTYPE 13的值被定义在消息信头之后的八位字节中。消息数据字节包含按照优先选择的次序排列的备用参考图像的图像编号(最佳选择排在第一)。图像编号指的是按照附录U或附录W的W.6.3.12部分发送的值。按照附录W的消息格式可用于P、B、PB、改进PB以及EP图像类型。但是，如果附录N或附录U正在使用，并且如果图像与多个参考图像相关，则最好不使用按照附录W的消息格式。对于EP图像，消息最好仅用于正向预测，而向上预测可以总是从时间上对应的参考层图像来进行。对于B、PB以及改进PB图像类型，消息指定用作正向运动预测参考的图像。如果图像是I或EI图像，则不应使用这种消息。

在具体实例中，其中指明一个备用参考图像，并且用10位来表示SRPN，这个消息包含一个数据字节，也就是说，DSIZE是3而CONT是0，EBIT是6。应当理解，DSIZE、CONT和EBIT的值会根据所指明的备用参考图像的数目和用以表示备用参考图像编号的精度(位数)而改变。如果指明一个以上的备用参考图像编号，则最好是消息数据字节包括按照优先选择的次序(最佳选择排在第一)排列的备用参考图像的备用参考图像编码。

参照对双向预测图像(B图像)进行编码的编码视频流进行以上描述。如上所述，B图像决不用作参考图像。由于它们可以被丢弃而不会影响后续图像的图像质量，因此，它们提供了时间可缩放性。可缩放性允许在一个以上的质量等级上对压缩视频序列进行解码。换句话说，可以对可缩放的多媒体剪辑进行压缩，使得它能够以不同的数据率在信道上进行传递，并且仍然可对其实时地解码和重放。

因此，视频流可以按照不同方式通过不同的解码器进行解码。例如，如果这是解码器能够获取的最大解码速率，则该解码器可以决定仅对信号的I和P图像进行解码。不过，在解码器有能力的情况下，它也可以对B图像进行解码，从而提高图像显示速率。因此，通过仅对I和P图像进行解码的解码器，会增强显示图像的所感受的图像质量。

通常对可缩放多媒体进行排序，使得存在数据的分层。基层包含多媒体剪辑的基本表示，而增强层则包含处于基础层之上的提炼数据。因此，增强层改进了剪辑的质量。

可缩放性是多机种、易出错环境所需要的特性。需要这种特性以防止某些限制，诸如比特率、显示分辨率、网络吞吐量以及解码器复杂度上的约束。

在分层编码与传输优先化相结合的传输系统中，可缩放性能够用来改进差错恢复力。这里，术语“传输优先化”是指在传输中提供不同业务质量的各种机制，包括不等差错保护，以便提供具有不同差错/丢失率的不同信道。数据可根据其特性进行不同的分配。例如，基层可通过具有高度差错保护的信道进行传送，而增强层则可通过较易出错的信道进行传送。

一般来说，与不可缩放编码相比，可缩放多媒体编码会遇到较差的压缩效率。换句话说，与编码成具有同等质量的不可缩放单层剪辑相比，编码成具有增强层的可缩放多媒体剪辑的多媒体剪辑需要更大的带宽。但是，这种一般规则存在例外情况，例如视频压缩中的时间上可缩放的B帧。

本发明可应用于其它可缩放视频压缩系统。例如，H.263附录O中定义了两种其它形式的可缩放性：信噪比(SNR)可缩放性和空间可缩放性。

空间可缩放性和SNR可缩放性密切相关，唯一差别在于通过空间可缩放性所提供的提高的空间分辨率。SNR可缩放图像的一个实例如图10所示。SNR可缩放性是指创建多速率比特流。它允许恢复原始图像与其重构图像之间的编码差错或差异。这是利用更精细的量化器对增强层中的差异图像进行编码来实现的。这种附加信息增大了整个再现图像的SNR。

空间可缩放性允许创建多分辨率的比特流，以满足不同的显示要求和/或约束。图11说明一种空间上可缩放的结构。它与SNR可缩放性基本相同，不同之处在于：空间增强层尝试恢复重构的参考层图像的上升抽样形式与原始图像的较高分辨率形式之间的编码损失。例如，如果参考层具有四分之一公用中间格式(QCIF)分辨率，而增强层具有公用中间格式(CIF)分辨率，则参考层图像必须相应地进行缩放，使得由其可预测增强层图像。对于单增强层，QCIF标准允许分辨率仅在垂直方向、仅在水平方向或同时在垂直和水平方向上增大到两倍。可以存在多个增强层，每层均在前一层上增加图像分辨率。用于对参考层图像进行上升抽样的内插滤波器在H.263标准中有明确的定义。除了从参考至增强层的上升抽样过程之外，空间缩放图像的处理及语法与SNR缩放图像相同。

无论在SNR还是在空间可缩放性中，增强层图像均称作EI或EP图像。如果增强层图像是以参考层中的图像为基础向上预测的，则增强层图像称作增强I(EI)图像。在这种类型的可缩放性中，参考层表示当前增强层“之下”的层。在某些情况下，当参考层图像的预测较差时，在增强层中会出现图像的静态部分的过度编码，产生不必要的过度比特率。为了避免这种问题，在增强层中允许正向预测。能够从前一增强层图像进行正向预测或者从参考层图像向上预测的图像称作增强P(EP)图像。应当指出，计算向上及正向预测图像的平均值能够为EP图像提供双向预测。对于EI和EP两种图像，根据参考层图像进行向上预测意味着不需要任何运动矢量。在EP图像的正向预测的情况下，需要运动矢量。

SRPN字段可与P、PB、改进PB以及增强层(EP)图像相关联。PB和改进PB帧的特性分别在H.263的附录G和附录M中描述。

但是，如果附录N或附录U正在使用并且如果图像与多个参考图像相关联，则不使用SRPN。对于PB和改进PB图像，消息一般仅涉及P部分。对于EP图像，消息用于正向预测，而向上预测是从时间上对应的参考层图像进行的。如果图像是I、EI或B图像，则最好不使用这种消息。

如果编码器能够进行多层编码(如H.263的附录O中所述)，则各层具有连续的备用参考图像编号。它们可与当前图像的增强层编号(ELNUM)相关联。备用参考图像编号是由相同增强层中前一编码参考图像的相应编号加1。但是，如果同一增强层中的相邻图像具有相同的时间参考，并且如果正在使用H.263的附录N或附录U，则解码器最好是将这种情况视为已发出大致相同的图像场景内容的冗余副本的指示，并且所有这些图像共用相同的图像编号。

还应当指出，根据本发明的实施例，有可能为当前图像的特定矩形区域指明SRPN。对于每个图像可能有多个消息，每个消息指定当前图像的非重叠矩形区域的SRPN。如果消息没有为图像的一些区域指定SRPN，那么，如果无法对根据其来预测一些区域的相应参考帧(或其区域)进行解码，则解码器可以使用差错隐蔽来隐藏那些区域中的差错。在此情况下，解码器最好使用与图像类型对应的隐藏方法，也就是说，对于INTRA图像，使用INTRA差错隐藏方法，对于INTER图像，使用INTER差错隐藏方法。

现在说明上述情况的一个具体实例，其中为当前图像的不同区域提供了SRPN值。每个SRPN消息包括SRPN和四个PSUPP八位字节，后者分别包括图像的指定矩形区域的左上角的水平和垂直位置、矩形区域的宽度和高度，每个采用八比特并且以(亮度图像的)16像素的单位来表示。例如，采用这种约定，整个QC正图像由四个参数(0、0、11、9)指定。

对于不可按照16划分的具有宽度和高度的图像格式，指定区域可以扩展到能按照16划分的下一个更大尺寸。例如，具有160×120像素的尺寸的整个图像由四个参数(0、0、10、8)来指定。最好是，指定区域不跨图像边界或者与相同图像中其它指定的错误隐藏区域重叠。

本发明可以在其它视频编码协议中实现。例如，MPEG-4定义所谓的用户数据，它可包含任何二进制数据并且不必与图像相关。附加字段可以添加到这些字段上。

本发明并未限制于上述视频编码协议：它们仅作为示范。本发明适用于任何可采用时间预测的视频编码协议。如果丢失了参考图像，如上所述的信息增加允许接收解码器确定最佳动作原因。

Claims

1.一种对表示图像序列的视频信号进行编码，以形成一个编码视频信号的方法，所述方法包括：根据所述序列中当前图像的缺省参考图像形成至少一部分该当前图像的预测，所述方法还包括：为所述当前图像或者一部分所述当前图像提供一个指示符，该指示符在对编码的视频信号进行解码时，识别所述序列中的另一图像，该另一图像能够用作所述当前图像或者所述当前图像的所述部分的另一参考图像。

2.如权利要求1所述的方法，还包括：识别所述序列中的所述另一图像，该另一图像能够用作所述当前图像或者所述当前图像的所述部分的另一参考图像是通过以下步骤进行的：将至少部分所述缺省参考图像或者当前图像与所述序列中至少一个另一图像进行比较，以便计算所述缺省参考图像或者当前图像与所述至少一个另一图像中的每一个之间的相似度，并且如果利用一个特定的另一图像计算的相似度满足一个预定标准，则输出一个指示符，该指示符将该特定的另一图像识别为序列中能够用作所述当前图像或者所述当前图像的所述部分的另一参考图像的图像。

3.如权利要求1所述的方法，还包括：根据所述当前图像的第一缺省参考图像和第二缺省参考图像形成至少一部分该当前图像的预测，所述第一缺省参考图像在时间上出现在所述当前图像之前，而所述第二缺省参考图像在时间上出现在所述当前图像之后，将所述第一缺省参考图像或所述当前图像的至少一部分与所述序列中在时间上出现在所述当前图像之前的至少一个另外的图像进行比较，以计算所述第一缺省参考图像或者当前图像与每个所述至少一个另外的图像之间的相似度，并且如果利用一个特定的另外的图像计算的所述相似度满足预定标准，则输出一个指示符，该指示符将该特定的另外的图像识别为序列中能够用作所述当前图像或者所述当前图像的所述部分的另一参考图像的图像。

4.如权利要求1所述的方法，还包括：将至少部分所述缺省参考图像或者当前图像与多个另外的图像进行比较，为各个另外的图像输出满足预定标准的指示符，并为所述当前图像或者所述当前图像的一部分提供多于一个指示符。

5.如权利要求4所述的方法，还包括：对所述满足预定标准的另外的图像进行排序，并且按照排序顺序为当前帧或者所述当前图像的所述部分提供其相关的指示符，与缺省参考图像或者当前图像具有最接近相似性的另外的图像被排列在最前面。

6.如以上任何一个权利要求所述的方法，其中所述指示符包括在编码的视频信号的图像信头中。

7.如权利要求1所述的方法，其中，如果所述指示符与一部分当前帧有关，则该指示符被包括在编码的视频信号的图像段信头或者宏块信头中。

8.如权利要求1所述的方法，其中，视频信号序列根据H.263视频压缩标准来编码，并且所述指示符被包括在补充增强信息中。

9.如权利要求1所述的方法，其中，识别另一图像作为序列中能够用作所述当前图像或者所述当前图像的所述部分的另一参考图像的图像的指示符指示该另一图像的时间参考。

10.如权利要求1所述的方法，其中，为B图像和P图像提供所述另外的参考图像。

11.如权利要求1所述的方法，其中，仅仅为P图像提供所述另外的参考图像。

12.如权利要求2或3所述的方法，其中，所述相似度是利用缺省参考图像和另一图像之间的像素值的差计算的绝对差的和。

13.如权利要求2或3所述的方法，其中，缺省参考图像和另一图像之间的相似性利用图像直方图来评估。

14.如权利要求1所述的方法，其中，所述视频信号被编码为可伸缩的视频序列，并且为该可伸缩的视频序列的可预测编码增强层图像提供另外的参考图像。

15.如权利要求1所述的方法，其中，为当前图像或者图像的一部分提供所述指示符。

16.一种对表示图像序列的编码视频信号进行解码的方法，所述编码视频信号包括已经通过以下步骤编码了的图像：根据所述当前图像的缺省参考图像形成至少一部分该当前图像的预测，所述方法包括：接收表示当前图像的编码视频信号，其中，当所述解码器无法对所述当前图像的缺省参考图像进行解码时，检查为当前图像或者当前图像的一部分提供的指示符，该指示符识别所述序列中的另一图像，该另一图像能够在通过参考所述另一图像来解码所述编码视频信号以及解码所述当前图像或者当前图像的所述部分时，用作所述当前图像或者所述当前图像的所述部分的另一参考图像。

17.如权利要求16所述的方法，包括：检查为所述当前图像或者所述当前图像的所述部分提供的多于一个指示符，所述多于一个指示符中的每一个在对所述编码视频信号进行解码时，识别序列中能够用作所述当前图像或者所述当前图像的所述部分的另一参考图像的另一图像。

18.如权利要求16所述的方法，其中，在为当前图像或者当前图像的一部分提供多于一个指示符时，根据等级在所述编码视频信号中为指示符排序，识别与缺省参考图像或者当前图像具有最接近相似性的图像的指示符作为等级顺序中的第一个，所述解码方法还包括：按照等级顺序，利用指示符识别的另外的图像作为当前图像或者当前图像的所述部分的另外的参考图像。

19.如权利要求16所述的方法，包括：从所述编码视频信号的图像信头获得一个或多个指示符。

20.如权利要求16所述的方法，包括：从所述编码视频信号的图像段信头或者宏块信头获得一个或多个指示符。

21.如权利要求16所述的方法，包括：从根据H.263视频压缩标准编码的视频序列的补充增强信息获得一个或多个指示符。

22.如权利要求16所述的方法，其中，识别另一图像作为序列中能够用作所述当前图像或者所述当前图像的所述部分的另一参考图像的图像的指示符指示该另一图像的时间参考。

23.如权利要求16所述的方法，其中，为B图像和P图像提供所述另外的参考图像。

24.如权利要求16所述的方法，其中，仅仅为P图像提供所述另外的参考图像。

25.如权利要求16所述的方法，其中，所述视频信号被编码为可伸缩的视频序列，并且为该可伸缩的视频序列的可预测编码增强层图像提供另外的参考图像。

26.一种视频编码器，用于对表示图像序列的视频信号进行编码，以形成一个编码视频信号，所述视频编码器被配置为：根据所述序列中当前图像的缺省参考图像形成至少一部分该当前图像的预测，并且还为所述当前图像或者一部分所述当前图像提供一个指示符，该指示符在对编码的视频信号进行解码时，识别所述序列中的另一图像，该另一图像能够用作所述当前图像或者所述当前图像的所述部分的另一参考图像。

27.如权利要求26所述的视频编码器，其中所述视频编码器还被配置为：所述识别所述序列中的另一图像，该另一图像能够用作所述当前图像或者所述当前图像的所述部分的另一参考图像是通过以下步骤进行的：将至少部分所述缺省参考图像或者当前图像与所述序列中至少一个另一图像进行比较，以便计算所述缺省参考图像或者当前图像与所述至少一个另一图像中的每一个之间的相似度，并且如果利用一个特定的另一图像计算的相似度满足一个预定标准，则输出一个指示符，该指示符将该特定的另一图像识别为序列中能够用作所述当前图像或者所述当前图像的所述部分的另一参考图像的图像。

28.如权利要求26所述的视频编码器，其中所述视频编码器被配置为：根据所述当前图像的第一缺省参考图像和第二缺省参考图像形成至少一部分该当前图像的预测，所述第一缺省参考图像在时间上出现在所述当前图像之前，而所述第二缺省参考图像在时间上出现在所述当前图像之后，将所述第一缺省参考图像或所述当前图像的至少一部分与所述序列中在时间上出现在所述当前图像之前的至少一个另外的图像进行比较，以计算所述第一缺省参考图像或者当前图像与每个所述至少一个另外的图像之间的相似度，并且如果利用一个特定的另外的图像计算的所述相似度满足预定标准，则输出一个指示符，该指示符将该特定的另外的图像识别为序列中能够用作所述当前图像或者所述当前图像的所述部分的另一参考图像的图像。

29.如权利要求26所述的视频编码器，其中所述视频编码器还被配置为：将至少部分所述缺省参考图像或者当前图像与多个另外的图像进行比较，为各个另外的图像输出满足预定标准的指示符，并为所述当前图像或者所述当前图像的一部分提供多于一个指示符。

30.如权利要求29所述的视频编码器，其中所述视频编码器还被配置为：对所述满足预定标准的另外的图像进行排序，并且按照排序顺序为当前帧或者所述当前图像的所述部分提供其相关的指示符，与缺省参考图像或者当前图像具有最接近相似性的另外的图像被排列在最前面。

31.如权利要求26所述的视频编码器，其中所述视频编码器被配置为：将所述一个或多个指示符包括在编码的视频信号的图像信头中。

32.如权利要求26所述的视频编码器，其中，如果所述指示符是为一部分当前帧提供的，则所述视频编码器配置为将其包括在编码的视频信号的图像段信头或者宏块信头中。

33.如权利要求26所述的视频编码器，其中，视频序列根据H.263视频压缩标准来编码，并且所述视频编码器被配置为将所述指示符包括在补充增强信息中。

34.如权利要求26所述的视频编码器，其中，所述视频编码器被配置为：利用该另一图像的时间参考作为识别另一图像作为序列中能够用作所述当前图像或者所述当前图像的所述部分的另一参考图像的图像的指示符。

35.如权利要求26所述的视频编码器，其中，所述视频编码器被配置为：为B图像和P图像提供所述另外的参考图像。

36.如权利要求26所述的视频编码器，其中，所述视频编码器被配置为：仅仅为P图像提供所述另外的参考图像。

37.如权利要求27或28所述的视频编码器，其中，所述视频编码器被配置为：将所述相似度确定为利用缺省参考图像和另一图像之间的像素值的差计算的绝对差的和。

38.如权利要求27或28所述的视频编码器，其中，所述视频编码器被配置为：利用图像直方图来评估缺省参考图像和另一图像之间的相似性。

39.如权利要求26所述的视频编码器，其中，所述视频编码器被配置为：将所述视频信号编码为可伸缩的视频序列，并且为可预测编码增强层图像提供另外的参考图像。

40.如权利要求26所述的视频编码器，其中，所述视频编码器被配置为：为当前图像或者图像的一部分提供所述指示符。

41.一种视频解码器，用于对表示图像序列的编码视频信号进行解码，所述编码视频信号包括已经通过以下步骤编码了的图像：根据所述当前图像的缺省参考图像形成至少一部分该当前图像的预测，所述解码器被配置为：接收表示当前图像的编码视频信号，其中，当所述解码器无法对所述当前图像的缺省参考图像进行解码时，所述解码器被配置为检查为当前图像或者当前图像的一部分提供的指示符，该指示符识别所述序列中能够用作所述当前图像或者所述当前图像的所述部分的另一参考图像的另一图像，并通过参考所述另一图像来解码所述当前图像。

42.如权利要求41所述的视频解码器，其中，所述视频解码器被配置为：检查为所述当前图像或者所述当前图像的所述部分提供的多于一个指示符，所述多于一个指示符中的每一个在对所述编码视频信号进行解码时，识别序列中能够用作所述当前图像或者所述当前图像的所述部分的另一参考图像的另一图像。

43.如权利要求42所述的视频解码器，其中，在为当前图像或者当前图像的一部分提供多于一个指示符时，根据等级在所述编码视频信号中为指示符排序，识别与缺省参考图像或者当前图像具有最接近相似性的图像的指示符被放置在等级顺序中的第一个，所述所述视频解码器被配置为：按照等级顺序，利用指示符识别的另外的图像作为当前图像或者当前图像的所述部分的另外的参考图像。

44.如权利要求41所述的视频解码器，其中，所述视频解码器被配置为：从所述编码视频信号的图像信头获得指示符。

45.如权利要求41所述的视频解码器，其中，所述视频解码器被配置为：从所述编码视频信号的图像段信头或者宏块信头获得指示符。

46.如权利要求41所述的视频解码器，其中，所述视频解码器被配置为：从根据H.263视频压缩标准编码的视频序列的补充增强信息获得指示符。

47.如权利要求41所述的视频解码器，其中，识别另一图像作为序列中能够用作所述当前图像或者所述当前图像的所述部分的另一参考图像的指示符指示该另一图像的时间参考。

48.如权利要求41所述的视频解码器，其中，所述视频解码器被配置为：解码一个可伸缩的编码视频序列，其中为该可伸缩的编码视频序列的可预测编码增强层图像提供另外的参考图像。

49.一种无线电电信装置，包括根据权利要求26至40中任何一项的编码器和/或根据权利要求41至48中任何一项的解码器。

50.一种多媒体终端装置，包括根据权利要求26至40中任何一项的编码器和/或根据权利要求41至48中任何一项的解码器。

51.一种表示图像序列的编码视频信号，该编码视频信号包括通过以下步骤编码的图像：根据所述序列中当前图像的缺省参考图像形成至少一部分该当前图像的预测，所述编码视频信号还包括为所述当前图像或者一部分所述当前图像提供的一个指示符，该指示符在对编码视频信号进行解码时，识别所述序列中的另一图像，该另一图像能够用作所述当前图像或者所述当前图像的所述部分的另一参考图像。

52.如权利要求51所述的编码视频信号，包括为所述当前图像或者所述当前图像的所述部分提供的多于一个指示符，所述多于一个指示符中的每一个在对所述编码视频信号进行解码时，识别序列中能够用作所述当前图像或者所述当前图像的所述部分的另一参考图像的另一图像。

53.如权利要求52所述的编码视频信号，其中，所述指示符根据等级顺序被包括在所述编码视频信号中，识别与缺省参考图像或者当前图像具有最接近相似性的图像的指示符作为等级顺序中的第一个。

54.如权利要求51所述的编码视频信号，包括：所述指示符包括在所述编码视频信号的图像信头中。

55.如权利要求51所述的编码视频信号，包括：所述指示符包括在所述编码视频信号的图像段信头或者宏块信头中。

56.如权利要求51所述的编码视频信号，其中，根据H.263视频压缩标准对视频图像序列进行编码，并且所述指示符包括在补充增强信息中。

57.如权利要求51所述的编码视频信号，其中，识别另一图像作为序列中能够用作所述当前图像或者所述当前图像的所述部分的另一参考图像的图像的指示符指示该另一图像的时间参考。

58.如权利要求51所述的编码视频信号，其中，为B图像和P图像提供另外的参考图像。

59.如权利要求51所述的编码视频信号，其中，仅仅为P图像提供另外的参考图像。

60.如权利要求51所述的编码视频信号，其中，所述视频信号被编码为可伸缩的视频序列，并且为该可伸缩的视频序列的可预测编码增强层图像提供另外的参考图像。

61.一种对表示图像序列的视频信号进行编码的方法，所述方法包括：接收要编码的当前图像；根据所述当前图像的缺省参考图像形成所述当前图像的时间预测；将所述缺省参考图像与至少一个另外的参考图像相比较；计算所述缺省参考图像与每个另外的参考图像之间的相似度；以及如果所述相似度满足预定标准，则输出标识所述另外的参考图像的指示符。

62.如权利要求61所述的方法，还包括：根据所述当前图像的第一缺省参考图像和第二缺省参考图像形成所述当前图像的时间预测，所述第一缺省参考图像在时间上出现在所述当前图像之前，而所述第二缺省参考图像在时间上出现在所述当前图像之后；将所述第一缺省参考图像与在时间上出现在所述当前图像之前的至少一个另外的参考图像相比；计算所述第一缺省参考图像与每个另外的参考图像之间的相似度；以及如果所述相似度满足预定标准，则输出标识所述另外的参考图像的指示符。

63.如权利要求61或62所述的方法，还包括：把所述缺省参考图像与多个另外的参考图像相比，并且为每个满足预定标准的另外的参考图像输出一个指示符。

64.如权利要求63所述的方法，还包括：把满足预定标准的所述另外的参考图像排序，并且按照排序使指示符与当前帧的时间预测相关联，具有与所述缺省参考图像最近的相似性的另外的参考图像排在第一位。

65.如任一前述权利要求所述的方法，其中，所述指示符包含在图像信头中。

66.如任一前述权利要求所述的方法，其中：所述视频信号是根据H.263视频压缩标准来编码的，并且所述指示符包含在补充增强信息中。

67.如任一前述权利要求所述的方法，其中，所述比较是同时对图像的各部分执行的。

68.一种对表示图像序列的视频信号进行编码的方法，该方法包括：接收要编码的当前图像；根据所述当前图像的缺省参考图像形成所述当前图像的至少一部分的预测；比较所述缺省参考图像或所述当前图像的所述部分与所述序列中至少一个另外的图像的相应部分，从而得出相似度；以及如果所述相似度满足预定标准，则输出标识所述序列中所述另外的图像的关于当前帧的所述部分的指示符。

69.一种对表示图像序列的编码视频信号进行解码的方法，所述编码信号包括已经通过根据当前图像的缺省参考图像形成当前图像的时间预测来编码的图像，所述方法包括：接收表示当前图像的编码视频信号并且对所述当前图像的至少图像信头进行解码，其中，当解码器无法对所述当前图像的缺省参考图像进行解码时，检查标识另外的参考图像的指示符，并且如果这样一个指示符与所述当前图像相关，则参考所述另外的参考图像对所述当前图像进行解码。

70.一种视频编码器，包括：用于接收表示图像序列的视频信号的输入端；用于接收要编码的当前图像的输入端；预测编码器，用于根据所述当前图像的缺省参考图像形成所述当前图像的时间预测；比较器，用于对所述缺省参考图像或所述当前图像与至少一个另外的参考图像进行比较并计算相似度；以及当所述相似度满足预定标准时，输出标识所述另外的参考图像的指示符。

71.一种视频解码器，包括：用于接收表示图像序列的编码视频信号的输入端，所述编码信号包括已经通过根据当前图像的缺省参考图像形成当前图像的时间预测来编码的图像，所述解码器还包括用于接收表示当前图像的编码视频信号的输入端；以及用于对当前图像的至少图像信头进行解码的处理器，其中，当所述解码器无法对当前图像的缺省参考图像进行解码时，所述解码器被设置成检查标识另外的参考图像的指示符，并且如果这样一个指示符与当前图像相关，则参考所述另外的参考图像对当前图像进行解码。

72.一种无线电电信装置，包括如权利要求70所述的编码器和/或如权利要求71所述的解码器。