CN1656809A

CN1656809A - 使用虚拟接收缓冲器吸收信道传输速率波动的传输方法

Info

Publication number: CN1656809A
Application number: CNA038116227A
Authority: CN
Inventors: L·发伊
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2002-05-22
Filing date: 2003-05-05
Publication date: 2005-08-17
Also published as: WO2003098935A3; JP2005526455A; AU2003225503A1; US20050201485A1; EP1510077A2; WO2003098935A2; KR20050010832A

Abstract

本发明涉及具有自适应比特率(称之为数据比特率)的数据流经由具有可变信道传输速率的传输信道的传输。接收器包括接收缓冲器和解码器。按照本发明：a)估算在所说接收缓冲器中数据缺乏和数据溢出的危险；b)计算当前的信道传输速率的估算值；c)如果存在数据缺乏的危险或数据溢出的危险，则根据所说的当前信道传输速率的估算值触发所说数据比特率的自适应调节。

Description

使用虚拟接收缓冲器吸收信道传输速率波动的传输方法

技术领域

本发明涉及一种传输系统，所说的传输系统包括：用于发送具有自适应比特率(称之为数据比特率)的数据流的发送器、包括接收缓冲器和解码器的接收器、和具有可变信道传输速率的传输信道。

本发明还涉及用在这种传输系统中的发送器。

本发明还涉及用于从发送器经由具有可变信道传输速率的传输信道向接收器发送具有自适应比特率的数据流的传输方法，所说的接收器包括接收缓冲器和解码器。

本发明还涉及一种包括指令的程序，用于当通过处理器执行所说的程序的时候实施这样一种传输方法。

本发明具有有益的应用，尤其是用于经由因特网的流音频和/或流视频内容。

背景技术

Reza Rejaie、Mark Haneley和Deborah Estrin的文章“用于因特网视频流的分层质量自适应(Layered Quality Adaptation forInternet Video Streaming)”(关于通信中的区域选择的IEEE杂志(IEEE journal on selected areas in Communications)，第18卷第12期，2000年12月)讨论了经由因特网的音频和视频内容的流问题。

如在这篇文章中说明的，一方面，因特网是一个共享的环境，在这里希望终端系统能对拥塞作出正确和立即的反应。为此，要根据网络状态确定流应用可得到的带宽。因此，带宽可能以一种不可预料的和可能较宽的方式变化。另一方面，视频流应用要求有相对恒定的带宽以提供具有一定质量的流。

为了同时满足这两个要求，因特网流应用应该是质量自适应的。这就意味着，流动应用应该调节所提供的流的质量，以使为发送这个流所需的带宽匹配可得到的带宽。为实现这种要求的一个解决方案是在多个预先编码的流之间进行切换，每一个流对应于一个不同的质量。

发明内容

本发明提出一种自适应调节(adapting)被发送的流的比特的改进方法。

按照本发明，对用于经由具有可变信道传输速率的传输信道向具有接收缓冲器和解码器的接收器发送具有自适应比特率(称之为数据比特率)的数据流的发送器进行配置，以便可以：

-估算在所说接收缓冲器中数据缺乏的危险；

-估算在所说接收缓冲器中数据溢出的危险；

-计算当前的信道传输速率的估算值；

-如果存在数据缺乏的危险或数据溢出的危险，则根据当前信道传输速率的所说估算值触发所说数据比特率的自适应调节(adaptation)。

按照本发明，只有在接收缓冲器中存在数据缺乏的危险或数据溢出的危险的条件下，数据比特率才进行自适应调节(adapted)。

这就意味着，本发明使用接收缓冲器来吸收信道传输速率的波动，只要接收缓冲器的填充状态允许这样作就行。在这方面，避免接收缓冲器的数据缺乏或数据溢出是最重要的，因为它会直接影响内容的复制。

通过限制数据比特率的变化，本发明改善了对于用户的主观全球质量。事实上，每当修改数据比特率时，在接收器一侧的复制(rendered)内容的质量都将变化，内容质量的过于频繁的改变对于终端用户来说是非常不方便的。

为了在发送器一侧获得接收缓冲器的填充内容的精确表示，要将经由传输信道的传输持续时间(transit duration)的当前值TD(t)考虑在内，从而估算数据缺乏和/或数据溢出的危险。

有益的作法是，由下述表达式给出传输持续时间的当前值：

这里，RTT(t)是所说往返时间的当前值，RTT_最小是所说的往返时间的最小值，α是一个不变的系数，在0和0.5之间。

当在与发送时间和解码时间有关的基本单元内组织所说的数据的时候，最好通过以下所述的来估算数据溢出和/或数据缺乏的危险：

-比较接收的数据的数量与解码的数据的数量；

-比较与还没有解码的已接收的基本单元有关的解码时间的最大值与最小值；

-如果基本单元的发送时间和当前的传输持续时间之和小于或等于当前时间，则认为这个基本单元已经被接收；如果超过了基本单元的解码时间，则认为这个基本单元已经被解码。

当基本单元的容量(size)是可变的时候，或者当两个相继的基本单元的解码时间之间的差是可变的时候，最好使用数据的数量和相关的复制持续时间这两者来估算数据缺乏的危险和数据溢出的危险。控制在接收缓冲器中存储的数据的数量可以保证：接收缓冲器决不会充满或排空。控制在接收缓冲器中存储的数据的复制持续时间允许在发送当中吸收小的时间空隙(holes)同时避免在接收缓冲器中存储过多数目的数据。这个实施例最好在按照MPEG-4标准对内容进行视频编码时采用，因为数据流包括称之为I帧和P帧的基本单元，这里P帧包含的数据比I帧少。

因为本发明在数据缺乏和数据溢出之前留有一定的余量，所以有可能控制基本单元的发送时间以迫使当前的信道传输速率的所说估算值成为发送器的发送速率，其中没有数据缺乏或数据溢出的任何危险。这是有益的，因为它改进了拥塞控制。

例如，像TCP或TFRC这样的控制速率协议控制基本单元的发送时间，从而可以迫使信道传输速率的估算值成为发送器的发送速率。本发明允许使用这样的控制速率协议，同时保持在接收缓冲器中有一定数量的数据。

附图说明

下面参照附图详细描述本发明。

图1是按照本发明的传输系统的第一实施例的功能方块图；

图2是按照本发明的传输系统的第二实施例的功能方块图；

图3是描述按照本发明的传输方法的步骤的流程图。

具体实施方式

按照本发明的传输系统包括：发送器TX、接收器RX、具有可变信道传输速率的传输信道CX、用于提供要经由传输信道CX发送的数据流D2的自适应源AS。自适应源AS用于根据当前的信道传输速率自适应调节数据流D2的比特率(在下面称之为数据比特率)。在图1中，自适应源AS是发送器TX的一部分。在图2中，自适应源AS和发送器TX是两个分开的实体。

在本发明的第一实施例中，自适应源AS包括文件开关，用于在多个预先编码的数据流S1，...，Sn之间进行切换，数据流S1，...，Sn是通过以对应于各种内容质量的各种编码速率R1，...，Rn对内容进行编码获得的。所说的预先编码的数据流可以本地地存储在自适应源AS的一个存储器内，或者存储在通过自适应源AS读出的可移动支持系统上，或者存储在远处的内容服务器内。

在本发明的第二实施例中，自适应源AS包括一个可变比特率编码器，用于以可变比特率对内容进行编码。

按照图1和图2，发送器TX包括发送/接收模块TB，用于实施ISO协议堆栈的头4层。在此例中，网络协议(ISO第3层)是IP(因特网协议)，传送协议(ISO层4)是在UDP(用户数据报文协议)上的RTP(实时传送协议)。由于UDP是没有速率控制的传送协议，所以发送器TX还要包括一个传输速率估算模块TCB。传输速率估算模块TCB从发送模块TB接收数据D1。传输速率估算模块TCB使用数据D1来计算当前信道传输速率的估算值MB(t)。将所说当前信道传输速率的估算值MB(t)转发到自适应源AS，用于自适应调节数据流D2的数据比特率。将数据流D2从自适应源AS发送到发送/接收模块TB，在这里按照上述的协议对其进行处理，以便可经由传输信道CX进行传送。

接收器RX也包括发送/接收模块和传输速率估算模块，与发送器TX的情况类似。在图1和图2中，接收器的发送/接收模块和传输速率估算模块分别携带参考信号RB、RCB。接收器RX还包括接收缓冲器MEM和解码器DEC。通过发送/接收模块RB处理经由传输信道接收的数据。然后，将所说的数据存储在接收缓冲器MEM中，之后再由解码器DEC进行处理。

本发明的目的之一是使用接收缓冲器MEM吸收信道传输速率的波动，同时避免接收缓冲器MEM的数据缺乏和数据溢出。因此在自适应源AS的上游方向提供接收缓冲器模拟模块VB，以便在发送器一侧产生接收缓冲器MEM的映射(image)。接收缓冲器模拟模块VB估算在接收缓冲器MEM中的数据缺乏的危险和数据溢出的危险，如果存在数据缺乏的危险或数据溢出的危险，则向自适应源AS发送一个触发信号TG。在接收到这样的触发信号时，自适应源AS自适应调节数据流D2的数据比特率。

在本发明的优选实施例中，在与发送时间Tsi和解码时间DTSi有关的基本单元Ui中组织数据流，所说的解码时间是相对于解码开始时间Td确定的。解码开始时间Td可以从发送器TX获知(例如，当接收缓冲器包含预定数目的字节或预定数目的基本单元时，发送器就可以获知：解码器开始解码了)。如果没有从发送器TX获知解码开始时间，接收器RX就必须向发送器发送一个RTCP消息，通知解码的开始(RTCP消息的格式是在以上所述的RTP传送协议中定义的)。必须向发送器TX发送解码器DEC的时钟的任何修改以更新解码开始时间Td的数值。

接收缓冲器模拟模块VB用于：

-存储发送时间TSi、解码时间DTSi、和每一个要发送到接收器RX的基本单元Ui的字节数；

-计算一个基本单元经由传输信道CX的传输持续时间TD(t)的当前值。

使用这些数据来确定：

-哪些基本单元应该被认为已由接收器RX接收，并且存储在接收缓冲器MEM中；

-哪些基本单元应该被认为已由解码器DEC处理。

例如：

-按照以下方式计算传输持续时间TD(t)的当前值：

这里，RTT(t)是通过RTP协议计算的往返时间，RTP_最小是往返时间的最小值，α是对应于传输信道上的拥塞的重新分配(repartition)的恒定系数：

如果拥塞只发生在下行链路(从发送器TX到接收器RX)，则α＝0；

如果拥塞等同地发生在下行链路和上行链路(从接收器RX到发送器TX)这两者上，则α＝0.5；

如果拥塞只发生在上行链路，则α＝1；

如果假设下行链路比上行链路更拥挤，则0≤α≤0.5。

-如果t≥TSi+TD(T)，则认为基本单元Ui已由接收器RX接收，并且存储在接收缓冲器MEM中；

-如果DTSi≤t-td，则认为基本单元Ui已由解码器DEC处理。

为了估算数据缺乏的危险和数据溢出的危险，接收缓冲器模拟模块VB可以使用两个标准：存储在接收缓冲器中的数据N(t)的数量(字节数或基本单元数)和/或存储在接收缓冲器中的数据的复制持续时间Δ(t)。

Δ(t)＝DTS_最大-DTS_最小

这里，DTS_最大是在接收缓冲器中最后接收的基本单元的解码时间，DTS_最小是在接收缓冲器中最老的基本单元的解码时间，n_i是在用字节数表示N(t)的情况下基本单元Ui中的字节数，或在用数据包数表示N(t)的情况下n_i等于1。

当基本单元的大小是可变的时候，或者当两个连续的基本单元的解码时间之间的差是可变的时候，最好使用至少用于估算数据缺乏的危险的两个标准。

下面参照附图3描述通过接收缓冲器模拟模块VB实施的算法的一个优选实施例。

-这个算法在步骤T0开始。

-在步骤T2，更新数据N(t)的数量和相关的复制持续时间Δ(t)。

-在步骤T3，执行数据缺乏测试。如果Δ(t)＞K1，并且如果N(t)＞βG(“是”分支)，则没有任何数据缺乏的危险。进行步骤T4。相反，如果Δ(t)≤K1，或者如果N(t)≤βG(“否”分支)，则有数据缺乏的危险。进行步骤T5。

-在步骤T4，执行数据溢出测试。如果Δ(t)＜K2，并且如果N(t)＜γG(“是”分支)，则没有任何数据溢出的危险。返回到步骤T0。相反，如果Δ(t)≥K2，或者如果N(t)≥γG(“否”分支)，则有数据溢出的危险。进行步骤T5。

-在步骤T5，按照下式计算在最后的往返时间RTT(t)期间的平均信道传输速率MB(t)：

MB (t) = \frac{i &Element; {k &Element; N / \overset{Σ n_{i}}{TSk &GreaterEqual;} t - RTT (t)}}{RTT (t)}

然后，执行步骤T6。

-在步骤T6，向自适应源AS发送一个触发信号，以使所说的自适应源AS能够根据当前的信道传输速率MB(t)自适应调节数据流D2的数据比特率。K1、K2、γ、β都是整数，并具有：0＜K1＜K2和0＜β＜γ＜1。例如，对于经由因特网和GPRS移动网络的传输，K1＝10s，K2＝15s，β＝0，1，γ＝0.9。

当自适应源是一个文件开关的时候，它切换到编码速率Ri最接近MB(t)的数据流Si(i＝1，...n)。按照另一种方式，为了提高算法的收敛性，该文件开关在数据缺乏的情况下切换到编码速率Ri最接近(1-ε)×MB(t)的数据流，在数据溢出的情况下切换到编码速率Ri最接近(1+ε)×MB(t)的数据流(例如ε＝0，1)。在执行了步骤T6后，返回到步骤T0。

在上述的算法中，切换没有考虑到基本单元的性质。在某些情况下，在切换之前，通过考虑基本单元的性质，可以改善复制的质量。当只有某些基本单元是解码器可以开始对接收的数据进行解码的随机访问点的时候就是这种情况(例如，在MPEG-4中，随机访问点对应于GOV，在GOV之后是I帧)。然后，该算法最好包括一个附加的起始步骤T1(在步骤T2之前)，以检验下一个要发送的基本单元是否是一个随机访问点(RAP)。

在图3中，步骤T1是用虚线表示的。在步骤T1，如果当前的基本单元是一个随机访问点，则执行步骤T2。否则，返回到步骤T0。

在图1和图2中，整形模块HB用虚线表示。这个整形模块是可选的。整形模块HB从传输速率估算模块TCB接收当前信道传输速率MB(t)的估算值并且控制数据流D2的基本单元的发送时间，以迫使所说的当前的信道传输速率的估算值成为发送器的发送速率。由自适应源AS提供的数据流D2通过整形模块HB，而后提供给发送/接收模块TB。

在另一个实施例(图中未示出)中，传输速率估算模块TCB和整形模块HB是单个模块(通常称之为速率控制模块)的组成部分。速率控制模块的功能可通过ISO协议堆栈的传送协议实现。例如，使用TFRC协议。

有益地，上述的功能可借助于指令组来实施，所说的指令组可在位于发送器上和接收器上的一个或多个计算机或数字处理器的控制下执行。

要说明的是，在不偏离本发明的范围的条件下，可提出对所述的传输系统、发送器、和传输方法的修改或改进。因此，本发明不限于这里给出的实例。

使用术语“包括”和它的变型并不排除存在在权利要求书中列举的那些元件或步骤以外的元件或步骤。

Claims

1.一种传输系统，所说的传输系统包括：用于发送具有自适应比特率(称之为数据比特率)的数据流的发送器、包括接收缓冲器和解码器的接收器、和具有可变信道传输速率的传输信道，对所说的发送器进行配置，以便可以：

-估算在所说接收缓冲器中数据缺乏的危险；

-估算在所说接收缓冲器中数据溢出的危险；

-计算当前的信道传输速率的估算值；

-如果存在数据缺乏的危险或数据溢出的危险，则根据所说的当前信道传输速率的估算值触发所说数据比特率的自适应调节。

2.根据权利要求1所述的传输系统，其中：所说的数据比特率的自适应调节是通过在多个预先编码的数据流之间切换进行的，所说预先编码的数据流是通过以各种编码速率对内容进行预先编码获得的。

3.根据权利要求1所述的传输系统，其中：所说的数据是在服从可变传输持续时间的基本单元中组织的，通过考虑所说传输持续时间的当前值估算所说的数据缺乏和数据溢出的危险。

4.根据权利要求3所述的传输系统，其中：所说传输信道具有可变的往返时间，所说的传输持续时间的当前值是通过下式计算出来的：

这里，RTT(t)是所说往返时间的当前值，RTT_最小是所说的往返时间的最小值，α是一个不变的系数，在0和1之间。

5.根据权利要求3所述的传输系统，其中：在与发送时间和解码时间有关的基本单元内组织所说的数据，通过以下所述的来估算所说数据溢出和所说数据缺乏的危险：

-比较接收的数据的数量与解码的数据的数量；和/或

-比较与还没有被解码的已接收的基本单元有关的解码时间的最大值与最小值；

6.根据权利要求1所述的传输系统，其中：所说的数据是在与发送时间有关的基本单元中组织的，所说的发送器还被配置成控制基本单元的发送时间以迫使所说的当前的信道传输速率的估算值成为发送器的发送速率。

7.一种用于经由传输信道向接收器发送具有自适应比特率的数据流的发送器，自适应比特率也称之为数据比特率，接收器包括接收缓冲器和解码器，传输信道具有可变信道传输速率，所说的发送器被配置成：

-估算在所说接收缓冲器中数据缺乏的危险；

-估算在所说接收缓冲器中数据溢出的危险；

-计算当前的信道传输速率的估算值；

8.根据权利要求7所述的发送器，其中：所说的数据比特率的自适应调节是通过在多个预先编码的数据流之间切换进行的，所说预先编码的数据流是通过以各种编码速率对内容进行预先编码获得的。

9.一种用于从发送器经由传输信道向接收器发送具有自适应比特率的数据流的传输方法，所说的自适应比特率也称之为数据比特率，所说的接收器包括接收缓冲器和解码器，所说的传输信道具有可变信道传输速率，所说的传输方法包括如下步骤：

-估算在所说接收缓冲器中数据缺乏的危险；

-估算在所说接收缓冲器中数据溢出的危险；

-计算当前的信道传输速率的估算值；

10.根据权利要求9所述的传输方法，其中：所说的数据比特率的自适应调节是通过在多个预先编码的数据流之间切换进行的，所说预先编码的数据流是通过以各种编码速率对内容进行预先编码获得的。

11.包括指令的程序，用于当通过一个处理器执行所说的程序的时候实施根据权利要求9或10所述的传输方法。