CN1845611A

CN1845611A - 基于h.264的视频传输保护方法

Info

Publication number: CN1845611A
Application number: CN200510034127.6A
Authority: CN
Inventors: 罗忠; 宋彬; 周宁兆; 常义林
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2005-04-08
Filing date: 2005-04-08
Publication date: 2006-10-11
Also published as: WO2006105713A1; US20080144724A1

Abstract

本发明涉及视频传输保护技术，公开了一种基于H.264的视频传输保护方法，使得视频流保护策略能够根据网络通信情况自适应调整，以达到高效率、高可靠性的视频传输效果。本发明中，通过接收端统计通信质量并反馈给发送端，由发送端做自适应调整保护策略；接收端通过NALU序号的不连续情况统计累计丢包率和丢失数据的位置信息；接收端通过扩展SEI消息反馈统计信息给发送端；发送端设定两组保护策略系列分别保护关键数据和非关键数据，并根据反馈的累计丢包率，选择合适等级的保护策略；接收端将丢失数据位置信息发回给发送端，发送端重发这些丢失数据。

Description

基于H.264的视频传输保护方法

技术领域

本发明涉及视频传输保护技术，特别涉及基于H.264视频压缩编码标准的网络传输保护方法。

背景技术

国际电信联盟电信标准部(International Telecommunication UnionTelecommunication Standardization Sector，简称“ITU-T”)联合国际标准组织(International Organization for Standardization，简称“ISO”)和国际电工委员会(International Electrotechnical Commission，简称“IEC”)的运动图像专家组(Moving Picture Expert Group，简称“MPEG”)制定的H.264视频压缩编码标准，目前已经逐渐成为多媒体通信中的主流标准。大量采用H.264标准的多媒体实时通信产品，比如会议电视、可视电话、第三代(3rdGeneration，简称“3G”)移动通信终端，以及网络流媒体产品先后问世。是否支持H.264已经成为这个市场领域中决定产品竞争力的关键因素。尤其是随着3G移动通信系统的出现和网际协议(Internet Protocol，简称“IP”)网络的迅速发展，视频网络通信正逐步成为通信的主要业务之一。ITU-T继制定了H.261、H.263、H.263+等视频压缩标准后，于2003年正式发布了H.264标准，它同时也是MPEG-4第10部分的主要内容。H.264标准的制定更加有效地提高了视频编码效率和网络适配性，随着H.264的推广和使用，IP网络和移动无线网络的多媒体通信进入了一个飞跃发展的新阶段。

然而，由于H.264使用多种高效编码算法，使得视频码流对信道误码的敏感度增加，即使单个原发性错误也可能会造成恢复视频质量的急剧下降。比如在IP网络中，虽然采用了很多的承载层的服务质量(Quality of Service，简称“QoS”)管理策略，但是不可避免地存在网络带宽波动，导致丢包、包延迟等问题频繁发生。这类问题产生的传输错误，称为删除错误(ErasureError)，与之不同的是传统电路交换网络上的随机位错误(Random Bit Error)，相对于随机位错误，删除错误更难防止和纠正。在实际H.264视频通信中，由于丢包等引起的删除错误导致图像质量退化是非常严重的，更甚于引起解码端系统的崩溃。这是由于H.264相对于其它视频编码标准来说能力更强、效率更高、功能更丰富，反过来对于删除错误的承受能力也更低。因此，在基于H.264标准的视频通信中，必须采用有效的抗丢包等删除错误的技术，并结合多种视频抗误码方法，来保证恢复图像的质量。

传统的抗丢包错误技术有纠删码(Erasure Codes)、网络自动重传(Automatic Retransmission Request，简称“ARQ“)、交织打包(Interleaving)等，其中纠删码较为广泛使用。所谓纠删码就是把数据码流顺序逐段分割成大小相同的一个个单元或称为数据节点(Data Nodes)，按照一定的运算规则由数据节点计算产生校验节点(Check Nodes)。为了增强保护能力，可以对前一层校验节点计算产生后一层校验节点，得到多层校验节点，每次计算都将减少校验节点的数目，一般校验节点数目是按比例减少的。编码效率较高的纠删码具有较低的复杂度，比如按数据节点数的线性复杂度，称为线性时间特性(linear-time)。具有线性时间特性的纠删码在实时通信中更有用。

Tornado码就是一种具有线性时间特性的纠删码，它是由Michael Luby、Michael Mitzenmacher、Amin Shokrollahi等人于1998年前后发明的一种的新型纠删码。Tornado码结构简单、运算效率高、保护能力强，已被广泛应用在实际工程中，是多媒体传输错误控制编码的重要技术之一。Tornado码就是一种多层校验的纠删码，从底层数据节点逐层产生出多个校验节点层。校验节点和数据节点都由发送端通过网络发送给接收端。如果在网络传输过程中，部分节点丢失了，可以由上下层之间的运算关系及恢复方法根据没有丢失的其他节点恢复出来，这就是Tornado码保护数据的机制。

图1示出了Tornado码数据节点及各层校验节点间的关系。图中节点之间的连线称为边，表示边的左侧节点参与计算右侧节点，可见前后两层节点之间是一种多对多的逻辑关系。设数据节点个数为n，总的校验节点个数为m，则定义纠删码的码率r＝n/(n+m)和冗余率1-r＝m/(n+m)，在相同情况下(保护能力，造成的延迟等)，码率越高、冗余率越低，则纠删码的效率越高。Tornado码的结构和性能主要由三个因素决定：(a)数据节点的数目以及逐层递缩的规律，一般按等比例递缩；(b)产生下一层节点的计算方法；(c)相邻两层节点之间的关联关系。

Tornado码各个参数之间可以推得以下关系，数据节点的数目设为n，校验节点数目设为m，递缩比例设为p，校验节点层数为i，则前i-1层校验节点的数目分别为np、np²、...、np^i-1，而最后一层即第i层的数目定为npⁱ/(1-p)，这样得到总节点数n+m＝n+n+np²+..+np^i-1+npⁱ/(1-p)＝n/(1-p)，则有m＝np/(1-p)，即为递缩比例与校验节点数之间满足的隐含关系。因为要保证每层的节点数np、np²、...、np^i-1及npⁱ/(1-p)都是整数，即可根据给定的i和p计算出n的可行值，比如i＝4，p＝1/2，则可以推算出n必须为16的倍数。

Tornado码产生过程中最常采用的计算方法是异或运算，因为异或运算具有很方便的恢复功能。对于两个等长的位序列A＝[a₀，a₁，a₂，.....，a_L]，B＝[b₀，b₁，b₂，.....，b_L]，按位进行异或运算得到同样长的位序列C，则有以下性质：A与C异或得到B，B与C异或得到A；同样的对于多个序列之间的异或运算，也有相应的恢复方法。可见，经过异或运算后，数据节点或者校验节点之间即建立相互联系，任意一个节点丢失后，均可由所有其余节点恢复。由于最后一层校验节点的递缩比例不同，因此一般采用常规的纠错编码策略进行计算，比如Reed-Solomon码。

Tornado码的另一个重要因素就是前后层之间的关联关系，即下层的某个节点是由前一层的哪些节点计算得到的。根据图论，前后两层节点之间形成一个二部图，任意一条边的两端分别在前一层和后一层，前一层节点也称为左侧节点，后一层节点称为右侧节点，每个节点与其关联的边的条数称为度。根据Luby等人的随机图论数学证明，决定Tornado码的保护能力的参数实际上是前后层构成的二部图的两侧节点的度的向量，而这个度向量是随机产生的。在实际应用中，Tornado编码之前需要先确定节点度向量的随机分布，然后按照该分布随机匹配产生各级二部图，根据二部图左右节点间的关联即确定了前后层节点之间的关联关系。

在目前的Tornado码策略中，通过给定保护能力和其它要求，比如数据节点大小合理性，可以接受的最大网络延迟等，确定参数n，m，i，p等，并给定节点度向量的随机分布，并可进行Tornado编码。在接收端进行解码时，根据每一级的二部图，如果有一个右节点被正确接收，且与它相关联的所有左节点中只有一个节点丢失，那么该丢失的节点就可以通过这个右节点与所有未丢失的左节点恢复得到，即达到了纠错的效果。

另外还需要简单介绍H.264标准的消息构成及发送机制。H.264标准采用分层模式，定义了视频编码层(Video Coding Layer，简称“VCL”)和网络抽象层(Network Abstraction Layer，简称“NAL”)，后者专为网络传输设计，能适应不同网络中的视频传输，进一步提高网络的“亲和性”。H.264引入了面向IP包的编码机制，有利于网络中的分组传输，支持网络中视频的流媒体传输；具有较强的抗误码特性，特别适应丢包率高、干扰严重的无线视频传输的要求。H.264的所有待传送数据，包括图像数据及其他消息均封装为统一格式的包传送，即网络抽象层单元(NAL Unit，简称“NALU”)。每个NALU是一个一定语法元素的可变长字节字符串，包括包含一个字节的头信息，可用来表示数据类型，以及若干整数字节的负荷数据。一个NAL单元可以携带一个编码片或一个序列、图像的参数集。

H.264数据包含参考帧的纹理数据、序列参数、图像参数、补充增强消息(Supplemental Enhancement Information，简称“SEI”)等，这些数据是关键数据。另外数据还包含非参考帧纹理数据等，这些则是非关键数据或者叫做普通数据。其中，SEI消息是在H.264视频的解码、显示及其它方面起辅助作用的消息的统称。现有技术定义了各类SEI消息，同时保留了SEI预留消息，为未来的各种可能应用留下了扩展余地。根据H.264，SEI消息并非在解码过程重构亮度和色度图像所必需的。符合H.264标准的解码器，是不需要对于SEI作任何处理的。也就是说，不是所有符合H.264基本要求的终端都能够处理SEI消息的，但是对于不能处理SEI消息的终端，发送SEI对于它是没有影响的，它会简单地忽略掉它不能处理的SEI消息。按照SEI语法规则，用户可以利用预留消息传送自定义消息，实现功能扩展。

目前基于H.264标准的视频传输方法一般都采用固定参数的Tornado纠删码进行保护。

该方法首先需要根据应用需求和网络情况设计Tornado码的结构，根据给定保护能力和其它要求，比如音频、视频种类、速率大小等，来决定数据节点的大小、最大网络延迟等，并由此确定Tornado码的参数数据节点数n、校验节点数m、校验层数i、递缩比例p等，然后设计各级二部图的节点度向量的随机分布。之后，用随机匹配的方式生成各级节点之间的随机二部图。

开始通信时，发送端的视频编码器开始产生码流，把该需要保护的数据码流分割成大小相等的数据单元D₀，D₁，D₂，D₃，....，D_T，其中数据单元的大小由上一步骤确定。

从当前时刻t开始取n个数据节点D_t，D_t+1，....，D_t+n-1，初始值t＝0，根据之前生成的各级随机二部图，进行关联节点的计算，逐级生成各层校验节点MC⁽¹⁾，MC⁽²⁾，...，MC^(i-1)及最后校验节点层FC。

将所有生成的节点，包括数据节点和校验节点，通过某种网络打包方式，比如用户数据报协议(User Datagram Protocol，简称“UDP”)/IP或传输控制协议(Transfer Control Protocol，简称“TCP”)/IP，发送给接收端。

判断所有数据节点是否处理完毕，如果是，结束发送；否则，置t＝t+n，返回处理下一组数据节点。

在接收端，接收到一批数据节点和校验节点的后，首先判断哪些节点丢失，然后按照Tornado码的一般解码过程进行解码恢复那些能够被恢复的节点。重复这个解码恢复过程，直到通信过程结束。

需要说明的是，上述视频网络传输方法中给出的步骤顺序是逻辑步骤而非严格的时间先后顺序，在实时通信中，往往系统是一边编码压缩一边发送的，上述步骤在时间上可能交叠在一起。

在实际应用中，上述策略存在以下问题：网络情况的变化不稳定，通信质量波动较大，丢包等传输错误发生情况也有所变化，对于固定的Tornado码保护策略难以适应网络变化，或者由于通信条件恶劣而保护不足，造成媒体质量退化甚至解码系统崩溃；或者由于通信条件改善而保护过度，造成编码、处理、传输资源浪费，开销过大而降低系统效率。

造成这种情况的主要原因在于，用固定的纠删码策略保护视频通信流，无法适应网络通信变化。

发明内容

有鉴于此，本发明的主要目的在于提供一种基于H.264的视频传输保护方法，使得视频流保护策略能够根据网络通信情况自适应调整，以达到高效率、高可靠性的视频传输效果。

为实现上述目的，本发明提供了一种基于H.264的视频传输保护方法，包含以下步骤，

A发送端根据保护策略对视频流数据进行保护，并将其发送给接收端；

B所述接收端接收所述视频流数据，并统计通信质量，将统计信息发回给所述发送端；

C所述发送端根据所述统计信息调整所述保护策略。

其中，所述步骤B中，所述接收端根据接收到的所述视频流数据的网络抽象层单元序号，统计得到累计丢包率，作为所述统计信息，用于表征所述通信质量；

所述步骤C中，所述发送端根据所述累计丢包率调整所述保护策略。

此外，所述步骤B中，所述接收端根据接收到的所述视频流数据的网络抽象层单元序号，统计丢失的所述网络抽象层单元序号，作为所述统计信息，发回给所述发送端；

所述步骤C中，所述发送端根据所述丢失的网络抽象层单元序号，计算得到所述累计丢包率，用于表征所述通信质量，调整所述保护策略。

此外，所述步骤B中，所述接收端定义扩展补充增强消息，用于承载所述统计信息，将所述统计信息填入所述扩展补充增强消息，发回给所述发送端。

此外，所述发送端设置不同等级的保护策略系列，在所述步骤C中根据所述统计信息选择使用相应等级的所述保护策略。

此外，所述步骤B中，所述接收端根据接收到的所述视频流数据的网络抽象层单元序号，统计得到丢失视频流数据的位置信息，并将其发回给所述发送端；

所述步骤C中，所述发送端根据所述丢失视频流数据的位置信息，重新发送所述丢失视频流数据给所述接收端。

此外，所述扩展补充增强消息的载荷类型定义为用于承载所述统计信息。

此外，所述保护策略系列包含：第一保护策略系列，用于保护所述视频流数据的关键数据；第二保护策略系列，用于保护所述视频流数据的非关键数据。

此外，所述发送端设置累计丢包率阈值序列，在所述步骤C中，根据所述接收端发回的所述累计丢包率与所述累计丢包率阈值序列的对比关系，选择使用相应等级的所述保护策略。

此外，所述保护策略采用Tornado纠删码，不同能力的保护策略对应于具有不同参数的Tornado码

通过比较可以发现，本发明的技术策略与现有技术的主要区别在于，通过接收端统计通信质量并反馈给发送端，由发送端做自适应调整保护策略；

接收端通过NALU序号的不连续情况统计累计丢包率和丢失数据的位置信息；

接收端通过扩展SEI消息反馈统计信息给发送端；

发送端设定两组保护策略系列分别保护关键数据和非关键数据，并根据反馈的累计丢包率，选择合适等级的保护策略；

接收端将丢失数据位置信息发回给发送端，发送端重发这些丢失数据。

这种技术策略上的区别，带来了较为明显的有益效果，即统计、反馈、调整机制能够准确、及时地适应网络传输需求，提高保护能力，提高系统效率和可靠性；

根据NALU序号来进行统计，不但能保证统计信息精确无误，而且节省系统资源；

用扩展SEI消息传递可以节省开销、简化机制，且保证系统兼容性；

两种不同通信需求的数据进行分别保护，提高了系统效率；

丢失数据的重发机制有利于提高视频流通信的可靠性和服务质量。

附图说明

图1是Tornado纠删码原理示意图；

图2是根据本发明第一实施例的基于H.264的视频传输保护方法流程图。

具体实施方式

为使本发明的目的、技术策略和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

根据现有技术对于网络通信状况无法自适应调整的问题，本发明给出一种统计当前通信状况并自适应调整保护策略的自适应保护的视频传输方法。首先按照保护方法性能影响，给出不同参数配置，设置保护能力不同的多等级保护策略，用于在不同通信状况下被选用于进行高效可靠的保护；其次，在接收端根据通信情况统计网络状况、通信质量，并将其发回给发送端；最后由发送端根据发回的通信质量统计信息进行调整，选择最合适的保护策略等级。

本发明的关键还在于统计通信质量的方法及发回统计信息的渠道。利用H.264 NALU的序号丢失情况可以统计丢包率及其位置等信息，并通过定义NALU中净荷部分的扩展SEI消息结构，用于承载该统计信息，从接收端传送统计数据到发送端。

图2示出了本发明的第一实施例的视频传输方法流程，大致由四个步骤组成：

如图2所示，在步骤201中，发送端对待发送的视频流数据进行Tornado纠删码保护，划分数据节点，计算产生校验节点，一起发送给接收端。

本发明的第一实施例采用Tornado纠删码作为保护策略，即根据前述Tornado纠删码的编码解码方法来对视频流数据进行保护。Tornado纠删码需要设定参数有：数据节点数目、校验节点数目、递缩比率、校验节点层数、用于计算校验节点的各级二部图。在视频流通信过程中，发送端将视频流数据分割为数据节点，然后按照Tornado编码方法产生校验节点，一起发送给接收端；接收端则按照Tornado解码方法进行纠错，获得视频流数据。

由于实际IP网络带宽等因素是经常变化而不稳定的，因此固定的保护策略将带来低效率或者高误码率等问题，因此本发明的第一实施例预先设定了保护力度不同等级的保护策略系列，分别用于在不同通信质量等级情况下保护视频流数据。可见，不同等级的保护策略可以适应网络通信质量的变化，不但能够满足信道劣化情况下的保护力度要求，而且能够在信号改善情况下适当调低保护力度，以减少系统开销，节约处理、带宽资源。

在本发明的第一实施例中，为了给定不同等级保护策略，需要设定不同参数的Tornado纠删码。根据前述影响Tornado纠删码保护性能的参数主要有数据节点数目、校验节点数目及二部图两侧节点度向量的随机分布，为简单起见，不同能力的Tornado码，一般不会有统一的二部图的，采用不同的数据节点数目和校验节点数目来给出不同保护力度的Tornado纠删码保护策略。根据Tornado纠删码原理，不同数据节点数目和校验节点数目即能确定不同码率或冗余率的Tornado纠删码，从而给出不同的保护力度和系统开销。

熟悉本领域的技术人员可以理解，本发明可以采用除Tornado纠删码以外的其他方法作为保护策略，按策略参数的不同而设定不同的保护等级，以供选择调整保护力度，达到按通信情况进行自适应保护的发明目的，而不影响本发明的实质和范围。

在步骤202中，接收端接收数据并进行Tornado纠删码解码得到视频流数据，同时根据数据丢失情况进行统计，得到统计信息表征通信质量。

发送端需要根据通信质量状况来进行保护策略调整，因此需要对传输情况进行统计，在本发明的第一实施例中，接收端根据H.264视频流程数据的NALU的序列号来统计传输情况。在基于H.264双向视频通信中，通信系统的各个终端都既有编码器、又有解码器。而NALU是序列编号的，即所有发送端发送出去的NALU具有统一的序列编号，因此，接收端可以根据收到NALU的序号，判断是否有NALU丢失。如果有NALU序号不连续就说明存在NALU丢失，中断的NALU序号就是丢失NALU的序号，其个数就是丢失的NALU数目。经过一段时间的累计，即可计算得到该段时间内丢失的NALU的总数目，再对该时间段内所有NALU数目进行归一化，即可得到累计丢包率(Accumulated Lost Slice Rate，简称″ALSR″)。当然，接收端也可以将丢包信息直接发回给发送端，由发送端进行统计。采用NALU序号来进行统计，不但能保证统计信息精确无误，而且直接利用现有数据信息，不需要额外的承载开销。

接着在步骤203中，接收端将统计信息以及其他数据丢失信息通过扩展SEI消息发回发送端。

在接收端统计得到关于传输情况的统计信息后，需要发回给发送端，在本发明的第一实施例中，定义了扩展SEI消息结构，专门用于承载从接收端发回的传输情况统计信息。接收端在完成统计后，将该信息写入专门定义的扩展SEI消息体中，然后写入该终端发回的编码码流的SEI域中，发回发送端。发送端收到该SEI消息后，即可直接得知统计信息，或者统计得到ALSR，从而建立发送端对于网络丢包率的真实感知机制。

如前所述SEI消息也由H.264码流的基本单位NALU所承载，每个SEI域包含一个或多个SEI消息，而SEI消息又由SEI头信息和SEI有效载荷组成。SEI头信息包括两个码字：载荷类型和载荷大小。其中载荷类型的长度不一定，比如类型在0到255之间时用一个字节表示，当类型在256到511之间时用两个字节0xFF00到0xFFFE表示，依次类推，这样用户可以自定义任意多种载荷类型。在现有H.264标准中，类型0到类型18标准中已定义为特定的信息，如缓存周期、图像定时等。由此可见H.264中定义的SEI域可根据需求存放足够多的用户自定义信息。在本发明的第一实施例中，在预留的SEI载荷类型中定义一种用于承载统计信息的扩展SEI消息。

如前所述，由于SEI消息是附属消息，有无SEI消息不影响正常的视频通信，因此本发明给出的扩展SEI消息并不影响现有的视频流通信，具有通用性。即如果通信双方终端都支持本发明策略，则可以利用SEI消息传递丢包统计数据，从而实施不同能力等级的自适应保护；如果有一方不支持，也不会影响正常的通信。可见，自定义的扩展SEI消息不会影响基于H.264视频通信系统的兼容性。另外，采用SEI消息来传递丢包统计数据的另外一个好处是节省开销，SEI是H.264码流的一部分，利用H.264码流本身来承载丢包统计数据，不需要开辟和维护额外的信道，传输高效、实现简单。

最后在步骤204中，发送端根据发回的统计信息进行Tornado纠删码的调整，使用更加合适当前传输情况的保护策略。

本发明的第一实施例最后发送端将要根据统计信息来调整保护策略，即选择合适等级的保护策略。这里发送端还要预先设定对应于不同保护等级的判断阈值系列，设定进入各个级别的阈值，然后根据ALSR所落在阈值选择其相应的等级。由此建立的传输情况的统计、反馈、调整机制能够准确、及时地适应网络传输需求，提高保护能力。

在本发明的第二实施例中，在上述第一实施例的基础上，对不同重要性的数据采用了不同的保护策略系列。考虑到关键数据和非关键数据的保护力度要求不同，本发明的第二实施例中，为了进一步提高适应度，设定了两个不同的保护策略系列，分别用于保护关键数据和非关键数据。这样，两种不同通信需求的数据，即可独立处理，按适合各自需求的保护力度选择保护策略，提高系统效率。

例如，用不同等级的Tornado码作为保护策略系列，其保护能力等级用参数n、1表征，其中n表示数据节点数，1表示校验节点数。用TN(n+1，n)表示由参数n、1确定的Tornado码保护策略。因此对应于关键数据的保护策略系列为：TN_K(n₀+1₀，n₀)，TN_K(n₁+1₁，n₁)，........，TN_K(n_L-1+1_L-1，n_L-1)；同样的对于非关键数据的保护策略系列为：TN_NK(n₀+1₀，n₀)，TN_NK(n₁+1₁，n₁)，........，TN_NK(n_L-1+1_L-1，n_L-1)。设定阈值系列0＜G₁，G₂，......，G_L-1＜1，即用于判断选择保护等级。发送端在调整保护策略时，根据ALSR和阈值G₁，G₂，......，G_L-1的关系，进行如下操作：

如果0＜A1SR＜G1，则采用TN_K(n₀+1₀，n₀)对于关键数据进行保护，采用TN_NK(n₀+1₀，n₀)对于非关键数据进行保护；

如果G_i＜A1SR＜G_i+1，i＝1，2，.....，L-2，则采用T_NK(n_i+1_i，n_i)对于关键数据进行保护，采用TN_NK(n_i+1_i，n_i)对于非关键数据进行保护；

如果G_L-1＜A1SR＜1，则采用TN_K(n_L-1+1_L-1，n_L-1)对于关键数据进行保护，采用TN_NK(n_L-1+1_L-1，n_L-1)对于非关键数据进行保护。

在本发明的第三实施例中，在上述第二实施例的基础上，发送端还根据接收端发回的丢失数据信息，重新发送这些信息。接收端在统计丢失的NALU信息时，同时获得丢失的NALU所对应包含的图像帧的位置信息，该信息包含所在帧的序号及帧中的位置。接收端将位置信息发回给发送端，发送端即可定位到对应的视频流数据，并重新发送。在实时视频通信中，延时太长的视频流数据已经失去了价值，但在某些业务需求情况下或者某种机制下，具有一定延时的数据仍然具有价值，比如在缓冲范围较大的视频通信中，只要延时的视频流数据仍然落在缓冲区内，这些数据就可以用于避免视频流播放的中断。可见第三实施例中给出的重发机制对于提高视频流通信的可靠性和服务质量具有重要价值的。

熟悉本领域的技术人员可以理解，在本发明的其他实施例中，接收端可以根据接收到的视频流数据的除NALU序号以外的其他信息来统计得到可以表征通信质量的统计量，接收端也可以采用除SEI以外的其他承载域来传递统计信息，发送端得到通信质量统计反馈后即可进行自适应调整，实现发明目的，而不影响本发明的实质和范围。

Claims

1.一种基于H.264的视频传输保护方法，其特征在于，包含以下步骤，

C所述发送端根据所述统计信息调整所述保护策略。

2.根据权利要求1所述的基于H.264的视频传输保护方法，其特征在于，所述步骤B中，所述接收端根据接收到的所述视频流数据的网络抽象层单元序号，统计得到累计丢包率，作为所述统计信息，用于表征所述通信质量；

3.根据权利要求1所述的基于H.264的视频传输保护方法，其特征在于，所述步骤B中，所述接收端根据接收到的所述视频流数据的网络抽象层单元序号，统计丢失的所述网络抽象层单元序号，作为所述统计信息，发回给所述发送端；

4.根据权利要求1至3中任一所述的基于H.264的视频传输保护方法，其特征在于，所述步骤B中，所述接收端定义扩展补充增强消息，用于承载所述统计信息，将所述统计信息填入所述扩展补充增强消息，发回给所述发送端。

5.根据权利要求1所述的基于H.264的视频传输保护方法，其特征在于，所述发送端设置不同等级的保护策略系列，在所述步骤C中根据所述统计信息选择使用相应等级的所述保护策略。

6.根据权利要求1所述的基于H.264的视频传输保护方法，其特征在于，所述步骤B中，所述接收端根据接收到的所述视频流数据的网络抽象层单元序号，统计得到丢失视频流数据的位置信息，并将其发回给所述发送端；

7.根据权利要求4所述的基于H.264的视频传输保护方法，其特征在于，所述扩展补充增强消息的载荷类型定义为用于承载所述统计信息。

8.根据权利要求5所述的基于H.264的视频传输保护方法，其特征在于，所述保护策略系列包含：第一保护策略系列，用于保护所述视频流数据的关键数据；第二保护策略系列，用于保护所述视频流数据的非关键数据。

9.根据权利要求2、3、5中任一权利要求所述的基于H.264的视频传输保护方法，其特征在于，所述发送端设置累计丢包率阈值序列，在所述步骤C中，根据所述接收端发回的所述累计丢包率与所述累计丢包率阈值序列的对比关系，选择使用相应等级的所述保护策略。

10.根据权利要求5或8所述的基于H.264的视频传输保护方法，其特征在于，所述保护策略采用Tornado纠删码，不同能力的保护策略对应于具有不同参数的Tornado码。