CN111615006B - 基于网络状态自评估的视频编码转换传输控制系统 - Google Patents

Abstract

本申请提供的基于网络状态自评估的视频编码转换传输控制系统，针对网络评估算法单纯依靠丢包率评判网络状态，评判划分过于粗略，作为视频传输速率调整依据局限性大等问题，提出了一种联合丢包率、网络延迟、迟延抖动作为网络状态评估要素的方法，网络状态的评判更加科学准确；针对网络处于具有过载趋势但还没有过载的情况下，不能采取有效的预控措施的问题，增加了网络过载预控方法，时机巧妙的处理网络过载问题；针对在网络过载过于严重，单纯的调整编码参数已不能进行过载控制的问题，提出了非关键帧主动舍弃方法，既保证了视频质量，有保证了传输质量，丢帧策略在编码前进行，减少了编码的工作量，更具鲁棒性和高效性。

Description

基于网络状态自评估的视频编码转换传输控制系统

技术领域

本申请涉及一种视频编码转换传输控制系统，特别涉及基于网络状态自评估的视频编码转换传输控制系统，属于视频编码转换传输技术领域。

背景技术

随着互联网技术的高速发展，用户对各种网络业务的服务质量要求也越来越高，网络服务质量和性能保障已成为当前的研发重点。在基于互联网的实时视频流媒体传输系统中，保障多媒体通信业务中的服务质量是关键，在实时视频网络通信系统设计中，对网络过载的控制是一个重点和难点，既不能造成网络资源的浪费，又要保证视频数据的丢包率和时延在合理的范围内，不能影响用户的视频观看效果。

由于现有技术的网络服务机制，在多媒体传输过程中不能提供服务质量保障，不能达到用户的需求，如何对视频网络过载进行控制已成为亟待解决的问题。多媒体网络通信中信道过载是由于网络可用资源不能满足实际信道中的数据传送量，超过了当前可用带宽而产生的。过载易导致抖动剧烈、数据丢失、时延超时、服务质量和资源利用率下降，严重时还会导致网络通信系统崩溃。

视频流媒体实时传输的主要特点是对网络可用资源的需求大、实时性要求高，可以允许一定的数据量丢失。为了提高网络可以用带宽的利用率，保障视频传输质量，需采取一定的控制策略对带宽进行正确的分配，预防网络过载的发生，若已经无法避免，就要及时进行控制。实时视频编码转换网络服务中对带宽和延迟要求较高，视频编解码和播出质量为其核心技术。如何保证服务质量，主要是解决延迟超时、网络过载、丢包率过大等问题。在网络可用资源有限，信道带宽波动状态下，采取什么样的传输控制方案来减少数据的丢失和时延是重要问题。视频编码转换是把原有格式的视频流转换成目标格式的视频流，是一种能够解决视频发送端与接收端兼容问题的技术。视频编码转换可完成不同格式的视频取样率、视频压缩标准、帧率和分辨率之间的相互转换，码流格式间的转换较灵敏，几乎可达到用户的各种要求，转换的目标码流可匹配当前网络状态、满足终端和用户要求。

在视频通信过程中，为保证视频质量，源码流首次压缩时的视频取样率通常较高，但当网络可用资源状况不能满足原始视频取样率时，就要对源码流进行新的压缩，压缩时设置较低的目标视频取样率，因此也就引出了编码转换过程中的视频取样率控制问题。在实时视频编码转换传输控制技术中，现有技术的视频取样率调整方法只适用于轻度的网络过载或相对较少的信道带宽情况。

现有技术有网络为中心的传输控制方法，设计方法与TCP协议建立的虚拟链路思路相似，但是有拓展性较差的缺点，提出了基于随机早期检测队列管理算法的一些改进算法，提出了修改延迟队列长度的计算方法，在这些算法并不适用于实时视频的通信技术，因为这些算法没有考虑视频播放图像画面质量的问题。

现有技术有视频取样率控制技术，提出了一种加增乘减算法，加增乘减算法是乘法减小和加法增大的结合，增加一个记忆过载功能，依据传输速率自适应改变动态加性要素和乘性要素，提高数据流的平稳性；但是这些方法中对于网络的评估划分只是单纯的依靠丢包率的反馈，因此，该算法在实时视频传输控制中具有很大的局限性。

现有技术有丢帧技术，在网络过载时，首先选择丢弃重要性较低的数据包。这种方法虽能减小网络的负载改善网络的性能，但是其缺点是直接牺牲掉一种业务流，这对于用于来说代价太大，一些改进方案可以灵活调整视频数据的网络负载量，使之在不改变用户视频图像质量的情况下尽最大可能适应网络性能，但是该方法计算复杂度较高，在实时视频编码转换服务中不常用。

综上，针对现有技术存在的一些缺陷，本申请拟解决以下问题：

一是现有技术中网络评估算法单纯依靠丢包率评判网络状态，在网络状态评判划分上过于粗略，作为视频传输速率调整依据局限性大等问题，提供的判定依据不可靠，网络状态的评判不够科学准确，不能为视频编码转换传输控制的分类决策打下了良好的基础。

二是现有技术的方法在网络处于具有过载趋势但还没有过载的情况下，不能采取有效的预控措施的问题，加增乘减算法没有网络过载预控方法，在网络欠载时不能采用和式增长要素增大比特率参数，在网络过载时不能采用乘式衰减要素减少比特率参数的值，对过载的发生没有预控，不能时机巧妙的处理网络过载问题。

三是现有技术在网络过载过于严重，单纯的调整编码参数已不能进行过载控制的问题，不能结合视频取样率调整策略，不能根据网络延迟要素大小选择舍弃部分类型的视频帧，视频质量和传输质量都得不到保障，编码的工作量一般较大。

四是现有技术在视频取样率算法的算法复杂度高，不容易实现，不能对视频取样率速降缓升调节，图像画面质量不平稳，对过载的控制速度慢，缓存区容易出现数据堆积现象，无法避免延迟时间过长和画面不连续等问题。

五是现有技术发没有实现面向实时视频编码转换的自评估自适应传输控制系统，网络传输控制能力和视频服务质量保障机制较差，网络状态的判定不精准，视频数据传输速率的调整无法匹配当前网络带宽，传输系统不具有鲁棒性和高效性。

发明内容

针对现有技术的不足，本申请提供的基于网络状态自评估的视频编码转换传输控制系统，针对现有技术中网络评估算法单纯依靠丢包率评判网络状态，在网络状态评判划分上过于粗略，作为视频传输速率调整依据局限性大等问题，提出了一种联合丢包率、网络延迟、迟延抖动作为网络状态评估要素的方法，为视频数据传输速率的自评估自适应调整提供了更可靠的判定依据，网络状态的评判更加科学准确，为视频编码转换传输控制的分类决策打下了良好的基础；针对现有技术的方法在网络处于具有过载趋势但还没有过载的情况下，不能采取有效的预控措施的问题，增加了网络过载预控方法，时机巧妙的处理网络过载问题；针对现有技术在网络过载过于严重，单纯的调整编码参数已不能进行过载控制的问题，提出了一种非关键帧主动舍弃方法，既保证了视频质量，有保证了传输质量，丢帧策略在编码之前进行，减少了编码的工作量，系统更具鲁棒性和高效性。

为达到以上技术效果，本申请所采用的技术方案如下：

基于网络状态自评估的视频编码转换传输控制系统，视频发送端自适应动态调整数据的传输速率和传输量，使传输的视频数据量与链路信道带宽相匹配；在网络状态自评估中，提出了一种联合丢包率、网络延迟、时延抖动作为网络状态评估要素的方法，将网络状态划分为欠载、常载和过载三种基本状态，在网络常载时，引入时延抖动要素评判当前网络是否具有过载趋势；在网络过载时，引入网络延迟要素评判网络过载程度等级，在自适应传输控制中，对基于加增乘减视频取样率调整算法进行优化，在加增乘减算法上增加了网络过载预控方法，当视频取样率参数调整到设置的最小值而网络仍然过载时，启用非关键帧主动舍弃方法，通过评估的网络过载等级选择丢弃的帧类型，降低传输的数据量，非关键帧主动舍弃策略在编码之前启用；

本申请基本工作流程为：用户在客户端设置基本的编码转换要求后，启动实时视频编码转换通信会话，客户端先向服务端发送公用信令，公用信令包括总路数、编码转换平台、编码转换顺序、编码转换模式信息，服务端收到公用信令后，根据上一次接收的公用信令，清除信令存储缓存和编码转换任务，然后创建新的信令存储缓存，并初始化缓存空间；然后客户端再发送请求信令，请求信令包括原始码流和目标码流的格式、帧率、分辨率、视频取样率信息，服务端接收到之后发送确认请求完毕信令，然后开始发送码流数据进行视频编码转换传输工作；服务端计算码流的丢包率、网络延迟、时延抖动参数值封装到SR报告包中，发送给客户端对网络状态进行评估和发送速率进行调整。

本申请针对视频编码转换传输控制系统中服务端向客户端的视频数据发送，把服务端作为发送端，客户端作为接收端，原始格式码流数据在发送端经过编码转换之后采用RTP协议发送给客户端接收播放，视频取样率参数的调整算法在编码转换器的编码函数中完成，非关键帧主动舍弃策略在编码之前进行，减少视频编码的工作量；

本申请包含三个子系统：网络状态自评估子系统、自适应视频取样率调整子系统、非关键帧主动舍弃子系统。

网络状态自评估方法的网络状态评估判断通过RTCP实时传输协议反馈机制中的反馈信息，若反馈信息中的丢包率、网络延迟、时延抖动参数值比较大，即数据包时延出现大幅度的变化，则网络状态不好，若丢包率、网络延迟、时延抖动参数值比较小，则表明网络状态良好；

丢包率的大小反映当前网络状况，当丢包率超过合理临界值时，表明网络带宽严重不足，信道载荷已超过最大负载能力，网络过载发生；时延抖动作为评估信道在常载工作状态下，是否有将要产生过载的趋势；本申请使用时延抖动对网络过载进行预控，提前调整系统的输出视频取样率，避免发生网络过载；用网络延迟要素判断网络过载的程度等级，将网络过载划分为不同等级，网络状态的判定更为精准，视频数据传输速率的调整更适宜当前网络带宽；

网络状态自评估方法包括网络状态自评估方法各要素的计算和网络状态评估方法。

网络状态自评估方法各要素的计算中，网络过载等级的划分依据是网络延迟B的大小，在计算网络延迟B前，先要计算长期累计时延抖动平均值E_L和短期累计时延抖动平均值E_d，累计时延抖动FC_k的计算如式1所示，累计时延抖动的平均值E_k计算如式2，

FC_k＝C₁+C₂+…C_k 式1

长期累计时延抖动E_L平均值的计算：从发送的第一个数据开始统计，直到当前时刻为止，所传送的所用数据的抖动,计算公式如式3：

短期累计时延抖动E_d的平均值计算,统计接收端接收到目前数据计算出来的累计时延抖动和在收到这个数据之前的一个累计时延抖动，这两个累计时延抖动计算出来的平均值，用式4表示：

若E_d大于E_L，表明数据传输时延在迅速增长，网络负载在不断增大，此时网络已逐渐出现过载，过载产生初期没足够严重时，通过调整发送端的传送速率增长频率；

网络延迟B是已经判断出E_d大于E_L的情况下进行测量的，评估视频数据在端到端传输路径中瓶颈链路的缓冲区使用情况，以发送方接收到的两个相邻SR报告包之间的时间间隔为测量周期，接收端在一个测量周期内，每接收到一个数据包，就计算出这个数据包的单向传输时延D，然后比较一个测试周期内所有的数据的延迟大小，找出其中的最大和最小数据时延值，对在一个测量单位时间内收到的第i个RTP包，先计算出其D_i值，然后与本周期内的所有数据包的单向传输时延比较，找出它们中的最大值D_max和最小值D_min，计算最大队列延迟F_max：

F_max＝D_max-D_min 式5

数据包的网络延迟F_i用式6表示，周期内平均数据网络延迟avgF用式7表示，n为数据包的个数：

F_i＝D_i-D_min 式6

由式5和式7得出网络延迟B的计算方法如式8，

即网络延迟B是单位周期内数据平均网络延迟与最大队列延迟F_max的比值，网络延迟B的大小用来划分网络过载的等级，网络延迟B的取值范围在[0,1]之间，当取值为0时，表示缓冲区为空，没有数据在排队等候，一般发生在传输的开始阶段，当取值为1时，表示缓冲区已满，网络发生严重的过载。

网络状态评估方法提出将联合丢包率、网络延迟和时延抖动作为网络状态评估要素，将网络状态进行详细的划分，网络状态评估具体方法如下：

第一，对网络状态进行初步判断，若在连续m个测试周期内都有丢包率A大于最大丢包率临界值G₂，即A>G₂恒成立，则判定当前网络处于过载；

第二，若在连续n个测试周期内都有丢包率A小于最小丢包率临界值G₁，即A<G₁恒成立，则判定当前网络处于欠载；

第三，除以上两种情况外，丢包率处于两个临界值之间即G₁≤A≤G₂，网络为常载状态；对于常载状态的评定，本申请做更深一步的评估，设置一个时延抖动临界值C_a，C为测得的时延抖动值：

当C≤C_a时，网络信道没有发生过载的趋势，当前网络较平稳，判断该状态为稳定常载；

当C>C_a时，网络信道有发生过载的趋势，信道带宽处于波动的状态，判定当前网络为非稳定常载；

第四，在网络处于过载状态时，依次设置两个网络延迟临界值H₁和H₂，B为测得的网络延迟值，将网络过载划分为三个等级，进一步将过载程度细分：

当B≤H₁时，处于过载第一级，网络过载程度较轻；

当H₁<B<H₂时，处于过载第二级，网络过载程度较重；

当B≥H₂时，处于过载第三级，网络过载程度严重；

第一次对网络状态进行判定时，参考二至三个周期内的丢包率对网络评估，对于G₁和G₂值的选取，二者之间的取值之差较大时，有利于自适应传输控制系统的稳定，但要确保若丢包率为G₂时，接收的视频可正常观看，因此丢包率临界值的取值大小由用户观看视频的接收情况决定，时延抖动临界值C_a的选取在20ms至50ms之间。

自适应视频取样率调整子系统中，发送端应具备自适应调整数据发送速率能力，自适应调整数据发送速率能力描述为：根据网络信道可用带宽的多少，增加或者降低数据的客户端的传输速率，若网络信道带宽增大，则增加传输速率，若网络信道带宽减小，则降低传输速率，控制网络信道中的负载量，达到与网络带宽匹配的效果；

在实时视频流传输系统中，通过调整视频编码参数来调整发送端发送数据的速率更有效，本申请采用H.264标准的开源模型X264技术实现视频的编码压缩；

自适应视频取样率调整方法包括X264的视频取样率控制和自适应视频取样率控制。

本申请自适应视频取样率控制基于加增乘减算法，当网络发生过载时，采用乘式减少输出视频取样率，及时降低对所需信道带宽的要求；当网络处于欠载情况下，采用和式增加输出视频取样率，有效的利用信道的可用资源；当信道负载在正常情况下传输数据时，根据时延抖动的大小，评估信道是否有过载的趋势，若没有过载趋势，则输出视频取样率不用降低，若有过载的趋势，则对输出视频取样率进行微调，达到网络过载的预控，自适应视频取样率控制具体方法如下：

一是经过评估得到的网络处于过载状态时，使用乘式衰减要素b降低输出视频取样率，当前比特率参数用L_C表示，则：

L_C＝max{b×L_C，L_min} (0＜b＜1) 式9

二是经过评估得到的网络处于欠载状态时，使用和式增长要素L_in增加输出视频取样率，当前比特率参数用L_C表示，则：

L_C＝min{L_C+L_in，L_min} (L_in＜＜L_C) 式10

三是经过评估得到的网络处于非稳定常载状态时，使用减式要素L_sd微调输出视频取样率，当前比特率参数用L_C表示，则：

L_C＝max{L_C-L_sd，L_min} (L_sd＜＜L_C) 式11

四是经过评估得到的网络处于稳定常载状态时，不需要对输出视频取样率进行调整，则L_C不变；

L_max和L_min是比特率参数的两个临界值，是比特率参数的可变化范围，当L_C小于L_min时，编码参数过小，压缩过度，严重影响编码后的视频质量；当L_C等于L_max时，编码后的视频质量已满足要求，所以编码参数不需比L_max还大，浪费网络资源。

非关键帧主动舍弃是在网络视频通信过程中，若出现信道带宽严重不足，网络可用资源严重短缺的情况，发送端一方主动舍弃部分重要性较低的视频帧，丢帧是尽量使视频编码器压缩输出的视频取样率适合当前的信道带宽变化；非关键帧主动舍弃方法独立于视频编码器之外，当网络处于严重过载状态时，单纯依靠调整编码参数已不能达到过载控制的效果，这时发送端需要采取主动选择舍弃一些非关键帧的措施，减少网络视频数据的输送量，对过载进行控制；非关键帧主动舍弃方法不需要对编码参数进行调整，只需通过选帧技术决定所舍弃帧的类型，最终发送未舍弃的视频帧。

本申请的H.264编码中，视频帧类型有P帧、I帧、B帧；

本申请在丢帧策略上采用网络延迟要素作为丢帧的判定依据，当网络被评估判定为过载状态时，再进一步判断当前视频编码器比特率参数是否达到最小值，若比特率参数已达到最小L_C＝L_min，表明网络过载已达到一定的严重性，网络过载等级至少处于第二级，发送方根据网络过载等级来决定启用非关键帧主动舍弃策略：

若网络过载为第二级，网络延迟满足H₁<B<H₂，且当前视频帧类型为B帧时，在编码之前丢弃该B帧，不是B帧时，则不能舍弃，继续进行判断；

若网络过载为第三级，网络延迟满足B≥H₂，网络过载程度已非常严重，当前视频帧类型无论是B帧还是P帧，则编码之前都将丢弃，降低信道中传送的数据量，最大限度降低信道压力；

若网络过载为第一级，发送方不需要采取丢帧策略，把视频所有数据都进行发送传输，有效利用网络资源，且保证传输视频的质量和播放画面的连续性。

与现有技术相比，本申请的优点和创新点在于：

一是本申请提供的基于网络状态自评估的视频编码转换传输控制系统，针对现有技术中网络评估算法单纯依靠丢包率评判网络状态，在网络状态评判划分上过于粗略，作为视频传输速率调整依据局限性大等问题，深入分析网络传输质量评估指标与方法，提出了一种联合丢包率、网络延迟、迟延抖动作为网络状态评估要素的方法，将网络状态进行了详细的划分，该方法在现有技术的评估算法基础上，根据时延抖动将网络常载状态进一步划分为有过载趋势的常载和没有过载趋势的常载；根据网络时延要素将过载划分为三个等级，本申请的方法为视频数据传输速率的自评估自适应调整提供了更可靠的判定依据，网络状态的评判更加科学准确，为视频编码转换传输控制的分类决策打下了良好的基础；

二是本申请提供的基于网络状态自评估的视频编码转换传输控制系统，针对现有技术的方法在网络处于具有过载趋势但还没有过载的情况下，不能采取有效的预控措施的问题，本申请对加增乘减算法进行了改进和优化，增加了网络过载预控方法。改进和优化后的算法不仅在网络欠载时采用和式增长要素增大比特率参数，在网络过载时采用乘式衰减要素减少比特率参数的值，还可以在网络处于具有过载趋势的常载状况下，采用减式衰减要素进行小幅度调整，对过载的发生进行预控，巧妙的设计过载预控方案，时机巧妙的处理网络过载问题。

三是本申请提供的基于网络状态自评估的视频编码转换传输控制系统，针对现有技术在网络过载过于严重，单纯的调整编码参数已不能进行过载控制的问题，本申请提出了一种非关键帧主动舍弃方法，在网络过载处于较严重程度时，结合视频取样率调整策略，根据网络延迟要素大小，选择舍弃部分类型的视频帧，舍弃视频帧的选择科学合理，既保证了视频质量，有保证了传输质量，丢帧策略在编码之前进行，减少了编码的工作量。

四是本申请提供的基于网络状态自评估的视频编码转换传输控制系统，网络状态评估方法的优点是：相比于现有技术的算法更全面，现有技术的自适应传输控制算法中只凭视频数据的丢包率作为网络状态的判定依据，局限性很大，使用时延抖动值作为过载预控，使用网络延迟表达过载的程度，使网络状态评估更为精准，网络传输控制更能及时采取相应的调整方法。

五是本申请提供的基于网络状态自评估的视频编码转换传输控制系统，自适应视频取样率调整算法的优点主要表现在:一是算法复杂度低，很容易实现且控制效果明显；二是对视频取样率速降缓升调节，图像画面质量比较平稳，对过载的控制速度快；三是缓存区不会出现数据堆积现象，避免延迟时间过长和画面不连续等问题；四是对网络可进行过载预控，鲁棒性更佳。

六是本申请结合提出的传输控制算法，研发了一个面向实时视频编码转换的自评估自适应传输控制系统，且通过实验和实践证明，本申请的视频编码转换传输控制系统具有良好的网络传输控制能力和视频服务质量保障机制，网络状态的判定更为精准，使视频数据传输速率的调整更适宜当前网络带宽，使得传输系统更具鲁棒性和高效性。

附图说明

图1是本申请视频编码转换传输控制系统结构示意图。。

图2是本申请视频服务质量保证机制框架示意图。

图3是本申请的网络状态评估方法结构示意图。

图4是本申请自适应视频取样率控制方法流程示意图。

图5是本申请非关键帧主动舍弃方法流程示意图。

具体实施方式

下面结合附图，对本申请提供的基于网络状态自评估的视频编码转换传输控制系统的技术方案进行进一步的描述，使本领域的技术人员可以更好的理解本申请并能予以实施。

本申请提供的基于网络状态自评估的视频编码转换传输控制系统，针对波动网络带宽条件下，视频发送端自适应动态调整数据的传输速率和传输量，使传输的视频数据量与链路信道带宽相匹配，保证视频传输的质量。本申请采用RTP实时传输协议传输视频数据，在发送端设计网络评估方案和自适应传输速率控制方案，实时视频编码转换通信过程中避免网络过载，减少数据的丢失，视频数据时延控制到最低，网络资源得到高效利用，视频质量得到充分保障。

本申请提供的基于网络状态自评估的视频编码转换传输控制系统，针对视频编码转换传输服务质量保障需求，提出了一种自评估自适应的视频编码转换传输控制方法，在网络状态自评估中，提出了一种联合丢包率、网络延迟、时延抖动作为网络状态评估要素的方法，将网络状态划分为欠载、常载和过载三种基本状态，在网络常载时，引入时延抖动要素评判当前网络是否具有过载趋势；在网络过载时，引入网络延迟要素评判网络过载程度等级，在自适应传输控制中，对基于加增乘减视频取样率调整算法进行优化，在加增乘减算法上增加了网络过载预控方法，当视频取样率参数调整到设置的最小值而网络仍然过载时，启用非关键帧主动舍弃算法，通过评估的网络过载等级选择丢弃的帧类型，降低传输的数据量，非关键帧主动舍弃策略在编码之前启用，减少视频编码的工作量。

一、自适应传输控制系统框架

本申请主要针对视频编码转换传输控制系统中服务端向客户端的视频数据发送，把服务端作为发送端，客户端作为接收端，原始格式码流数据在发送端经过编码转换之后采用RTP协议发送给客户端接收播放，本申请系统的总体框架如图1所示，视频服务质量保证机制的工作主要在视频编码转换器中完成的，视频取样率参数的调整算法在编码转换器的编码函数中完成，非关键帧主动舍弃策略在编码之前进行，减少视频编码的工作量。

如图2所示，本申请的总体方案主要包含三个子系统：网络状态自评估子系统、自适应视频取样率调整子系统、非关键帧主动舍弃子系统。

本申请提供的基于网络状态自评估的视频编码转换传输控制系统的基本工作流程为：用户在客户端设置基本的编码转换要求后，启动实时视频编码转换通信会话，客户端先向服务端发送公用信令，公用信令包括总路数、编码转换平台、编码转换顺序、编码转换模式信息，服务端收到公用信令后，根据上一次接收的公用信令，清除信令存储缓存和编码转换任务，然后创建新的信令存储缓存，并初始化缓存空间；然后客户端再发送请求信令，请求信令包括原始码流和目标码流的格式、帧率、分辨率、视频取样率信息，服务端接收到之后发送确认请求完毕信令，然后开始发送码流数据进行视频编码转换传输工作；服务端计算码流的丢包率、网络延迟、时延抖动参数值封装到SR报告包中，发送给客户端以便对网络状态进行评估和发送速率进行调整。

二、网络状态自评估方法

针对现有技术传输控制机制中网络评估算法单纯依靠丢包率评判网络状态，网络状态评估划分过于粗略，作为视频传输速率调整依据过于局限的问题。本申请网络状态自评估方法的网络状态评估判断通过RTCP实时传输协议反馈机制中的反馈信息，若反馈信息中的丢包率、网络延迟、时延抖动参数值比较大，即数据包时延出现大幅度的变化，则网络状态不好，若丢包率、网络延迟、时延抖动参数值比较小，则表明网络状态良好。

丢包率的大小反映当前网络状况，当丢包率超过合理临界值时，表明网络带宽严重不足，信道载荷已超过最大负载能力，网络过载发生。时延抖动作为评估信道在常载工作状态下，是否有将要产生过载的趋势。本申请使用时延抖动对网络过载进行预控，提前调整系统的输出视频取样率，避免发生网络过载。用网络延迟要素判断网络过载的程度等级，将网络过载划分为不同等级，使网络状态的判定更为精准，使视频数据传输速率的调整更适宜当前网络带宽，使得传输系统更具鲁棒性和高效性，这也是本申请的重要创新点。

(一)网络状态自评估方法各要素的计算

队列管理是实现过载控制的一项重要技术，在接收端分配一个缓冲区，把发送到达的视频数据放到缓冲区内等待读取，为了控制网络过载时缓冲区的数据过多、队列过长，需要选择丢弃部分数据来缩短队列的长度，调节缓冲区的占有率。本申请的队列管理采用过载预控机制和主动队列管理，过载预控机制根据网络链路中数据队列的长度大小决定是否要提前丢包，若队列长度较大，则选择丢弃一部分数据，若队列长度在合理的范围内，则不提前丢包。主动队列管理首先计算平均队列长度并与两个临界值比较，当计算出的平均队列长度低于最小临界值时，不舍弃视频数据，当计算的平均队列长度高于最大临界值时，丢弃每一个到达的数据分组，当平均队列长度处于两个临界值之间时，选择性舍弃部分数据。

网络过载等级的划分依据是网络延迟B的大小，在计算网络延迟B前，先要计算长期累计时延抖动平均值E_L和短期累计时延抖动平均值E_d，累计时延抖动FC_k的计算如式1所示，累计时延抖动的平均值E_k计算如式2，式中参数k表示数据数量，

FC_k＝C₁+C₂+…C_k 式1

(1)长期累计时延抖动E_L平均值的计算：从发送的第一个数据开始统计，直到当前时刻为止，所传送的所用数据的抖动，计算公式如式3，式中参数i表示当前时刻数据量：

(2)短期累计时延抖动E_d的平均值计算；统计接收端接收到目前数据计算出来的累计时延抖动和在收到这个数据之前的一个累计时延抖动，这两个累计时延抖动计算出来的平均值，用式4表示，式中参数i表示当前时刻数据量：

若E_d大于E_L，表明数据传输时延在迅速增长，网络负载在不断增大，此时网络已逐渐出现过载。过载产生初期没足够严重时，通过调整发送端的传送速率增长频率。

网络延迟B是已经判断出E_d大于E_L的情况下进行测量的，评估视频数据在端到端传输路径中瓶颈链路的缓冲区使用情况，以发送方接收到的两个相邻SR报告包之间的时间间隔为测量周期，接收端在一个测量周期内，每接收到一个数据包，就计算出这个数据包的单向传输时延D，然后比较一个测试周期内所有的数据的延迟大小，找出其中的最大和最小数据时延值，对在一个测量单位时间内收到的第i个RTP包，先计算出其D_i值，然后与本周期内的所有数据包的单向传输时延比较，找出它们中的最大值D_max和最小值D_min，计算最大队列延迟F_max：

F_max＝D_max-D_min 式5

数据包的网络延迟F_i用式6表示，周期内平均数据网络延迟avgF用式7表示，n为数据包的个数：

F_i＝D_i-D_min 式6

由式5和式7得出网络延迟B的计算方法如式8，

即网络延迟B是单位周期内数据平均网络延迟与最大队列延迟F_max的比值，网络延迟B的大小用来划分网络过载的等级，网络延迟B的取值范围在[0,1]之间，当取值为0时，表示缓冲区为空，没有数据在排队等候，一般发生在传输的开始阶段，当取值为1时，表示缓冲区已满，网络发生严重的过载。

(二)网络状态评估方法

本申请提出一种联合丢包率、网络延迟和时延抖动作为网络状态评估要素的方法，将网络状态进行详细的划分，如图3所示，网络状态评估具体方法如下：

(1)对网络状态进行初步判断，若在连续m个测试周期内都有丢包率A大于最大丢包率临界值G₂，即A>G₂恒成立，则判定当前网络处于过载；

(2)若在连续n个测试周期内都有丢包率A小于最小丢包率临界值G₁，即A<G₁恒成立，则判定当前网络处于欠载；

(3)除以上两种情况外，丢包率处于两个临界值之间即G₁≤A≤G₂，网络为常载状态；对于常载状态的评定，本申请做更深一步的评估，设置一个时延抖动临界值C_a，C为测得的时延抖动值：

当C≤C_a时，网络信道没有发生过载的趋势，当前网络较平稳，判断该状态为稳定常载；

当C>C_a时，网络信道有发生过载的趋势，信道带宽处于波动的状态，判定当前网络为非稳定常载；

(4)在网络处于过载状态时，依次设置两个网络延迟临界值H₁和H₂，B为测得的网络延迟值，将网络过载划分为三个等级，进一步将过载程度细分：

当B≤H₁时，处于过载第一级，网络过载程度较轻；

当H₁<B<H₂时，处于过载第二级，网络过载程度较重；

当B≥H₂时，处于过载第三级，网络过载程度严重；

第一次对网络状态进行判定时，不能单纯的参考一个测试周期内的丢包率值，参考二至三个周期内的丢包率对网络评估，避免客户端的输出视频取样率出现锯齿状波动。对于G₁和G₂值的选取，二者之间的取值之差较大时，有利于自适应传输控制系统的稳定，但要确保若丢包率为G₂时，接收的视频可正常观看，因此丢包率临界值的取值大小由用户观看视频的接收情况决定。时延抖动临界值C_a的选取在20ms至50ms之间，对过载进行预控处理。网络延迟临界值H₁和H₂是对网络过载程度的划分依据，在非关键帧主动舍弃算法中十分重要，依据网络的过载等级选择丢弃的帧类型。对于实时视频流数据传输，H₁和H₂的值可设为2.8％和6.2％；在实时视频通信传输过程中，只要时延抖动不超过50ms，视频质量都能够使用户接受，画面质量在适合范围。

本申请网络状态评估方法的优点是：相比于现有技术的算法更全面，现有技术的自适应传输控制算法中只凭视频数据的丢包率作为网络状态的判定依据，局限性很大，使用时延抖动值作为过载预控，使用网络延迟表达过载的程度，使网络状态评估更为精准，网络传输控制更能及时采取相应的调整方法。

三、自适应视频取样率调整方法

视频数据包在网络过载的情况下进行传输时，会产生丢包现象。随着网络状态的变化，发送端应具备自适应调整数据发送速率能力，即改变自身输出视频取样率。自适应调整数据发送速率能力描述为：根据网络信道可用带宽的多少，增加或者降低数据的客户端的传输速率，若网络信道带宽增大，则增加传输速率，若网络信道带宽减小，则降低传输速率，控制网络信道中的负载量，达到与网络带宽匹配的效果。这种方法最大的优点在于简单易操作，只用改变视频编码器的比特率参数大小，不需采取其他措施，就可保证视频的传输质量。

在实时视频流传输系统中，通过调整视频编码参数来调整发送端发送数据的速率才是更有效的，目前，H.264等编码压缩技术都支持输出视频取样率的动态调整，本申请采用H.264标准的开源模型X264技术实现视频的编码压缩。

(一)X264的视频取样率控制

在X264的编码器库中，比特率参数的调整基于libavcodec的，适合对实时性要求较高的视频通信业务。X264的视频取样率控制主要体现在三个方面：QP、Bitrate和crf，在使用时，三种方法中只用选择一种，QP的视频取样率控制方法是固定编码过程中的量化参数，最终编码后的文件大小无法预测；Bitrate固定编码过程中的目标视频取样率不变，最终得到的编码后的文件大小可预测；crf通过丢帧舍弃重要的帧达到视频的质量要求，得到的编码后的文件大小不可预测。自适应传输策略适合选取固定比特率的方法进行视频取样率控制。

在X264的编码器中，对视频取样率的控制采用单次编码模式，单次编码模式可以达到二次编码的效果，单次编码模式考虑到实时视频通信的特点，采用平均视频取样率控制算法

平均视频取样率控制算法只对已编码后的视频帧计算相应的平均复杂度，然后用平均复杂度值预测当前帧的复杂度，做出合适的QP的选择，整个过程不需要未编码视频帧的参与。平均视频取样率控制算法不用考虑QP与输出视频取样率的非比例性关系，只用在视频编码器处改变编码参数。平均视频取样率控制算法对缓冲区数据过多溢出进行补偿，使一次压缩近似达到二次压缩的效果，平均视频取样率控制算法可以控制压缩数据的大小且不会造成视频质量的下降。

X264视频编解码算法具备动态重调编码参数的相关函数，通过调整比特流参数匹配波动的网络带宽，有效的利用网络资源，根据评估的网络状态调整相对应的比特率参数值，使之与期望的目标视频取样率更接近。

(二)自适应视频取样率控制

本申请自适应视频取样率控制基于加增乘减算法，当网络发生过载时，采用乘式减少输出视频取样率，及时降低对所需信道带宽的要求；当网络处于欠载情况下，采用和式增加输出视频取样率，有效的利用信道的可用资源；当信道负载在正常情况下传输数据时，根据时延抖动的大小，评估信道是否有过载的趋势，若没有过载趋势，则输出视频取样率不用降低，若有过载的趋势，则对输出视频取样率进行微调，达到网络过载的预控。如图4所示，自适应视频取样率控制具体方法如下：

(1)经过评估得到的网络处于过载状态时，使用乘式衰减要素b降低输出视频取样率，当前比特率参数用L_C表示，则：

Lc＝max{b×Lc，L_min} (0＜b＜1) 式9

(2)经过评估得到的网络处于欠载状态时，使用和式增长要素L_in增加输出视频取样率，当前比特率参数用L_C表示，则：

Lc＝min{Lc+L_in，L_min} (L_in＜＜Lc) 式10

(3)经过评估得到的网络处于非稳定常载状态时，使用减式要素L_sd微调输出视频取样率，当前比特率参数用L_C表示，则：

Lc＝max{Lc-L_sd，L_min} (L_sd＜＜Lc) 式11

(4)经过评估得到的网络处于稳定常载状态时，不需要对输出视频取样率进行调整，则L_C不变。

L_max和L_min是比特率参数的两个临界值，是比特率参数的可变化范围。当L_C小于L_min时，编码参数过小，压缩过度，严重影响编码后的视频质量；当L_C等于L_max时，编码后的视频质量已满足要求，所以编码参数不需比L_max还大，浪费网络资源。算法中关于三个要素b、L_in和L_sd的取值非常重要，b过大，L_in过小，视频取样率变化幅度过大，会导致严重的振荡现象；b过小，L_in过大，传输控制效果不明显；L_sd过大，输出视频取样率会出现波动现象，L_sd取值过小，对网络过载起不到预控的效果。

本申请自适应视频取样率调整算法的优点主要表现在:一是算法复杂度低，很容易实现且控制效果明显；二是对视频取样率速降缓升调节，图像画面质量比较平稳，对过载的控制速度快；三是缓存区不会出现数据堆积现象，避免延迟时间过长和画面不连续等问题；四是对网络可进行过载预控，鲁棒性更佳。

四、非关键帧主动舍弃方法

(一)算法思想

由于视频取样率控制方法存在明显不足，视频编码输出的数据是一定的，调整的是传输速率的大小，并不改变总的视频数据量，因此当信道带宽不足，网络可用资源短缺时，传输速率会降低，但是数据都在缓冲区内等待读取传输，数据包的传输时延会增加，实时性会变差。在用户主观感受上，接收端接收到的视频画面会出现卡顿和显示不连续等问题。

非关键帧主动舍弃是在网络视频通信过程中，若出现信道带宽严重不足，网络可用资源严重短缺的情况，发送端一方主动舍弃部分重要性较低的视频帧，丢帧是尽量使视频编码器压缩输出的视频取样率适合当前的信道带宽变化。非关键帧主动舍弃方法独立于视频编码器之外，当网络处于严重过载状态时，单纯依靠调整编码参数已不能达到过载控制的效果，这时发送端需要采取主动选择舍弃一些非关键帧的措施，以此减少网络视频数据的输送量，对过载进行控制。非关键帧主动舍弃方法不需要对编码参数进行调整，只需通过选帧技术决定所舍弃帧的类型，最终发送未舍弃的视频帧。

(二)视频帧类型划分

当网络处于过载状态时首选对视频取样率调整策略，当视频编码器输出视频取样率达到设定的最小值时，若信道依然处在过载状态，采取非关键帧主动舍弃方法降低对网络带宽的需求。

本申请实施例的H.264编码中，视频帧类型有P帧、I帧、B帧。

P帧是帧间预测图像，采用帧间预测编码模式，是压缩率较高的前向预测压缩帧，解码时需要考虑前面最近的I帧或P帧才能够恢复完整的画面。P帧在解码重构图像时有一个缺点，比较容易引起错误信息的扩散。

I帧是帧内图像，采用帧内预测编码模式，是把整帧图像数据编码及传送的独立帧，解码时仅用其本帧图像画面的信息就可以重构出整幅的画面，不需采用其他帧图像数据。I帧重要性最高，是整个视频流中的关键帧不能丢失，因为是P帧和B帧的参考帧，所以若I帧丢失，同一组中所有P帧和B帧图像都不能重构。

B帧是双向预测图像，图像的解码重构既要参考前面帧的图像数据，又要参考后面帧的图像数据来完成，在整个视频流中重要性最低，同一图像组中所有B帧重要性相同。

(三)非关键帧主动舍弃策略

本申请在丢帧策略上采用网络延迟要素作为丢帧的判定依据，把统计出的网络延迟大小，作为选择丢帧类型的参考标准。

由于本申请是在视频编码转换中进行传输控制，编码转换是一个全解全编过程，视频帧在解码过程中可保存该帧的相关信息，在编码过程中可以直接使用，省去一些重复的工作。因此丢帧方案中，某些视频帧编码时需参考前一帧图像的编码信息，此时若前一帧被舍弃，可选取前一帧解码时的信息，对下一帧的编码不会造成影响。丢帧在视频编码转换之前进行，需要丢弃的视频帧不需进行编码，减少了编码的工作量。这也是本申请传输控制方法的一个优点和创新点。

如图5所示，当网络被评估判定为过载状态时，再进一步判断当前视频编码器比特率参数是否达到最小值，若比特率参数已达到最小L_C＝L_min，表明网络过载已达到一定的严重性，网络过载等级至少处于第二级，发送方根据网络过载等级来决定启用非关键帧主动舍弃策略：

若网络过载为第二级，网络延迟满足H₁<B<H₂，且当前视频帧类型为B帧时，在编码之前丢弃该B帧，不是B帧时，则不能舍弃，继续进行判断。

若网络过载为第三级，网络延迟满足B≥H₂，网络过载程度已非常严重，当前视频帧类型无论是B帧还是P帧，则编码之前都将丢弃，降低信道中传送的数据量，最大限度降低信道压力。

若网络过载为第一级，发送方不需要采取丢帧策略，把视频所有数据都进行发送传输，有效利用网络资源，且保证传输视频的质量和播放画面的连续性。

在非关键帧主动舍弃方法中，网络延迟临界值H₁和H₂的取值非常重要，若H₁过小，会造成数据传输速率没必要的少，浪费网络资源，传输视频数据时吞吐量明显的下降；若H₁取值过大，会出现网络已处于严重过载的状态，但在启用非关键帧主动舍弃策略时，出现错误的判定，没有足够的降低帧率，网络过载不仅得不到控制，过载程度会持续加重，信道带宽的利用率下降，甚至产生网络信道崩溃。而网络延迟临界值H₂若取值过小，网络过载状态没有达到一定严重程度时，就会选择丢弃视频帧类型中的B帧和P帧，导致丢弃没必要丢弃的帧，接收端接收到视频质量下降，甚至出现中断，用户无法忍受，且会浪费网络资源，过大的降低速率，有可能使网络处于欠载状态；但是若H₂取值过大，将网络过载程度评估的低于实际的过载状态，不会降低相应的速率，会使过载越来越严重。

本申请非关键帧主动舍弃方法主要优点是方案设计简洁，当网络严重过载时不仅可以减少网络的输送量，还可以减少编码工作量，且不需要复杂的计算。

本申请利用网络延迟要素进一步的划分网络过载等级，使网络状态的评估更为精准。在发送速率调整算法中，加入非关键帧主动舍弃方法，使用网络延迟要素作为丢帧选择的评估标准，使用在网络过载较为严重的情况下。视频取样率控制方法和非关键帧主动舍弃方法的结合使发送端在发送速率的控制上，传输速率匹配当前网络带宽的状况，保障视频编码转换通信的服务质量。

Claims (1)

1.基于网络状态自评估的视频编码转换传输控制系统，其特征在于，视频发送端自适应动态调整数据的传输速率和传输量，使传输的视频数据量与链路信道带宽相匹配；在网络状态自评估中，提出了一种联合丢包率、网络延迟、时延抖动作为网络状态评估要素的方法，将网络状态划分为欠载、常载和过载三种基本状态，在网络常载时，引入时延抖动要素评判当前网络是否具有过载趋势；在网络过载时，引入网络延迟要素评判网络过载程度等级，在自适应传输控制中，对基于加增乘减视频取样率调整算法进行优化，在加增乘减算法上增加了网络过载预控方法，当视频取样率参数调整到设置的最小值而网络仍然过载时，启用非关键帧主动舍弃方法，通过评估的网络过载等级选择丢弃的帧类型，降低传输的数据量，非关键帧主动舍弃策略在编码之前启用；

基本工作流程为：用户在客户端设置基本的编码转换要求后，启动实时视频编码转换通信会话，客户端先向服务端发送公用信令，公用信令包括总路数、编码转换平台、编码转换顺序、编码转换模式信息，服务端收到公用信令后，根据上一次接收的公用信令，清除信令存储缓存和编码转换任务，然后创建新的信令存储缓存，并初始化缓存空间；然后客户端再发送请求信令，请求信令包括原始码流和目标码流的格式、帧率、分辨率、视频取样率信息，服务端接收到之后发送确认请求完毕信令，然后开始发送码流数据进行视频编码转换传输工作；服务端计算码流的丢包率、网络延迟、时延抖动参数值封装到SR报告包中，发送给客户端对网络状态进行评估和发送速率进行调整；

针对视频编码转换传输控制系统中服务端向客户端的视频数据发送，把服务端作为发送端，客户端作为接收端，原始格式码流数据在发送端经过编码转换之后采用RTP协议发送给客户端接收播放，视频取样率参数的调整算法在编码转换器的编码函数中完成，非关键帧主动舍弃策略在编码之前进行，减少视频编码的工作量；

包含三个子系统：网络状态自评估子系统、自适应视频取样率调整子系统、非关键帧主动舍弃子系统；

网络状态自评估方法的网络状态评估判断通过RTCP实时传输协议反馈机制中的反馈信息，若反馈信息中的丢包率、网络延迟、时延抖动参数值比较大，即数据包时延出现大幅度的变化，则网络状态不好，若丢包率、网络延迟、时延抖动参数值比较小，则表明网络状态良好；

丢包率的大小反映当前网络状况，当丢包率超过合理临界值时，表明网络带宽严重不足，信道载荷已超过最大负载能力，网络过载发生；时延抖动作为评估信道在常载工作状态下，是否有将要产生过载的趋势；使用时延抖动对网络过载进行预控，提前调整系统的输出视频取样率，避免发生网络过载；用网络延迟要素判断网络过载的程度等级，将网络过载划分为不同等级，网络状态的判定更为精准，视频数据传输速率的调整更适宜当前网络带宽；

网络状态自评估方法包括网络状态自评估方法各要素的计算和网络状态评估方法；

网络状态自评估方法各要素的计算中，网络过载等级的划分依据是网络延迟B的大小，在计算网络延迟B前，先要计算长期累计时延抖动平均值E_L和短期累计时延抖动平均值E_d，累计时延抖动FC_k的计算如式1所示，累计时延抖动的平均值E_k计算如式2，

FC_k＝C₁+C₂+…C_k 式1

长期累计时延抖动平均值E_L的计算：从发送的第一个数据开始统计，直到当前时刻为止，所传送的所有 数据的抖动,计算公式如式3：

短期累计时延抖动平均值E_d的计算,统计接收端接收到目前数据计算出来的累计时延抖动和在收到这个数据之前的一个累计时延抖动，这两个累计时延抖动计算出来的平均值，用式4表示：

若E_d大于E_L，表明数据传输时延在迅速增长，网络负载在不断增大，此时网络已逐渐出现过载，过载产生初期没足够严重时，通过调整发送端的传送速率增长频率；

网络延迟B是已经判断出E_d大于E_L的情况下进行测量的，评估视频数据在端到端传输路径中瓶颈链路的缓冲区使用情况，以发送方接收到的两个相邻SR报告包之间的时间间隔为测量周期，接收端在一个测量周期内，每接收到一个数据包，就计算出这个数据包的单向传输时延D，然后比较一个测试周期内所有的数据的延迟大小，找出其中的最大和最小数据时延值，对在一个测量单位时间内收到的第i个RTP包，先计算出其D_i值，然后与本周期内的所有数据包的单向传输时延比较，找出它们中的最大值D_max和最小值D_min，计算最大队列延迟F_max：

F_max＝D_max-D_min 式5

数据包的网络延迟F_i用式6表示，周期内平均数据网络延迟avgF用式7表示，n为数据包的个数：

F_i＝D_i-D_min 式6

由式5和式7得出网络延迟B的计算方法如式8，

即网络延迟B是单位周期内数据平均网络延迟与最大队列延迟F_max的比值，网络延迟B的大小用来划分网络过载的等级，网络延迟B的取值范围在[0,1]之间，当取值为0时，表示缓冲区为空，没有数据在排队等候，一般发生在传输的开始阶段，当取值为1时，表示缓冲区已满，网络发生严重的过载；

网络状态评估方法提出将联合丢包率、网络延迟和时延抖动作为网络状态评估要素，将网络状态进行详细的划分，网络状态评估具体方法如下：

第一，对网络状态进行初步判断，若在连续m个测试周期内都有丢包率A大于最大丢包率临界值G₂，即A>G₂恒成立，则判定当前网络处于过载；

第二，若在连续n个测试周期内都有丢包率A小于最小丢包率临界值G₁，即A<G₁恒成立，则判定当前网络处于欠载；

第三，除以上两种情况外，丢包率处于两个临界值之间即G₁≤A≤G₂，网络为常载状态；对于常载状态的评定，做更深一步的评估，设置一个时延抖动临界值C_a，C为测得的时延抖动值：

当C≤C_a时，网络信道没有发生过载的趋势，当前网络较平稳，判断该状态为稳定常载；

当C>C_a时，网络信道有发生过载的趋势，信道带宽处于波动的状态，判定当前网络为非稳定常载；

第四，在网络处于过载状态时，依次设置两个网络延迟临界值H₁和H₂，B为测得的网络延迟值，将网络过载划分为三个等级，进一步将过载程度细分：

当B≤H₁时，处于过载第一级，网络过载程度较轻；

当H₁<B<H₂时，处于过载第二级，网络过载程度较重；

当B≥H₂时，处于过载第三级，网络过载程度严重；

第一次对网络状态进行判定时，参考二至三个周期内的丢包率对网络评估，对于G₁和G₂值的选取，二者之间的取值之差较大时，有利于自适应传输控制系统的稳定，但要确保若丢包率为G₂时，接收的视频可正常观看，因此丢包率临界值的取值大小由用户观看视频的接收情况决定，时延抖动临界值C_a的选取在20ms至50ms之间；

自适应视频取样率调整子系统中，发送端应具备自适应调整数据发送速率能力，自适应调整数据发送速率能力描述为：根据网络信道可用带宽的多少，增加或者降低数据的客户端的传输速率，若网络信道带宽增大，则增加传输速率，若网络信道带宽减小，则降低传输速率，控制网络信道中的负载量，达到与网络带宽匹配的效果；

在实时视频流传输系统中，通过调整视频编码参数来调整发送端发送数据的速率更有效，采用H.264标准的开源模型X264技术实现视频的编码压缩；

自适应视频取样率调整方法包括X264的视频取样率控制和自适应视频取样率控制；

自适应视频取样率控制基于加增乘减算法，当网络发生过载时，采用乘式减少输出视频取样率，及时降低对所需信道带宽的要求；当网络处于欠载情况下，采用和式增加输出视频取样率，有效的利用信道的可用资源；当信道负载在正常情况下传输数据时，根据时延抖动的大小，评估信道是否有过载的趋势，若没有过载趋势，则输出视频取样率不用降低，若有过载的趋势，则对输出视频取样率进行微调，达到网络过载的预控，自适应视频取样率控制具体方法如下：

一是经过评估得到的网络处于过载状态时，使用乘式衰减要素b降低输出视频取样率，当前比特率参数用L_C表示，则：

L_c＝max{b×L_c,L_min} (0＜b＜1) 式9

二是经过评估得到的网络处于欠载状态时，使用和式增长要素L_in增加输出视频取样率，当前比特率参数用L_C表示，则：

Lc＝min{L_c+L_in，L_min} (L_in＜＜L_c) 式10

三是经过评估得到的网络处于非稳定常载状态时，使用减式要素L_sd微调输出视频取样率，当前比特率参数用L_C表示，则：

Lc＝max{Lc-L_sd，L_min} (L_sd＜＜L_c) 式11

四是经过评估得到的网络处于稳定常载状态时，不需要对输出视频取样率进行调整，则L_C不变；

L_max和L_min是比特率参数的两个临界值，是比特率参数的可变化范围，当L_C小于L_min时，编码参数过小，压缩过度，严重影响编码后的视频质量；当L_C等于L_max时，编码后的视频质量已满足要求，所以编码参数不需比L_max还大，浪费网络资源；

非关键帧主动舍弃是在网络视频通信过程中，若出现信道带宽严重不足，网络可用资源严重短缺的情况，发送端一方主动舍弃部分重要性较低的视频帧，丢帧是尽量使视频编码器压缩输出的视频取样率适合当前的信道带宽变化；非关键帧主动舍弃方法独立于视频编码器之外，当网络处于严重过载状态时，单纯依靠调整编码参数已不能达到过载控制的效果，这时发送端需要采取主动选择舍弃一些非关键帧的措施，减少网络视频数据的输送量，对过载进行控制；非关键帧主动舍弃方法不需要对编码参数进行调整，只需通过选帧技术决定所舍弃帧的类型，最终发送未舍弃的视频帧；

H.264编码中，视频帧类型有P帧、I帧、B帧；

在丢帧策略上采用网络延迟要素作为丢帧的判定依据，当网络被评估判定为过载状态时，再进一步判断当前视频编码器比特率参数是否达到最小值，若比特率参数已达到最小L_C＝L_min，表明网络过载已达到一定的严重性，网络过载等级至少处于第二级，发送方根据网络过载等级来决定启用非关键帧主动舍弃策略：

若网络过载为第二级，网络延迟满足H₁<B<H₂，且当前视频帧类型为B帧时，在编码之前丢弃该B帧，不是B帧时，则不能舍弃，继续进行判断；

若网络过载为第三级，网络延迟满足B≥H₂，网络过载程度已非常严重，当前视频帧类型无论是B帧还是P帧，则编码之前都将丢弃，降低信道中传送的数据量，最大限度降低信道压力；

若网络过载为第一级，发送方不需要采取丢帧策略，把视频所有数据都进行发送传输，有效利用网络资源，且保证传输视频的质量和播放画面的连续性。

Images