CN115189810B - 一种面向低时延实时视频fec编码传输控制方法 - Google Patents

Abstract

本发明涉及一种面向低时延实时视频FEC编码传输控制方法，包括以下步骤：步骤S1:设置FEC编码参数和网络参数；步骤S2:根据当前缓冲区剩余数据评估当前视频传输延时，并判断是否满足预设要求，若满足则等待下一个视频帧数据的到来，如不满足跳转到步骤S3;步骤S3:在当前状态下，即当前缓冲区中剩余未进行FEC编码的数据不满足个数据包条件,但由于视频端到端延时限制需要立即进行FEC编码，并基于改进策略进行发送。本发明更好的满足实时视频低延时的需求。

Description

一种面向低时延实时视频FEC编码传输控制方法

技术领域

本发明涉及无线通信领域，具体涉及一种面向低时延实时视频FEC编码传输控制方法。

背景技术

随着无线多媒体通信的发展，互联网上的移动视频流量出现了爆炸式的增长。其中基于无线网络的视频传输将是未来多媒体通信的主要形式。不足的是，在通过无线网络传输视频数据时，因无线网络不稳定可能导致视频数据发生丢包等错误。目前解决无线网络视频传输丢包的主要方法有两种。一种是通过自动重传技术，当发送端接收到来自接收端的NACK报文或者是发送端在超时时间内未收到ACK报文则启动重传。另一种方法是通过前向纠错编码FEC方法，在视频帧传输中通过添加冗余数据用于在接收端进行视频恢复。显然，采用自动重传技术在传输丢包时会引入较大延时。而采用FEC编码方法则无需重传，可以降低延时。在低延时视频传输中，比如视频会议、远程控制、远程驾驶、远程医疗等视频应用中，延时通常要在100毫秒以内，FEC编码方法的实时视频传输技术已经被作为重要技术应用到相关场景中。

传统的FEC编码技术，如LDPC、RS、LT等编码技术通常采用信号源数据+冗余数据的方法，如K个视频数据包加上S个冗余包构成(K+S)个报文一起传输。接收端收到N个报文后解码获得K个数据报文，这里的N通常由于丢包小于等于(K+S)。传统的FEC编码技术，在固定的模式下，通常会凑足K个视频数据包，达到满足一组FEC编码条件。在实时视频传输中，视频帧报文到达和视频帧率、视频数据大小密切相关。在部分监控场景下，如25帧率的视频源，每隔40ms才会有一帧数据，且由于画面变化不大一帧数据通常较小。如为了凑足K个视频数据包，则可能需要等待几帧才能满足K个数据包，而这里的每一帧都需要等待40ms，无形中在发送端FEC编码时就会引入大量延时。在实时视频传输应用中，虽然接收端无需通过重传即可恢复报文，但发送端因需要满足编码条件引入了大量延时。

发明内容

有鉴于此，本发明的目的在于提供一种面向低时延实时视频FEC编码传输控制方法，更好的满足实时视频低延时的需求。

为实现上述目的，本发明采用如下技术方案：

一种面向低时延实时视频FEC编码传输控制方法，包括以下步骤：

步骤S1:设置FEC编码参数和网络参数；

步骤S2:根据当前缓冲区剩余数据评估当前视频传输延时，并判断是否满足预设要求，若满足则等待下一个视频帧数据的到来，如不满足跳转到步骤S3；

步骤S3:在当前状态下，即当前缓冲区中剩余未进行FEC编码的数据不满足K个数据包条件,但由于视频端到端延时限制需要立即进行FEC编码，则设置最小报文大小为Q_min，当满足下式时：

则直接以为报文大小进行视频帧分割，然后对这K个数据包进行FEC编码,并将编码后的数据发送至网络；当时，则缓冲区中剩余数据不进行FEC编码，直接发送，如果发生丢包则采用ARQ重传报文发送策略。

进一步的，所述步骤S2具体为：

设当前缓冲区剩余未进行FEC编码的数据长度为L，预设最佳FEC编码视频源一组数据包个数为K，冗余包个数为S，每个报文大小为Q；传输协议报头长度为H；发送端和接收端之间的报文传播延时为RTT/2，传输带宽为B；当K·Q≤L时，则缓冲区中剩余数据包的个数满足一组数据包FEC编码条件，此时该组视频数据的端到端延时表示如下：

T＝(K+S)·(Q+H)/B+RTT/2

在实时视频传输中，需要保障视频端到端延时，设目标延时为D；需要满足以下条件：

t₁+T≤D

其中t₁代表视频帧在缓冲区中已经等待的时间；当K·Q≤L时，应立即将缓冲区中的数据进行FEC编码发送；当L＜K·Q时，应根据下式进行判断:

其中代表距离下一个视频帧到达时刻当前缓冲区中最早到达缓冲区视频帧的等待时间；如满足该式，则继续等待下一个视频帧数据的到来，如不满足跳转到步骤S3。

一种面向低时延实时视频FEC编码传输控制系统，包括处理器、存储器以及存储在所述存储器上的计算机程序，所述处理器执行所述计算机程序时，具体执行如上所述的FEC编码传输控制方法中的步骤。

本发明与现有技术相比具有以下有益效果：

本发明根据实时视频帧到达情况，建模FEC冗余度、缓冲区数据包与视频端到端时延之间的关系，对实时视频传输采用FEC传输控制算法，从而降低时延，更好的满足实时视频低延时的需求。

附图说明

图1是本发明方法流程图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

请参照图1，本发明提供一种面向低时延实时视频FEC编码传输控制方法，包括以下步骤：

1)根据当前缓冲区剩余数据评估当前视频传输延时；

设当前缓冲区剩余未进行FEC编码的数据长度为L。预设最佳FEC编码视频源一组数据包个数为K，冗余包个数为S，每个报文大小为Q。传输协议报头长度为H，如以UDP+RTP为例，则包头长度H＝8+12个字节。发送端和接收端之间的报文传播延时为RTT/2，传输带宽为B。当K·Q≤L时，则缓冲区中剩余数据包的个数满足一组数据包FEC编码条件，此时该组视频数据的端到端延时可以表示如下：

T＝(K+S)·(Q+H)/B+RTT/2

在实时视频传输中，需要保障视频端到端延时，设目标延时为D。需要满足以下条件：

t₁+T≤D

其中t₁代表视频帧在缓冲区中已经等待的时间。当K·Q≤L时，应立即将缓冲区中的数据进行FEC编码发送。当L＜K·Q时，应根据下式进行判断:

其中代表距离下一个视频帧到达时刻当前缓冲区中最早到达缓冲区视频帧的等待时间。如满足该式子，则继续等待下一个视频帧数据的到来，如不满足跳转到步骤2)。

2)在当前状态下，即当前缓冲区中剩余未进行FEC编码的数据不满足K个数据包条件；但由于视频端到端延时限制需要立即进行FEC编码，优选的，在本实施例中，按照以下策略进行发送：

设置最小报文大小为Q_min，当满足下式时：

则直接以为报文大小进行视频帧分割，然后对这K个数据包进行FEC编码,并将编码后的数据发送至网络。当时，则缓冲区中剩余数据不进行FEC编码，直接发送，如果发生丢包则采用ARQ重传报文发送策略。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (2)

1.一种面向低时延实时视频FEC编码传输控制方法，其特征在于，包括以下步骤：

步骤S1:设置FEC编码参数和网络参数；

步骤S2:根据当前缓冲区剩余数据评估当前视频传输延时，并判断是否满足预设要求，若满足则等待下一个视频帧数据的到来，如不满足跳转到步骤S3；

步骤S3:在当前状态下，即当前缓冲区中剩余未进行FEC编码的数据不满足K个数据包条件,则设置最小报文大小为Q_min，当满足下式时：

则直接以为报文大小进行视频帧分割，然后对这K个数据包进行FEC编码,并将编码后的数据发送至网络；当时，则缓冲区中剩余数据不进行FEC编码，直接发送，如果发生丢包则采用ARQ重传报文发送策略；所述步骤S2具体为：

设当前缓冲区剩余未进行FEC编码的数据长度为L，预设最佳FEC编码视频源一组数据包个数为K，冗余包个数为S，每个报文大小为Q；传输协议报头长度为H；发送端和接收端之间的报文传播延时为RTT/2，传输带宽为B；当K·Q≤L时，则缓冲区中剩余数据包的个数满足一组数据包FEC编码条件，此时该组视频数据的端到端延时表示如下：

T＝(K+S)·(Q+H)/B+RTT/2

在实时视频传输中，需要保障视频端到端延时，设目标延时为D；需要满足以下条件：

t₁+T≤D

其中t₁代表视频帧在缓冲区中已经等待的时间；当K·Q≤L时，应立即将缓冲区中的数据进行FEC编码发送；当L＜K·Q时，应根据下式进行判断:

其中代表距离下一个视频帧到达时刻当前缓冲区中最早到达缓冲区视频帧的等待时间；如满足该式，则继续等待下一个视频帧数据的到来，如不满足跳转到步骤S3。

2.一种面向低时延实时视频FEC编码传输控制系统，其特征在于，包括处理器、存储器以及存储在所述存储器上的计算机程序，所述处理器执行所述计算机程序时，具体执行如权利要求1所述的方法。