CN108076301A - VoLTE视频多方电话的视频处理方法和系统 - Google Patents

Abstract

本发明提供了一种VoLTE视频多方电话的视频处理方法和系统。该视频处理方法包括以下步骤：在视频发送端采集原始视频图像，根据原始视频图像编码产生第一分辨率的第一视频图像和第二分辨率的第二视频图像，且发送第一视频图像和第二视频图像，第一分辨率低于第二分辨率；在多媒体服务器接收各视频发送端的第一视频图像和第二视频图像，且接收视频接收端对于各视频发送端的视频分辨率选择信令，根据视频分辨率选择信令发送各视频发送端中对应的视频图像给各视频接收端；在视频接收端，根据对各视频发送端的视频图像的区域配置指令，产生对于各视频发送端的视频分辨率选择信令，且从多媒体服务器接收各视频发送端的视频图像，解码并显示视频图像。

Description

VoLTE视频多方电话的视频处理方法和系统

技术领域

本发明主要涉及VoLTE视频电话业务，尤其涉及一种VoLTE视频多方电话的视频处理方法和系统。

背景技术

VoLTE(Voice over LTE)视频电话业务是4G通信的核心业务之一，而视频多方通话是其中一个重要功能，可以实现多人视频会议、视频聊天等功能。通常VoLTE业务使用SIP信令控制通话过程，音视频数据通过RTP/RTCP进行传输。

目前商业部署的VoLTE系统仅支持语音多方通话，还没有视频多方通话功能。从技术角度看，视频多方通话面临的主要问题是涉及的多路视频数据处理，无论是对终端还是对网络压力都很大。特别是通话人数较多的时候，传统的处理模式无法胜任。

举例来说，按照满足商业运营要求的一种视频格式要求：默认VGA(640×480像素)，向下兼容QVGA(320×240像素)格式。假设要实现5方视频通话，现有几种技术方案分别描述如下。

第一种方法，每个终端将本端采集的图像按照VGA格式编码发送，同时接收另外4方发送过来的VGA格式视频数据，然后分别进行解码，最终在屏幕上显示4路远端图像和1路本端图像。该方法实现简单，对核心网要求较低(只要转发视频数据)，但是对无线承载和终端的处理能力要求高。相比单方视频通话(上下行共2Mbps带宽)，5方通话总共需要5Mbps带宽，是原来的2.5倍。因此该方法占用无线资源较多，其要求在弱信点很难被满足。另外，终端需要支持1路VGA编码和4路VGA解码，比单方通话多出3路VGA解码，对编解码器的总开销要增加1倍以上，无论是对处理能力还是系统功耗来说都是很难满足的要求。

第二种方法，每个终端发送QVGA格式视频，同时接收其他4个终端发送过来的QVGA视频，然后解码显示。该方法在第一种方法的基础上将视频编码降为QVGA，核心网仍然只转发视频数据不作处理。由于QVGA视频的数据量大约为VGA视频的1/4，这样可以大大降低对终端无线承载和编解码器的压力，5方QVGA通话总开销基本和1路VGA单方通话差不多。但是该方案最大的缺点是视频清晰度大大降低，任何一方都只能提供QVGA分辨率的图像，无法满足VOLTE高清视频这一基本要求。

第三种方法，每个终端各自发送VGA格式视频，然后由服务器进行视频转码，将各路视频图像解码后合成，再重新编码成一路VGA视频发送给各个终端。该方法对于终端来说相当于在进行单方视频通话(一路VGA上行、一路VGA下行)，所以对终端没有任何压力。但是对于服务器来说数据处理量非常大，由于各终端看到的远端图像都是不同的，所以服务器要对每个终端单独编码，这就需要同时进行5路VGA解码和5路VGA编码。虽然语音多方通话就是由服务器完成实时转码，但是视频的处理量要比音频高很多，要求网络侧来完成如此大量的视频数据实时转码也不现实。

发明内容

本发明要解决的技术问题是提供VoLTE视频多方电话的视频处理方法和系统，既能满足视频多方通话的清晰度需求，同时对无线传输带宽和视频数据处理负荷要求是可以承受的。

为解决上述技术问题，本发明提供了一种VoLTE视频多方电话的视频处理方法，包括以下步骤：在一个或多个视频发送端：采集原始视频图像，根据所述原始视频图像编码产生第一分辨率的第一视频图像和第二分辨率的第二视频图像，且发送所述第一视频图像和第二视频图像，所述第一分辨率低于所述第二分辨率；在多媒体服务器：接收各视频发送端的所述第一视频图像和第二视频图像，且接收一个或多个视频接收端对于各视频发送端的视频分辨率选择信令，根据所述视频分辨率选择信令发送各视频发送端中对应的视频图像给各视频接收端；在一个或多个视频接收端，根据对各视频发送端的视频图像的区域配置指令，产生对于各视频发送端的视频分辨率选择信令，且从所述多媒体服务器接收各视频发送端的视频图像，解码并显示所述视频图像。

在本发明的一实施例中，根据所述原始视频图像编码产生第一分辨率的第一视频图像和第二分辨率的第二视频图像的步骤包括：将所述原始视频图像下采样至所述第一分辨率，然后编码成所述第一视频图像，其中所述原始视频图像为所述第二分辨率；获取所述第一视频图像的重建数据，且将所述重建数据上采样至所述第二分辨率；将第二分辨率的重建数据与所述原始视频图像相减得到图像残差值；将所述图像残差值编码，其中编码后图像残差值与所述第一视频图像构成所述第二视频图像。

在本发明的一实施例中，当所述视频分辨率选择信令表明第一视频接收端需要来自第一视频发送端的第一分辨率的视频图像时，从所述多媒体服务器发送所述第一视频图像给所述第一视频接收端；当所述视频分辨率选择信令表明第一视频接收端需要来自第一视频发送端的第二分辨率的视频图像时，从所述多媒体服务器发送所述第一视频图像给所述第二视频接收端。

在本发明的一实施例中，当第二视频接收端的所述区域配置指令将第二视频发送端的视频图像配置在第一尺寸区域时，所述第二视频接收端产生指示所述第一分辨率的视频分辨率选择信令；当第二视频接收端的所述区域配置指令将第二视频发送端的视频图像配置在第二尺寸区域时，所述第二视频接收端产生指示所述第二分辨率的视频分辨率选择信令，所述第二尺寸区域大于所述第一尺寸区域。

在本发明的一实施例中，当第二视频接收端的所述区域配置指令将第二视频发送端的视频图像配置在第一尺寸区域时，所述第二视频接收端接收所述第一视频图像，解码后显示在所述第一尺寸区域；当第二视频接收端的所述区域配置指令将第二视频发送端的视频图像配置在第二尺寸区域时，所述第二视频接收端所述第二视频图像，解码后显示在所述第二尺寸区域。

在本发明的一实施例中，上述视频处理方法还包括在所述一个或多个视频接收端，根据用户的切换操作产生所述区域配置指令。

在本发明的一实施例中，上述视频处理方法还包括在所述一个或多个视频接收端，根据预设区域配置产生所述区域配置指令。

在本发明的一实施例中，所述视频发送端和所述视频接收端集成在同一通话终端中。

本发明还提出一种VoLTE视频多方电话的视频处理系统，包括一个或多个视频发送端、多媒体服务器和一个或多个视频接收端。视频发送端用于采集原始视频图像，根据所述原始视频图像编码产生第一分辨率的第一视频图像和第二分辨率的第二视频图像，且发送所述第一视频图像和第二视频图像，所述第一分辨率低于所述第二分辨率。多媒体服务器用于接收各视频发送端的所述第一视频图像和第二视频图像，且接收一个或多个视频接收端对于各视频发送端的视频分辨率选择信令，根据所述视频分辨率选择信令发送各视频发送端中对应的视频图像给各视频接收端。视频接收端用于根据对各视频发送端的视频图像的区域配置指令，产生对于各视频发送端的视频分辨率选择信令，且从所述多媒体服务器接收各视频发送端的视频图像，解码并显示所述视频图像。

本发明还提出一种VoLTE视频多方电话的视频处理方法，包括以下步骤：当通话终端作为视频发送端时，采集原始视频图像，根据所述原始视频图像编码产生第一分辨率的第一视频图像和第二分辨率的第二视频图像，且发送所述第一视频图像和第二视频图像，所述第一分辨率低于所述第二分辨率；当通话终端作为视频接收端时，从多媒体服务器接收各视频发送端的视频图像，解码并显示所述视频图像，且根据对各视频发送端的视频图像的区域配置指令，产生对于各视频发送端的视频分辨率选择信令。

本发明还提出一种用于VoLTE视频多方通话的通话终端，包括图像采集设备、编码器、处理单元、发送单元接收单元、解码器和显示单元。图像采集设备采集原始视频图像。编码器根据所述原始视频图像编码产生第一分辨率的第一视频图像和第二分辨率的第二视频图像，所述第一分辨率低于所述第二分辨率。处理单元根据对参与视频多方通话的其他通话终端的视频图像的区域配置指令，产生对于所述其他通话终端的视频分辨率选择信令。发送单元发送所述第一视频图像和第二视频图像，以及所述视频分辨率选择信令。接收单元接收所述其他通话终端的视频图像。解码器解码所述视频图像。显示单元显示所述视频图像。

在本发明的一实施例中，所述编码器包括：下采样单元，将所述原始视频图像下采样至所述第一分辨率，其中所述原始视频图像为所述第二分辨率；第一编码单元，将下采样后视频数据编码成所述第一视频图像；上采样单元，获取所述第一视频图像的重建数据，且将所述重建数据上采样至所述第二分辨率；残差计算单元，将第二分辨率的重建数据与所述原始视频图像相减得到图像残差值；第二编码单元，将所述图像残差值编码，其中编码后图像残差值与所述第一视频图像构成所述第二视频图像。

在本发明的一实施例中，当所述通话终端的所述区域配置指令将某一其他通话终端的视频图像配置在第一尺寸区域时，所述处理单元产生指示所述第一分辨率的视频分辨率选择信令；当所述通话终端的所述区域配置指令将某一其他通话终端的视频图像配置在第二尺寸区域时，所述处理单元产生指示所述第二分辨率的视频分辨率选择信令，所述第二尺寸区域大于所述第一尺寸区域。

在本发明的一实施例中，当所述通话终端的所述区域配置指令将某一其他通话终端的视频图像配置在第一尺寸区域时，所述解码器解码视频图像后显示在所述第一尺寸区域；当所述视频终端的所述区域配置指令将某一其他通话终端的视频图像配置在第二尺寸区域时，所述解码器将所述第二视频图像解码后显示在所述第二尺寸区域。

在本发明的一实施例中，所述区域配置指令是根据用户的切换操作和/或预设区域配置产生。

本发明的上述技术方案，引入多分辨率的编码方式，在不增加硬件资源的情况下实现多路视频效果，相比现有的方案来说有以下优点：

第一，不需要大幅增加无线承载带宽，每个终端的上下行带宽和单方通话相比相差不大，在现有无线环境下就能实现多路视频传输。

第二，不会大量增加终端处理负荷，总体的视频处理量与单方通话相近，不会明显增加对系统及视频编解码器的压力。

第三，对核心网要求低，核心网只需要进行数据转发，不需要对视频数据进行转码，不需要对网络进行大量升级。

第四，保持高清的视频通话质量，不会降低视频清晰度。

附图说明

图1是根据本发明实施例的VoLTE视频多方电话的视频处理系统架构。

图2是根据本发明实施例的VoLTE视频多方电话的视频处理方法流程图。

图3是根据本发明一实施例的VoLTE视频多方电话的视频发送部分架构。

图4是根据本发明一实施例的编码器结构。

图5是根据本发明一实施例的VoLTE视频多方电话的视频接收部分架构。

图6是根据本发明一实施例的解码器结构。

图7、图8是根据本发明一实施例的通话终端的各种显示状态。

图9是本发明的视频处理系统示例。

具体实施方式

为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，因此本发明不受下面公开的具体实施例的限制。

本发明的实施例描述VoLTE视频多方电话的视频通话系统和方法。这一系统和方法既能满足高清视频多方通话的需求，同时又能在现有无线传输带宽下实现通话，而且视频数据处理负荷在可以接受的程度。

视频处理架构

图1是根据本发明实施例的VoLTE视频多方电话的视频处理系统架构。参考图1所示，本实施例的视频处理系统100可包括多个通话终端101和多媒体服务器102。通话终端101可以是智能手机、平板电脑、笔记本电脑等移动电子设备。这些通话终端101接入LTE网络，并可与网络侧的多媒体服务器102通信。

在本发明的实施例中，在典型的情况下，各个通话终端101既可以作为视频发送端，也可以作为视频接收端。当然，在特殊情况下，各个通话终端101的一部分可以仅作为视频发送端，另一部分可以作为视频接收端。为了方便说明，将通话终端101作为视频发送端的状态和作为视频接收端的状态分别予以描述。本领域技术人员可以理解，这两种状态可以同时或者不同时共存于同一通话终端中。

视频发送端可以采集原始视频图像，编码视频图像，并且发送编码后视频图像。视频接收端可以接收视频图像，解码视频图像，显示解码后视频图像。多媒体服务器102可以将视频发送端所发送的编码后视频图像，转发给视频接收端。

图2是根据本发明实施例的VoLTE视频多方电话的视频处理方法流程图。参考图2所示，本实施例的视频处理方法可包括如下步骤。

在步骤210是在一个或多个视频发送端执行的操作，包括：

在步骤211，采集原始视频图像。

在步骤212，根据原始视频图像编码产生第一分辨率的第一视频图像和第二分辨率的第二视频图像，其中第一分辨率低于第二分辨率。

在步骤213，发送第一视频图像和第二视频图像。

在步骤220是在多媒体服务器执行的操作，包括：

在步骤221，接收各视频发送端的第一视频图像和第二视频图像。

在步骤222，接收一个或多个视频接收端对于各视频发送端的视频分辨率选择信令。

在步骤223，视频分辨率选择信令发送各视频发送端中对应的视频图像给各视频接收端。

在步骤230是在一个或多个视频接收端执行的操作，包括：

在步骤231，根据对各视频发送端的视频图像的区域配置指令，产生对于各视频发送端的视频分辨率选择信令。

在步骤232，从多媒体服务器接收各视频发送端的视频图像。

在步骤233，解码接收的视频图像。

在步骤234，显示解码的视频图像。

可以理解，上述的步骤虽然按照特定的顺序来描述，但是这种描述的顺序并不用来限定这些步骤仅能按照所描述的顺序来执行。本领域技术人员根据本发明的原理将可以理解，有些步骤可以同时执行，有些步骤的执行顺序可以颠倒。

这里结合视频处理系统来描述上述方法的进一步细节。视频发送端可采集原始视频图像。具体地说，在视频通话过程中，由视频发送端通过摄像头采集视频图像，输入到视频发送端内部进行后续处理。接着，视频发送端内部根据原始视频图像编码产生第一分辨率的第一视频图像和第二分辨率的第二视频图像。在此，第一分辨率低于第二分辨率。与传统做法不同的是，本实施例中视频发送端同时编码产生了两种分辨率的视频图像。举例来说，视频发送端可以同时产生VGA(分辨率为640×480像素)格式的视频图像和QVGA(分辨率为320×240像素)格式的视频图像。可以理解，这里的分辨率仅仅是示例。如同本领域技术人员所了解的，在双方或更多方通话时，视频接收端通常会以大尺寸区域显示某一方的视频图像，且以小尺寸区域显示其他各方(通话包括己方)的视频图像。因此视频发送端的两种分辨率将可适应视频接收端的两种尺寸的显示区域。当然可以理解，如果视频接收端配置成有更多尺寸类型的显示区域，那么视频发送端也可以编码产生第三分辨率的视频图像。之后，视频发送端发送第一视频图像和第二视频图像。

多媒体服务器能够接收各视频发送端的第一视频图像和第二视频图像，将其转发给需要的视频接收端。在此，多媒体服务器会接收一个或多个视频接收端对于各视频发送端的视频分辨率选择信令，根据这些视频分辨率选择信令来发送各视频发送端中对应的视频图像给各视频接收端。具体来说，当一个或多个视频接收端的某一视频接收端(在此称之为第一视频接收端)发送给多媒体服务器的视频分辨率选择信令表明，此第一视频接收端需要来自某一视频发送端(在此称为第一视频发送端)的第一分辨率的视频图像时，多媒体服务器发送第一视频图像给第一视频接收端。当此第一视频接收端的视频分辨率选择信令表明，此第一视频接收端需要来自第一视频发送端的第二分辨率的视频图像时，多媒体服务器发送第二视频图像给所述第一视频接收端。第一视频接收端对于其他视频发送端的视频分辨率选择信令，也会被类似处理。同理，其他视频接收端发给多媒体服务器的对于各视频发送端的视频分辨率选择信令，也会被类似处理。

视频接收端根据对各视频发送端的视频图像的区域配置指令，产生对于各视频发送端的视频分辨率选择信令。并且，视频接收端从多媒体服务器接收各视频发送端的视频图像，解码视频图像并显示视频图像。具体地说，当某一视频接收端(在此称之为第二视频接收端)的区域配置指令将第二视频发送端的视频图像配置在第一尺寸区域时，第二视频接收端产生指示第一分辨率的视频分辨率选择信令；当此第二视频接收端的区域配置指令将第二视频发送端的视频图像配置在第二尺寸区域时，第二视频接收端产生指示第二分辨率的视频分辨率选择信令。在此，第二尺寸区域大于第一尺寸区域。相应地，当第二视频接收端的区域配置指令将第二视频发送端的视频图像配置在第一尺寸区域时，第二视频接收端接收第一视频图像，解码后显示在第一尺寸区域；当第二视频接收端的区域配置指令将第二视频发送端的视频图像配置在第二尺寸区域时，所述第二视频接收端接收第二视频图像，解码后显示在第二尺寸区域。

从通话终端的角度看，本发明实施例的一种VoLTE视频多方电话的视频处理方法，包括以下步骤：

当通话终端作为视频发送端时，采集原始视频图像，根据原始视频图像编码产生第一分辨率的第一视频图像和第二分辨率的第二视频图像，且发送第一视频图像和第二视频图像，第一分辨率低于第二分辨率；

当通话终端作为视频接收端时，根据对各视频发送端的视频图像的区域配置指令，产生对于各视频发送端的视频分辨率选择信令，且从多媒体服务器接收各视频发送端的视频图像，解码并显示视频图像。

在本实施例中，由于每个通话终端101接收的多路视频数据(对应于其他各通话方)中，仅有一路视频数据需要以大区域显示，其余为小区域方式显示，所以多媒体服务器102可以根据各通话终端101当前的使用者选择，对于需要大区域显示的那一路视频数据转发高分辨率(如VGA)的视频图像，对于只需要小区域显示的那几路视频数据只转发低分辨率(如QVGA)的视频图像。这样，在满足高清视频多方通话的需求的条件下，又能在现有无线传输带宽下实现通话，而且视频数据处理负荷在可以接受的程度。

视频发送部分架构

图3是根据本发明一实施例的VoLTE视频多方电话的视频发送部分架构。参考图3所示，本实施例的视频发送部分可包括图像采集设备301、编码器302以及发送单元303。图像采集设备301可采集原始视频图像。编码器302根据原始视频图像编码产生第一分辨率的第一视频图像和第二分辨率的第二视频图像，第一分辨率低于所述第二分辨率。发送单元303发送第一视频图像和第二视频图像。

以VGA格式和QVGA格式作为两种分辨率的视频图像为例，首先通过作为图像采集设备的摄像头采集到VGA格式图像，将VGA格式图像进行VGA视频编码和QVGA视频编码。然后将两路已编码数据进行RTP打包后发送出去。

在较佳实施例中，以第二视频图像相对于第一视频图像的残差图像代替完整的第二视频图像发送，以节省网络带宽。具体地说，图4是根据本发明一实施例的编码器结构，参考图4所示，编码器可包括下采样单元401、第一编码单元402、上采样单元403、残差计算单元404和第二编码单元405。下采样单元401将原始视频图像下采样至第一分辨率，其中原始视频图像为第二分辨率。第一编码单元402将下采样后视频数据编码成第一视频图像。上采样单元403获取第一视频图像的重建数据，且将重建数据上采样至第二分辨率。残差计算单元404，将第二分辨率的重建数据与原始视频图像相减得到图像残差值。第二编码单元405将图像残差值编码，其中编码后图像残差值与第一视频图像构成第二视频图像。

在上面的实施例中，假设原始视频图像为第二分辨率。可以理解，存在原始视频图像的分辨率高于第二分辨率的情形，此时第二视频图像的图像残差值也是在对原始视频图像下采样后编码产生。

以VGA格式和QVGA格式作为两种分辨率的视频图像为例，在编码时，先将VGA格式图像下采样至QVGA，然后进行QVGA视频编码，同时从编码器中取出QVGA编码后的重建数据(编码器会保存重建数据，作为后续参考帧，可以直接拷贝出来)，再将重建的QVGA视频数据上采样至VGA，然后和原始的采集图像相减，得到的图像残差值(相当于原始图像的高频分量)。接着将残差数据进行VGA视频编码。

通过以上优化的实施例，原始采集的VGA图像最终编码成2路视频数据，一路QVGA格式包含低频部分的图像，另一路VGA格式包含高频部分残差数据，最后通过RTP视频传输通道，将2路视频数据发送至多媒体服务器。

视频接收部分架构

图5根据本发明一实施例的VoLTE视频多方电话的视频接收部分架构。参考图5所示，本实施例的VoLTE视频多方电话的视频接收部分，包括处理单元501、接收单元502、解码器503、显示单元504和发送单元505。处理单元501根据对参与视频多方通话的其他通话终端的视频图像的区域配置指令，产生对于其他通话终端的视频分辨率选择信令。发送单元发送视频分辨率选择信令。接收单元502接收其他通话终端的视频图像。解码器503解码视频图像。显示单元504显示视频图像。

在此，区域配置指令是对将某一视频图像配置到某一尺寸的区域的指令。例如将来自第一其他通话终端的视频图像配置到大尺寸区域，将来自第二、第三、……其他通话终端的视频图像配置到小尺寸区域。区域配置指令可以首先由用于显示的本通话终端预设或自发产生。更重要的是，区域配置指令可以根据使用者的切换操作来产生。例如，图7、图8是根据本发明一实施例的通话终端的各种显示状态。通常情况下，视频图像分辨率越高占用的显示区域就越大，但是手机屏幕尺寸是有限的，无法同时显示多个全尺寸的视频图像。因此在单方视频电话中，远端图像是以大区域显示，以保证图像清晰度，而本地图像以小区域方式显示。同样在多方通话中，屏幕布局更加紧凑，只能有一方是大区域显示，其余方是小区域显示。例如在图7中，用户A的本地图像以小区域显示，一个远端用户以大区域方式显示(图中为B)，其余用户同样是小区域方式显示(图中为C、D、E)。在通话过程中，用户A可以切换大区域的内容，即可以动态选择哪个远端用户以大区域显示。结合参考图7、图8所示，用户A在某些时候将来自用户B的视频图像配置到大尺寸区域，而将本用户A、其他用户C、D、E的视频图像配置到小尺寸区域；而在另一些时候，用户切换到将来自通话终端D的视频图像配置到大尺寸区域，而将本用户A、其他用户B、C、E的视频图像配置到小尺寸区域。根据此切换操作，用户A所在通话终端产生区域配置指令，且进一步据此产生视频分辨率选择信令，以发送给多媒体服务器。

回到图5所示，解码器503需要将第一分辨率的第一视频图像和第二分辨率的第二视频图像解码。假设进行5方通话，且仍以VGA格式和QVGA格式作为两种分辨率的视频图像为例，对于每个通话终端来说下行一共会收到3个QVGA视频流(小区域)和一个VGA视频流(大区域，由QVGA/VGA残差组成)。对于QVGA视频流的解码，只需在RTP接收、解码后得到QVGA格式视频数据，再将QVGA数据解码，然后显示图像(小区域)。

对于VGA视频流的解码也可以如此。不过，对于图4所示较佳实施例的编码方式，需要使用图6所示的解码器结构，包括第一解码单元601、上采样单元602、第二解码单元603和图像合成单元604。RTP接收解析后得到2路视频图像。第一视频图像(例如为QVGA格式)在第一解码单元601解码，然后在上采样单元602进行上采样，恢复到第二分辨率(例如VGA格式)。另外，残差图像值(例如VGA格式)在第二解码单元603解码。然后在图像合成单元604将两路VGA格式图像相加，合成完整的VGA图像。

通话终端

可以理解，一个完整的用于VoLTE视频多方通话的通话终端，包括上述的视频发送部分和视频接收部分，其组成包括：图像采集设备、编码器、发送单元、处理单元、接收单元、解码器和显示单元。图像采集设备采集原始视频图像。编码器根据原始视频图像编码产生第一分辨率的第一视频图像和第二分辨率的第二视频图像，第一分辨率低于第二分辨率。处理单元根据对参与视频多方通话的其他通话终端的视频图像的区域配置指令，产生对于其他通话终端的视频分辨率选择信令。发送单元发送第一视频图像和第二视频图像，以及视频分辨率选择信令。接收单元，接收其他通话终端的视频图像。解码器解码视频图像。显示单元显示视频图像。

当通话终端的所述区域配置指令将某一其他通话终端的视频图像配置在第一尺寸区域时，处理单元产生指示所述第一分辨率的视频分辨率选择信令；当通话终端的区域配置指令将某一其他通话终端的视频图像配置在第二尺寸区域时，处理单元产生指示第二分辨率的视频分辨率选择信令，第二尺寸区域大于第一尺寸区域。

当通话终端的所述区域配置指令将某一其他通话终端的视频图像配置在第一尺寸区域时，解码器解码视频图像后显示在第一尺寸区域；当视频终端的区域配置指令将某一其他通话终端的视频图像配置在第二尺寸区域时，解码单元将所述编码后图像残差值与所述第一视频图像解码后显示在第二尺寸区域。区域配置指令是根据用户的切换操作和/或预设区域配置产生。

通话终端的其他细节可参考前文的描述，在此不再展开。

通过以上的视频发送和接收部分的数据处理流程实现5方通话，通话终端就能够实现1路VGA和3路QVGA的图像显示模式。其中上采样和下采样可以根据系统处理能力选择适当的图像缩放算法，只需要保证视频发送端和视频接收端选用同样的一套算法即可。

对于上行发送部分来说，QVGA码率本身较低，而另一路VGA格式的高频残差数据中低频部分能量较低，数据比较稀疏，编码后的码率也比正常VGA图像低不少。所以在编码器效率固定的情况下，QVGA和残差VGA两路视频数据加起来的码率和单独编码一路VGA图像基本差不多，不需要额外增加上行带宽。另外，图像缩放可以由图形处理器(GPU)完成，剩下1路VGA编码和1路QVGA编码(QVGA编码开销较低)，不会对系统造成太大负担。对于下行接收部分来说，总共接收1路QVGA/VGA残差，和3路单独QVGA数据，比单方通话下行带宽需求大，但由于QVGA本身码率较低，所以总体带宽增加不多。而解码过程中需要实现4路QVGA(相当于1路正常VGA图像解码的负荷)和1路VGA残差数据解码，由于残差图像数据比较稀疏，实际解码负荷会小于正常VGA图像的解码负荷。

按照本方案实现5方视频通话，其上行部分的带宽与单方通话相近，需要增加一路QVGA编码的开销；下行部分需要增加3路QVGA数据带宽(600kbps左右)，需要增加一路VGA残差数据解码的开销。和单方通话相比，5方通话下对终端无线带宽总需求大约增加30％左右，编解码器总负荷大约增加25％左右；而对网络侧没有需求，只要转发数据即可。总的来说在现有硬件环境下就能实现，不需要大幅升级终端或网络的处理能力。

视频处理系统实例

以一个根据本发明实施例的一个VOLTE视频5方通话方案为例，图9是视频处理系统示例，其中终端B、C、D、E的内部结构和终端A相同。由于本实例主要涉及视频处理部分，终端和网络之间的无线接口以及接入网等部分图中都省略了。

根据图9所示结构，以终端A为例，5方视频通话的大致流程如下：

1)通过SIP信令发起视频电话呼叫，依次将终端B、C、D、E添加到会议电话中，同时终端A将当前显示模式(即哪个用户需要大区域显示)上报服务器。

2)启动编解码器，本端采集图像编码成QVGA/VGA残差视频码流，经过RTP大包后发送至网络。

3)网络侧的多媒体服务器收到各个终端发送的上行数据，其中终端B、C、D、E上行数据中的QVGA视频部分直接转发给终端A。另外根据终端A设置的显示模式(假设终端B需要大区域显示)，将终端B上行数据中的VGA残差视频转发给终端A。

4)终端A收到下行数据后先经过RTP解析，然后得到4路视频下行码流。其中终端B对应的码流包含QVGA/VGA残差两部分，解码后可以合成为VGA分辨率的图像，用于大区域显示。其余终端C、D、E对应的码流只包含QVGA视频码流，解码后用于小区域显示。

5)如果终端A要将大区域显示用户切换到终端C，则通过SIP信令通知服务器，然后服务器停止转发终端B的VGA残差数据，同时开始将终端C的VGA残差数据转发给终端A，这样终端A就可以得到终端C的VGA分辨率图像。

本发明的上述视频处理系统和方法，引入多分辨率的编码方式，在不增加硬件资源的情况下实现多路视频效果，相比现有的方案来说有以下优点：

第一，不需要大幅增加无线承载带宽，每个终端的上下行带宽和单方通话相比相差不大，在现有无线环境下就能实现多路视频传输。

第二，不会大量增加终端处理负荷，总体的视频处理量与单方通话相近，不会明显增加对系统及视频编解码器的压力。

第三，对核心网要求低，核心网只需要进行数据转发，不需要对视频数据进行转码，不需要对网络进行大量升级。

第四，保持高清的视频通话质量，不会降低视频清晰度。

虽然本发明已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，在没有脱离本发明精神的情况下还可作出各种等效的变化或替换，因此，只要在本发明的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。

Claims (15)

1.一种VoLTE视频多方电话的视频处理方法，包括以下步骤：

在一个或多个视频发送端：采集原始视频图像，根据所述原始视频图像编码产生第一分辨率的第一视频图像和第二分辨率的第二视频图像，且发送所述第一视频图像和第二视频图像，所述第一分辨率低于所述第二分辨率；

在多媒体服务器：接收各视频发送端的所述第一视频图像和第二视频图像，且接收一个或多个视频接收端对于各视频发送端的视频分辨率选择信令，根据所述视频分辨率选择信令发送各视频发送端中对应的视频图像给各视频接收端；

在一个或多个视频接收端，根据对各视频发送端的视频图像的区域配置指令，产生对于各视频发送端的视频分辨率选择信令，且从所述多媒体服务器接收各视频发送端的视频图像，解码并显示所述视频图像。

2.根据权利要求1所述的VoLTE视频多方电话的视频处理方法，其特征在于，根据所述原始视频图像编码产生第一分辨率的第一视频图像和第二分辨率的第二视频图像的步骤包括：

将所述原始视频图像下采样至所述第一分辨率，然后编码成所述第一视频图像，其中所述原始视频图像为所述第二分辨率；

获取所述第一视频图像的重建数据，且将所述重建数据上采样至所述第二分辨率；

将第二分辨率的重建数据与所述原始视频图像相减得到图像残差值；

将所述图像残差值编码，其中编码后图像残差值与所述第一视频图像构成所述第二视频图像。

3.根据权利要求1所述的VoLTE视频多方电话的视频处理方法，其特征在于，当所述视频分辨率选择信令表明第一视频接收端需要来自第一视频发送端的第一分辨率的视频图像时，从所述多媒体服务器发送所述第一视频图像给所述第一视频接收端；当所述视频分辨率选择信令表明第一视频接收端需要来自第一视频发送端的第二分辨率的视频图像时，从所述多媒体服务器发送所述第一视频图像给所述第二视频接收端。

4.根据权利要求1所述的VoLTE视频多方电话的视频处理方法，其特征在于，当第二视频接收端的所述区域配置指令将第二视频发送端的视频图像配置在第一尺寸区域时，所述第二视频接收端产生指示所述第一分辨率的视频分辨率选择信令；当第二视频接收端的所述区域配置指令将第二视频发送端的视频图像配置在第二尺寸区域时，所述第二视频接收端产生指示所述第二分辨率的视频分辨率选择信令，所述第二尺寸区域大于所述第一尺寸区域。

5.根据权利要求1所述的VoLTE视频多方电话的视频处理方法，其特征在于，当第二视频接收端的所述区域配置指令将第二视频发送端的视频图像配置在第一尺寸区域时，所述第二视频接收端接收所述第一视频图像，解码后显示在所述第一尺寸区域；当第二视频接收端的所述区域配置指令将第二视频发送端的视频图像配置在第二尺寸区域时，所述第二视频接收端所述第二视频图像，解码后显示在所述第二尺寸区域。

6.根据权利要求1所述的VoLTE视频多方电话的视频处理方法，其特征在于，还包括在所述一个或多个视频接收端，根据用户的切换操作产生所述区域配置指令。

7.根据权利要求1所述的VoLTE视频多方电话的视频处理方法，其特征在于，还包括在所述一个或多个视频接收端，根据预设区域配置产生所述区域配置指令。

8.根据权利要求1所述的VoLTE视频多方电话的视频处理方法，其特征在于，所述视频发送端和所述视频接收端集成在同一通话终端中。

9.一种VoLTE视频多方电话的视频处理系统，包括：

一个或多个视频发送端，用于采集原始视频图像，根据所述原始视频图像编码产生第一分辨率的第一视频图像和第二分辨率的第二视频图像，且发送所述第一视频图像和第二视频图像，所述第一分辨率低于所述第二分辨率；

多媒体服务器，用于接收各视频发送端的所述第一视频图像和第二视频图像，且接收一个或多个视频接收端对于各视频发送端的视频分辨率选择信令，根据所述视频分辨率选择信令发送各视频发送端中对应的视频图像给各视频接收端；

一个或多个视频接收端，用于根据对各视频发送端的视频图像的区域配置指令，产生对于各视频发送端的视频分辨率选择信令，且从所述多媒体服务器接收各视频发送端的视频图像，解码并显示所述视频图像。

10.一种VoLTE视频多方电话的视频处理方法，包括以下步骤：

当通话终端作为视频发送端时，采集原始视频图像，根据所述原始视频图像编码产生第一分辨率的第一视频图像和第二分辨率的第二视频图像，且发送所述第一视频图像和第二视频图像，所述第一分辨率低于所述第二分辨率；

当通话终端作为视频接收端时，从多媒体服务器接收各视频发送端的视频图像，解码并显示所述视频图像，且根据对各视频发送端的视频图像的区域配置指令，产生对于各视频发送端的视频分辨率选择信令。

11.一种用于VoLTE视频多方通话的通话终端，包括：

图像采集设备，采集原始视频图像；

编码器，根据所述原始视频图像编码产生第一分辨率的第一视频图像和第二分辨率的第二视频图像，所述第一分辨率低于所述第二分辨率；

处理单元，根据对参与视频多方通话的其他通话终端的视频图像的区域配置指令，产生对于所述其他通话终端的视频分辨率选择信令；

发送单元，发送所述第一视频图像和第二视频图像，以及所述视频分辨率选择信令；

接收单元，接收所述其他通话终端的视频图像；

解码器，解码所述视频图像；

显示单元，显示所述视频图像。

12.根据权利要求11所述的用于VoLTE视频多方通话的通话终端，其特征在于，所述编码器包括：

下采样单元，将所述原始视频图像下采样至所述第一分辨率，其中所述原始视频图像为所述第二分辨率；

第一编码单元，将下采样后视频数据编码成所述第一视频图像；

上采样单元，获取所述第一视频图像的重建数据，且将所述重建数据上采样至所述第二分辨率；

残差计算单元，将第二分辨率的重建数据与所述原始视频图像相减得到图像残差值；

第二编码单元，将所述图像残差值编码，其中编码后图像残差值与所述第一视频图像构成所述第二视频图像。

13.根据权利要求11所述的用于VoLTE视频多方通话的通话终端，其特征在于，当所述通话终端的所述区域配置指令将某一其他通话终端的视频图像配置在第一尺寸区域时，所述处理单元产生指示所述第一分辨率的视频分辨率选择信令；当所述通话终端的所述区域配置指令将某一其他通话终端的视频图像配置在第二尺寸区域时，所述处理单元产生指示所述第二分辨率的视频分辨率选择信令，所述第二尺寸区域大于所述第一尺寸区域。

14.根据权利要求11所述的用于VoLTE视频多方通话的通话终端，其特征在于，当所述通话终端的所述区域配置指令将某一其他通话终端的视频图像配置在第一尺寸区域时，所述解码器解码视频图像后显示在所述第一尺寸区域；当所述视频终端的所述区域配置指令将某一其他通话终端的视频图像配置在第二尺寸区域时，所述解码器将所述第二视频图像解码后显示在所述第二尺寸区域。

15.根据权利要求1所述的用于VoLTE视频多方通话的通话终端，其特征在于，所述区域配置指令是根据用户的切换操作和/或预设区域配置产生。