CN101273631A

CN101273631A - 一种多方视频通讯媒体流控制系统和方法

Info

Publication number: CN101273631A
Application number: CNA2005800516476A
Authority: CN
Inventors: 夏正勋; 王金东; 叶剑章; 潘承锦
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2005-12-12
Filing date: 2005-12-12
Publication date: 2008-09-24
Anticipated expiration: 2025-12-12
Also published as: CN101273631B; WO2007068139A1

Abstract

本发明的一种多方视频通讯媒体流控制系统和方法，该系统包括媒体流传输控制路径、通讯终端和服务器，其中通讯终端包括RTCP单元、RTP输出单元和RTP输入单元，TS编码单元，I帧编码单元，媒体缓冲单元，TS解码单元，I帧解码单元及流控制单元；服务器包括I帧存储单元，流控制单元及通讯子单元，其中该通讯子单元包括RTCP传输单元、RTP输出单元和RTP输入单元，I帧提取单元，RTP解包单元，媒体缓冲单元及媒体源单元。本发明提出一种将静态图像与TS流混合传输的方法及一种媒体流无缝切换和控制的方法，在降低服务器和通讯终端负载的同时能够提供足够多的信息，简化了多方视频通讯的过程。

Description

一种多方视频通讯媒体流控制系统和方法技术领域本发明属于多媒体技术领域，涉及一种多方视频通讯媒体流控制系统和方法，更具体地涉及一种实时多方视频通讯时将静态图像与实时流

(Transport Stream) (以下简称 TS流)混合传输的系统和方法及媒体流控制和切换的系统和方法。背景技术随着网络技术的发展，一种新的媒体技术应运而生，这就是流媒体技术。流媒体是指在网络中使用流式传输技术的连续时基媒体，如音频、视频或多媒体文件。流媒体技术在视频电话和视频会议系统中得到了极大的应用。在现有的视频通讯系统中，各通讯终端通过流媒体服务器进行通讯，在多方视频通讯时，一个通讯终端通常要建若干对通讯链接以接收其他通讯终端的音视频数据，这种方式的服务器作为通讯中心负担很大，作为通讯终端可能并不关心所有参与通讯的通讯终端的视频信息，所以在此基础上业界又提出了若干减轻服务器负担的方法，例如在视频会议系统中，各通讯终端仅接收正在发言的通讯终端的音视频数据。虽然上述方法部分地减轻了服务器的负担，但仍然存在以下不足-

1、通讯终端从一个媒体源切换到另一个媒体源的切换步骤复杂；

2、在一个多方视频通讯过程中，如果通讯终端仅接收某一个通讯源的数据，就会丧失信息的完整性。发明内容针对上述情形，本发明的目的在于提出一种多方视频通讯媒体流控制系统和方法。本发明充分考虑了多方视频通讯系统的特点，提出了一种将静态图像与 TS流混合传输的系统和方法及一种媒体流无缝切换和控制的系统和方法，在降低服务器和通讯终端负载的同时能够提供足够多的信息，从而简化了多方视频通讯的过程。

本发明主要提出了解决以下三个问题的系统和方法：

1、静态图像和 TS流同时传输时，如何识别这 2种数据；

2、多方通讯建立时，通讯终端接收其他通讯终端的静态图像，并据此选择其所关心的主媒体源；

3、如何无缝切换主媒体源。

为实现上述目的，本发明的一种多方视频通讯媒体流控制系统，包括媒体流传输控制路径，负责传输音视频数据和控制信号；通讯终端，负责发送和接收上述音视频数据和控制信号；和服务器，负责响应上述控制信号，为视频通讯终端提供媒体流服务；其中上述通讯终端包括：实时传输控制协议 (Realtime Transport Control Protocol) (以下简称 RTCP)单元、实时传输协议 (Realtime Transport Protocol) (以下简称 RTP)输出单元和 RTP输入单元， TS编码单元，帧内编码帧 (I-frame，又叫内部画面 (intra picture)) (以下简称 I帧)编码单元，媒体缓冲单元， TS解码单元， I帧解码单元及流控制单元；上述服务器包括： I帧存储单元，流控制单元及通讯子单元，其中该通讯子单元包括： RTCP传输单元、 RTP输出单元和 RTP输入单元， I帧提取单元， RTP解包单元，媒体缓冲单元及媒体源单元。

其中，上述通讯终端的 RTP输出单元负责将本通讯终端的音视频数据传递给上述服务器中的与本通讯终端对应的通讯子单元的 RTP输入单元；上述通讯终端的 RTP输入单元负责从上述服务器接收其他通讯终端的音视频数据；

上述通讯终端的 TS编码单元负责本通讯终端的 TS流编码；上述通讯终端的 I帧编码单元负责定时对本通讯终端的静态图像进行编码，形成 I帧数据输出到该通讯终端的 RTP输出单元，并用上述 RTP 包中一特定的 Payload类型来标记该通讯终端的 I帧数据；上述通讯终端的媒体缓冲单元负责接收上述通讯终端的 RTP输入单元的数据；

上述通讯终端的 TS解码单元负责从上述媒体缓冲单元中提取 TS流，并将其解码；

上述通讯终端的 I帧解码单元负责从上述媒体缓冲单元中提取上述有特定 Payload类型的 RTP包，并对 I帧数据进行解码，形成静态图像；上述通讯终端的流控制单元负责与上述服务器的流控制单元通讯，通知该服务器本通讯终端当前要使用的主媒体源或接收该服务器的启动本通讯终端的 TS编码单元的指令；

上述服务器的 I帧存储单元负责存储各通讯终端的 I帧数据；上述服务器的流控制单元负责控制各通讯终端的音视频流的链接；上述服务器的通讯子单元负责与上述通讯终端建立通讯链路传递上述音视频数据和控制信号，负责向上述服务器的 I帧存储单元输出视频 I 帧数据，和负责从上述服务器的 I帧存储单元和上述服务器的其他通讯子单元的 RTP解包单元中获取媒体源数据输入到该通讯子单元的媒体源单元中；其中

上述服务器的通讯子单元的 RTP 输出单元负责将其他通讯终端的音视频数据传递给与该通讯子单元对应的通讯终端；

上述服务器的通讯子单元的 RTP 输入单元负责接收上述通讯终端的音视频数据；

上述服务器的通讯子单元的 I帧提取单元负责根据上述 RTP包的一特定的 Payload类型来提取 I帧数据，并将其存储到上述服务器的 I帧存储单元中；若该 I帧提取单元没有找到上述类型的 RTP包，则其直接从上述服务器的通讯子单元的 RTP解包单元中的数据中提取 I帧数据；例如：如果当前视频采用 MPEG4 编码格式，则可以通过 vop— coding— type 或 group_of—vop— start— code字段找到 I帧数据；上述服务器的通讯子单元的 RTP解包单元负责在过滤掉上述服务器的通讯子单元的 I帧提取单元需要的数据包后，将接收到的音视频数据的 RTP包头移除，·并将其输出到该通讯子单元的媒体缓冲单元中；

上述服务器的通讯子单元的媒体缓冲单元负责接收上述服务器的通讯子单元的 RTP解包单元输出的数据；

上述服务器的通讯子单元的媒体源单元负责从上述服务器的 I帧存储单元和与其他通讯终端对应的通讯子单元的媒体缓冲单元中获取与该通讯子单元对应的通讯终端需要的音视频数据。

此外，上述通讯终端的 RTP输出单元分别与上述通讯终端的 TS编码单元及 I帧编码单元连接；

上述通讯终端的 RTP输入单元与上述通讯终端的媒体缓冲单元连接; 上述通讯终端的媒体缓冲单元分别与上述通讯终端的 TS解码单元及 I帧解码单元连接；及

上述服务器的通讯子单元的 I帧提取单元分别与上述服务器的 I帧存储单元、上述服务器的通讯子单元的 RTP输入单元及 RTP解包单元连接; 上述服务器的通讯子单元的 RTP解包单元分别与上述服务器的通讯子单元的 RTP输入单元、 I帧提取单元及媒体缓冲单元连接；

上述服务器的通讯子单元的媒体源单元分别与上述服务器的通讯子单元的 RTP输出单元、上述服务器的 I帧存储单元及流控制单元连接。

其中，上述通讯终端通过定义 RTP包中一特定的负载类型 (以下简称 Payload类型)来标记该通讯终端的 I帧数据，该类型的 RTP包仅包含该通讯终端的音视频数据的 I帧数据；由于是通讯系统，因此上述通讯终端与服务器均为双向的音视频流通讯；在多方视频通讯建立时，上述服务器包含多个上述通讯子单元，且每一个上述通讯子单元与每一个上述通讯终端相对应；在多方视频通讯建立后，上述通讯终端与服务器至少可以通过 RTP/RTCP传输通道传输音视频数据。

为实现上述目的，本发明的一种多方视频通讯媒体流控制方法，对于静态图像与 TS流混合传输的方法包括以下步骤：步骤 101 : 通讯终端的 RTP输出 \输入单元与服务器中的与该通讯终端对应的通讯子单元的 RTP输入 \输出单元建立一对数据通讯链路，其中上述静态图像与上述 TS流都通过这对数据通讯链路传输；

步骤 102: 上述通讯终端的 I帧编码单元定时将上述静态图像编码为 I帧数据，并将其传输到上述通讯终端的 RTP输出单元中；

步骤 103 : 如果上述通讯终端的 RTP输出单元接收到上述 I帧编码单元中的 I帧数据，则将其封装成有特定 Payload类型的 RTP包，并立即发送；如果上述通讯终端的 RTP输出单元接收到的是上述通讯终端的 TS编码单元的数据，则将其封装成 RTP包后，按时间戳 (以下简称 TimeStamp) 发送；其中上述特定 Payload类型的 RTP包区别于上述 TS流的 RTP包；步骤 104: 如果上述服务器中的与上述各通讯终端对应的通讯子单元的 RTP输入单元接收到上述特定 Payload类型的 RTP包，则将上述 I帧数据提取出来并将其存储到服务器中的 I帧存储单元中；如果接收到的是 TS 流数据，则经上述通讯子单元的 RTP解包单元去除包头后，将其存储在上述通讯子单元的媒体缓冲单元内；

步骤 105: 上述服务器中的与上述各通讯终端对应的通讯子单元的媒体源单元定时从上述 I帧存储单元中获取其他通讯终端的 I帧数据，且从上述各通讯终端确定的主媒体源所对应的通讯子单元的媒体缓冲单元中获取上述 TS流数据；

步骤 106: 如果上述服务器中的与上述各通讯终端对应的通讯子单元的 RTP输出单元接收到上述特定 Payload类型的 RTP包，则立即发送；如果接收到的是上述 TS流的 RTP包，则按上述 TimeStamp发送；

步骤 107:如果上述通讯终端的 RTP输入模块接收到上述特定 Payload 类型的 RTP包，则将其传送给上述通讯终端的 I帧解码单元，形成其他通讯终端的静态图像；如果接收到的是上述 TS流的 RTP包，则将其传送给上述通讯终端的 TS解码单元，形成上述主媒体源的 TS流。

其中上述步骤 101 中的数据通讯链路例如可以为 RTP/RTCP传输通道。

为实现上述目的，本发明的一种多方视频通讯媒体流控制方法，对于通过通讯终端接收到的静态图像选择主媒体源的方法包括以下步骤：

步骤 201 : 最初开始多方视频通讯时，通讯终端仅进行 I 帧编码， I 帧数据通过特定 Payload类型的 RTP包定时发送给服务器；

步骤 202: 上述服务器接收各通讯终端的上述 I帧数据，并将其存储在上述服务器的 I帧存储单元中；

步骤 203 : 上述服务器中的与上述各通讯终端对应的通讯子单元从上述 I帧存储单元中获取其他通讯终端的 I帧数据并发送给该通讯终端；步骤 204: 上述通讯终端根据显示的上述其他通讯终端的静态图像，选择主媒体源，之后该通讯终端的流控制单元通知上述服务器的流控制单元该通讯终端选择的主媒体源；

步骤 205: 上述服务器检查上述通讯终端所选择的主媒体源是否在传送 TS流，如果没有，则通知该主媒体源的流控制单元启动 TS编码单元; 步骤 206: 上述服务器的流控制单元发送控制信号给与上述通讯终端对应的通讯子单元的媒体源单元让其从与上述主媒体源对应的通讯子单元的媒体缓冲单元中获取 TS流数据。

其中上述主媒体源为与上述通讯终端不同的另一通讯终端。

为实现上述目的，本发明的一种多方视频通讯媒体流控制方法，对于一通讯终端从当前的主媒体源切换至另一主媒体源的方法包括以下步骤：步骤 301：通讯终端 4的流控制单元通知服务器的流控制单元将其当前的主媒体源由 4 、 A₂ 、 ...、 4,切换至 4 ;

步骤 302: 上述服务器检查上述主媒体源是否在传送 TS流，如果没有，则通知该主媒体源 ^的流控制单元启动该主媒体源 ^的 TS编码单元；

步骤 303 : 上述服务器的流控制单元发送控制信号给与上述通讯终端 4对应的通讯子单元的媒体源单元让其从与上述主媒体源 _y对应的通讯子单元的媒体缓冲单元中获取 TS流数据。其中，上述当前的主媒体源 4 、、 ...、 4与上述主媒体源 ^为与上述通讯终端 ^互不相同的通讯终端；上述下标 x、 y及 n互不相同。

与现有的视频通讯系统相比，采用本发明具有以下优点：

1、在初期建立多方视频通讯时，通讯终端仅定时传输视频 I帧数据，从而可以缩短建立多方视频通讯的时间；

2、通讯终端可以在显示定时更新的其他通讯终端的静态图像的同时接收当前的通讯终端关心的通讯终端的主媒体源 TS流数据，可以在节约带宽的同时保证获取的信息量最大；

₃、与其他媒体流切换技术相比，本发明了建立独立于媒体源的 RTP/RTCP 传输通道，在传输时不需要进行 TimeStamp 及同步源标识 (Synchronization Source identifiers) (以下简称 SSRC)的变换。为让本发明的上述和其它目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合说明书附图，作详细说明如下。附图说明图 1为本发明的系统构成图；

图 2为本发明一较佳实施例的一种应用环境示意图；图 3为本发明所述系统中三方通讯时的系统处理示意图；

图 4为本发明的通讯终端定时显示其他通讯终端的静态图像时的大致处理流程图；

图 5为本发明的通讯终端 A确认通讯终端 B作为其主媒体源时的处理流程图；

图 6为本发明的通讯终端 A将其主媒体源由通讯终端 B切换至通讯终端 C时的处理流程图。具体实施方式下面结合附图对本发明的技术方案的具体实施作进一步的详细说明，但其并不作为对本发明的限定。

图 1为本发明的系统构成图。如图 1所示，本发明所述系统包括媒体流传输控制路径、通讯终端和服务器，其中上述通讯终端包括： RTCP单元、 RTP输出单元和 RTP输入单元， TS编码单元， I帧编码单元，媒体缓冲单元， TS解码单元， I帧解码单元及流控制单元；上述服务器包括： I帧存储单元，流控制单元及通讯子单元，其中该通讯子单元包括： RTCP 传输单元、 RTP输出单元和 RTP输入单元， I帧提取单元， RTP解包单元，媒体缓冲单元及媒体源单元。

图 2为本发明一较佳实施例的一种应用环境示意图。如图 2所示，通讯终端 A、 B、 C分别通过移动网络、因特网 (Internet)、企业内部网 (Intranet) 与视频通讯系统服务器相连，当多方视频通讯开始后 (系统处理图如图 3 所示)，服务器创建 3个通讯子单元分别与上述 3个通讯终端 A、 B、 C一一对应；上述每一个通讯终端与上述每一个通讯子单元建立 RTCP控制链接和 RTP输入 \输出链接来传输音视频数据，并建立流控制链接来传送主媒体源控制信息。上述通讯终端 A接收从上述服务器发送过来的音视频数据，提取其中的 I帧数据以形成其他通讯终端的定时更新的静态图像，并根据显示画面确定其主媒体源为上述通讯终端 B，所以上述通讯终端 B需同时输出 TS流数据和定时的静态图像数据，上述通讯终端 A在接收通讯终端 B、 C的定时的静态图像数据的同时接收上述通讯终端 B的 TS流数据。当上述通讯终端 A选择上述通讯终端 C作为其主媒体源时，上述服务器能够将 TS流顺利地从上述通讯终端 B切换到上述通讯终端 C，而不需上述通讯终端 A作除切换动作之外的操作，即为无缝切换。

结合上述实时例，本发明能够顺利实施后必须达到以下功能：

1、上述通讯终端 B、 C发送的 I帧数据，上述通讯终端 A能够收到并显示； 2、上述通讯终端 A根据显示图像，确定上述通讯终端 B为其主媒体源后，通讯终端 B开始发送其 TS流，上述通讯终端 A能够在接收上述通讯终端 C发送的静态图像的同时，接收上述通讯终端 B的 TS流；

3、若上述通讯终端 A选择上述通讯终端 C作为其主媒体源时，上述服务器能够在上述通讯终端 A无察觉的情况下，将 TS流由通讯终端 B切换到通讯终端 C。

为实现上述目的，且为节约带宽、加快通讯建立速度，在多方视频通讯建立时，参与通讯的各通讯终端仅定时传输 I帧数据，各通讯终端能够显示其他各通讯终端的定时更新的静态图像，此过程的大致流程如图 4所示，请同时参照图 2、图 3和图 4其具体实施步骤如下- 步骤一、多方视频通讯建立时，服务器为各通讯终端创建与其对应的通讯子单元，通讯终端与通讯子单元建立 RTP/RTCP传输通道；

步骤二、通讯终端八、 B、 C的 I帧编码单元周期性地（例如每隔 10 秒）获取本通讯终端当前的静态图像，将其编码成 I帧数据，并传递给上述各通讯终端的 RTP.输出单元；

步骤三、上述通讯终端 A、 B、 C的 RTP输出单元接收到上述 I帧编码单元的数据时，为该数据封装 RTP包头，其中此 RTP包头的 SSRC字段与该通讯终端 TS流数据的 RTP包头的 SSRC—致，其标记该数据的来源；同时，该 RTP包头的 Payload字段定义为一特定的 7bit的数据，以标记该静态图像数据包区别于 TS流的数据；

步骤四、上述通讯终端的 RTP输出单元对上述静态图像数据加上 RTP 包头后，立即通过上述 RTP传输通道将其发送给上述服务器中的与上述各通讯终端、 B、 C对应的通讯子单元 A、 B、 C的 RTP输入单元；

步骤五、上述服务器中的与上述各通讯终端 A、 B、 C对应的通讯子单元 A、 B、 C的 I帧提取单元周期性地从其通讯子单元的 RTP输入单元中根据 RTP包头的 Payload字段提取静态图像数据，并将其传送给上述服务器的 I帧存储单元；步骤六、上述服务器的 I帧存储单元根据各数据包的 RTP包头中不同的 SSRC字段来区分来自不同通讯终端的静态图像数据；

步骤七、上述服务器中的与上述各通讯终端 A、 B、 C对应的通讯子单元 A、 B、 C的媒体源单元周期性地从上述 I帧存储单元中获取其他通讯终端的静态图像数据，并将其立即传送给其通讯子单元的 RTP输出单元，该 RTP输出单元立即将此类数据传输给与其通讯子单元相对应的通讯终端的 RTP输入单元；

步骤八、上述通讯终端 A、 B、 C的媒体缓冲单元从其通讯终端的 RTP 输入单元中接收数据，根据其 RTP包的 Payload字段提取静态图像数据，并根据上述 RTP包的 SSRC字段来区分其他不同通讯终端的数据，以组成不同的各通讯终端的完整的 I帧数据；

步骤九、上述通讯终端 A、 B、 C的 I帧解码单元对上述 I帧数据进行解码，并根据上述 SSRC字段来区分显示解码图像的不同来源，这样上述通讯通端八、 B、 C就可以看到其他通讯终端的定时更新的静态图像。

对于上述通讯终端 A来说，现在可以看到定时更新的通讯终端 B、 C 的静态图像，并可以根据上述通讯终端的 B、 C的静态图像，选择自己感兴趣的主媒体源 B，这样通讯终端 A就可以在接受上述通讯终端 B、 C的定时更新的静态图像的同时，接收通讯终端 B的 TS流，此过程的大致流程如图 5所示，请同时参照图 2、图 3和图 5，此过程的具体实施步骤如下：

步骤一、通讯终端 A选择通讯终端 B作为其当前的主媒体源，通讯终端 A 的流控制单元发送控制信号给服务器的流控制单元要求通讯终端 A当前的主媒体源为通讯终端 B;

步骤二、上述服务器的流控制单元接收到上述通讯终端 A确定主媒体源为上述通讯终端 B的请求后，首先查看当前的通讯终端 B的 TS流访问计数是否为 0， ·若上述通讯终端 B的 TS流访问计数为 0，表明该通讯终端 B才开始建立多方视频通讯，则上述服务器的流控制单元给上述通讯终端 B的流控制单元发送 TS流开始请求；否则执行步骤六；步骤三、上述通讯终端 B的流控制单元接收到上述服务器发送的 TS 流开始请求后，通讯终端 B的流控制单元通知其通讯终端的 TS编码单元开始工作，该 TS编码单元对当前的通讯终端 B的音视频数据进行编码，并将编码后的数据传递给上述通讯终端 B的 RTP输出单元，该 RTP输出单元为编码后的数据加上 RTP包头，并按 TimeStamp发送；

步骤四、上述服务器中的通讯子单元 B的 RTP输入单元接收到上述通讯终端 B发送的 TS流数据后，将其传递给该通讯子单元的 RTP解包单元，其中根据 RTP包的 Payload字段来区别是静态图像数据还是 TS流数据；

步骤五、上述服务器中的通讯子单元 B的 RTP解包单元，去除上述 TS流数据的 RTP包头后将数据存储在该通讯子单元的媒体缓冲单元中；步骤六、上述服务器的流控制单元通知上述通讯子单元 A的媒体源单元从通讯子单元 B的媒体缓冲单元中取数据，且上述通讯终端 B的 TS流访问计数加 1 ; ·在开始取数据时都是从 TS流的 I帧数据开始取，如果是 MPEG4压缩编码，可以通过 vop— coding— type或 group— of— vop— start— code 字段找到 I帧；

步骤七、上述服务器的通讯子单元 A的媒体源单元从上述通讯子单元 B的媒体缓冲单元中取得 TS流数据，并将其传递给该通讯子单元的 RTP 输出单元；

步骤八、上述服务器的通讯子单元 A的 RTP输出单元根据当前与通讯终端 A建立的 RTP会话属性，为上述 TS流数据加上 RTP包头，即此时 RTP包头的 SSRC字段为通讯终端 A与通讯子单元 A确立 RTP会话的 SSRC, 其中 TimeStamp和序列号 (以下简称 SqucneceNumber)与数据源的来源无关；该通讯子单元的 RTP输出单元根据 TimeStamp发送上述 TS流数据；

步骤九、上述通讯终端 A的 RTP输入单元收到上述 TS流数据后将其传送给其通讯终端的 TS解码单元，该 TS解码单元对上述通讯终端 B的实时音视频流数据进行解码操作，并显示图像和播放声音。这样上述通讯终端 A就能够在接收上述通讯终端 B、 C的定时更新的静态图像的同时接收通讯终端 B的实时音视频数据并播放。当该通讯终端 A想将当前的主媒体源由上述通讯终端 B切换到上述通讯终端 C时，仅需根据静态图像选择上述通讯终端 C，上述服务器将通讯终端 A的主媒体源由上述通讯终端 B切换到上述通讯终端（。对于上述通讯终端 A来说，在其做出选择不久， TS流的显示窗口将显示通讯终端 C的图像，并播放通讯终端 C的声音，此过程大致处理流程如图 6所示。请同时参照图 2、图 3和图 6，此过程具体的实施步骤如下：

步骤一、通讯终端 A的流控制单元向服务器的流控制单元发送流切换指令，要求将其主媒体源由通讯终端 B切换到通讯终端 C;

步骤二、上述服务器的流控制单元接收到上述通讯终端 A的流切换指令后，首先查看当前的通讯终端 C的 TS流访问计数，如果上述通讯终端 C的 TS流访问计数 >0，表明该通讯终端 C已经开始传送其 TS流，则执行步骤三；如果上述通讯终端 C的 TS流访问计数为 0, 表明该通讯终端 C没有传送 TS流，则上述服务器的流控制单元给上述通讯终端 C的流控制单元发送 TS流开始请求，如前面所述步骤，上述通讯终端 C开始发送其 TS流，且上述通讯子单元 C的媒体缓冲单元中存放该通讯终端 C的实时音视频数据；

步骤三、上述服务器的流控制单元将上述通讯终端 B的 TS流访问计数减 1,并检查当前的通讯终端 B的 TS流访问计数是否为 0，如果计数为 0，表明没有通讯终端需要通讯终端 B的 TS流，则上述服务器的流控制单元通知上述通讯终端 B的流控制单元停止其当前的 TS流编码操作，该通讯终端 B的流控制单元向其通讯终端的 TS编码单元发送停止实时编码指令，上述通讯终端 B的 TS编码单元停止工作；否则，执行步骤四；步骤四、上述服务器的流控制单元通知上述通讯子单元 A的媒体源单元从上述通讯子单元 C的媒体缓冲单元中取数据，上述通讯终端 C的 TS 流访问计数加 1 ;其中开始取数据时都是从 TS流的 I帧数据开始取，如果是 MPEG4压缩编码，可以通过 vop— coding— type或 group— of— vop— start— code P T/CN2005/002152 字段找到 I帧；

步骤五、上述服务器的通讯子单元 A的媒体源单元从上述通讯子单元 C的媒体缓冲单元中取得 TS流数据并将其传送给其通讯子单元的 RTP输出单元；

步骤六、上述服务器的通讯子单元 A的 RTP输出单元根据当前与上述通讯终端 A建立的 RTP会话属性，为上述 TS流数据加上 RTP包头，即此时 RTP包头的 SSRC字段为上述通讯终端 A与上述通讯子单元 A确立 RTP会话的 SSRC， TimeStam 和 SequenceNumber与数据源的来源无关，该通讯子单元的 RTP输出单元根据 TimeStamp发送上述 TS流数据；步骤七、上述通讯终端 A的 RTP输入单元收到上述 TS流数据后将其传送给其通讯终端的 TS解码单元，该 TS解码单元对上述通讯终端 C的实时音视频流数据进行解码操作，并显示图像、播放声音。

这样服务器就能顺利地将上述通讯终端 A 的主媒体源由通讯终端 B 切换到通讯终端 C；。本发明涉及的媒体流切换方法的特点为：

1、面向终端建立一独立的 RTP/UTCP传输通道，与媒体源无关；

2、针对实时流的特点，在音视频流切换时，只要选择不同的数据源即可完成切换，而不需要对 RTP会话中的 TimeStamp、 SequenceNumber, SSRC作变换；

3、不论是一个还是多个流切换到同一媒体源上，对于媒体源来说都是一样的。

当然，本发明还可有其他多种实施例，例如釆用直接釆用传送控制协议 (Transmission Control Protocol) (以下简称 TCP协议)传输静态图像数据，或将静态图像数据和 TS流数据用不同的传输通道传输。在不背离本发明精神及其实质的情况下，所属技术领域的技术人员可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims

权利要求

1. 一种多方视频通讯媒体流控制系统，包括媒体流传输控制路径，负责传输音视频数据和控制信号；通讯终端，负责发送和接收上述音视频数据和控制信号；和服务器，负责响应上述控制信号，为视频通讯终端提供媒体流服务，其特征在于

上述通讯终端包括：实时传输控制协议单元、实时传输协议输出单元和实时传输协议输入单元，其中该实时传输协议输出单元负责将本通讯终端的音视频数据传递给上述服务器中的与本通讯终端对应的通讯子单元的实时传输协议输入单元，该实时传输协议输入单元负责从上述服务器接收其他通讯终端的音视频数据；

实时流编码单元，负责本通讯终端的实时流编码；

帧内编码帧编码单元，负责定时对本通讯终端的静态图像进行编码，形成帧内编码帧数据输出到该通讯终端的实时传输协议输出单元，并用上述实时传输协议包中一特定的负载类型来标记该通讯终端的帧内编码帧数据；

媒体缓冲单元，负责接收上述通讯终端的实时传输协议输入单元的数据；

实时流解码单元，负责从上述媒体缓冲单元中提取实时流，并将其解码；

帧内编码帧解码单元，负责从上述媒体缓冲单元中提取上述有特定负载类型的实时传输协议包，并对帧内编码帧数据进行解码，形成静态图像；及

流控制单元，负责与上述服务器的流控制单元通讯，通知该服务器本通讯终端当前要使用的主媒体源或接收该服务器的启动本通讯终端的实时流编码单元的指令；

上述服务器包括：帧内编码帧存储单元，负责存储上述各通讯终端的帧内编码帧数据；

流控制单元，负责控制上述各通讯终端的音视频流的链接；及通讯子单元，负责与上述通讯终端建立通讯链路传递上述音视频数据和控制信号，负责向上述服务器的帧内编码帧存储单元输出视频帧内编码帧数据，和负责从上述服务器的帧内编码帧存储单元和上述服务器的其他通讯子单元的实时传输协议解包单元中获取媒体源数据输入到该通讯子单元的媒体源单元中，其中该通讯子单元包括：

实时传输控制协议传输单元、实时传输协议输出单元和实时传输协议输入单元，其中该实时传输协议输出单元负责将上述其他通讯终端的音视频数据传递给与该通讯子单元对应的通讯终端，该实时传输协议输入单元负责接收上述通讯终端的音视频数据；

帧内编码帧提取单元，负责根据上述实时传输协议包的一特定的负载类型来提取帧内编码帧数据，并将其存储到上述服务器的帧内编码帧存储单元中；若该帧内编码帧提取单元没有找到上述类型的实时传输协议包，则其直接从上述服务器的通讯子单元的实时传输协议解包单元中的数据中提取帧内编码帧数据；

实时传输协议解包单元，负责在过滤掉上述服务器的通讯子单元的帧内编码帧提取单元需要的数据包后，将接收到的音视频数据的实时传输协议包头移除，并将其输出到该通讯子单元的媒体缓冲单元中；媒体缓冲单元，负责接收上述服务器的通讯子单元的实时传输协议解包单元输出的数据；及 ' 媒体源单元，负责从上述服务器的帧内编码帧存储单元和与其他通讯终端对应的通讯子单元的媒体缓冲单元中获取与该通讯子单元对应的通讯终端需要的音视频数据；

其中，上述通讯终端的实时传输协议输出单元分别与上述通讯终端的实时流编码单元及帧内编码帧编码单元连接；

上述通讯终端的实时传输协议输入单元与上述通讯终端的媒体缓冲单元连接；

上述通讯终端的媒体缓冲单元分别与上述通讯终端的实时流解码单元及帧内编码帧解码单元连接；及

上述服务器的通讯子单元的帧内编码帧提取单元分别与上述服务器的帧内编码帧存储单元、上述服务器的通讯子单元的实时传输协议输入单元及实时传输协议解包单元连接；

上述服务器的通讯子单元的实时传输协议解包单元分别与上述服务器的通讯子单元的实时传输协议输入单元、帧内编码帧提取单元及媒体缓冲单元连接；

上述服务器的通讯子单元的媒体源单元分别与上述服务器的通讯子单元的实时传输协议输出单元、上述服务器的帧内编码帧存储单元及流控制单元连接。
2. 根据权利要求 1所述的系统，其特征在于

上述通讯终端通过定义实时传输协议包中一特定的负载类型来标记该通讯终端的帧内编码帧数据，该类型的实时传输协议包仅包含该通讯终端的音视频数据的帧内编码帧数据；

上述通讯终端与服务器均为双向的音视频流通讯；

多方视频通讯建立时，上述服务器包含多个上述通讯子单元，且每一个上述通讯子单元与每一个上述通讯终端相对应；

多方视频通讯建立后，上述通讯终端与服务器通过实时传输协议 /实时传输控制协议传输通道传输音视频数据。
3. 一种多方视频通讯媒体流控制方法，其特征在于静态图像与实时流混合传输的方法包括以下步骤：

步骤 101 :通讯终端的实时传输协议输出\输入单元与服务器中的与该通讯终端对应的通讯子单元的实时传输协议输入 \输出单元建立一对数据通讯链路，其中上述静态图像与上述实时流都通过这对数据通讯链路传输；步骤 102: 上述通讯终端的帧内编码帧编码单元定时将上述静态图像编码为帧内编码帧数据，并将其传输到上述通讯终端的实时传输协议输出单元中；

步骤 103 : 如果上述通讯终端的实时传输协议输出单元接收到上述帧内编码帧编码单元中的帧内编码帧数据，则将其封装成有特定负载类型的实时传输协议包，并立即发送；如果上述通讯终端的实时传输协议输出单元接收到的是上述通讯终端的实时流编码单元的数据，则将其封装成实时传输协议包后，按时间戳发送；其中上述特定负载类型的实时传输协议包区别于上述实时流的实时传输协议包；

步骤 104: 如果上述服务器中的与上述各通讯终端对应的通讯子单元的实时传输协议输入单元接收到上述特定负载类型的实时传输协议包，则将上述帧内编码帧数据提取出来并将其存储到服务器中的帧内编码帧存储单元中；如果接收到的是实时流数据，则经上述通讯子单元的实时传输协议解包单元去除包头后，将其存储在上述通讯子单元的媒体缓冲单元内；

步骤 105 : 上述服务器中的与上述各通讯终端对应的通讯子单元的媒体源单元定时从上述帧内编码帧存储单元中获取其他通讯终端的帧内编码帧数据，且从上述各通讯终端确定的主媒体源所对应的通讯子单元的媒体缓冲单元中获取上述实时流数据；

步骤 106: 如果上述服务器中的与上述各通讯终端对应的通讯子单元的实时传输协议输出单元接收到上述特定负载类型的实时传输协议包，则立即发送；如果接收到的是上述实时流的实时传输协议包，则按上述时间戳发送； '

步骤 107: 如果上述通讯终端的实时传输协议输入模块接收到上述特定负载类型的实时传输协议包，则将其传送给上述通讯终端的帧内编码帧解码单元，形成其他通讯终端的静态图像；如果接收到的是上述实时流的实时传输协议包，则将其传送给上述通讯终端的实时流解码单元，形成上述主媒体源的实时流。
4. 根据权利要求 3所述的方法，其特征在于上述步骤 101 中的数据通讯链路为实时传输协议 /实时传输控制协议传输通道。
5. 一种多方视频通讯媒体流控制方法，其特征在于通过通讯终端接收到的静态图像选择主媒体源的方法包括以下步骤：

步骤 201 : 最初开始多方视频通讯时，通讯终端仅进行帧内编码帧编码，帧内编码帧数据通过特定负载类型的实时传输协议包定时发送给服务器；

步骤 202: 上述服务器接收各通讯终端的上述帧内编码帧数据，并将其存储在上述服务器的帧内编码帧存储单元中；

步骤 203 : 上述服务器中的与上述各通讯终端对应的通讯子单元从上述帧内编码帧存储单元中获取其他通讯终端的帧内编码帧数据并发送给该通讯终端；

步骤 204: 上述通讯终端根据显示的上述其他通讯终端的静态图像，选择主媒体源，之后该通讯终端的流控制单元通知上述服务器的流控制单元该通讯终端选择的主媒体源；

步骤 205 : '上述服务器检查上述通讯终端所选择的主媒体源是否在传送实时流，如果没有，则通知该主媒体源的流控制单元启动实时流编码单元；

步骤 206: 上述服务器的流控制单元发送控制信号给与上述通讯终端对应的通讯子单元的媒体源单元让其从与上述主媒体源对应的通讯子单元的媒体缓冲单元中获取实时流数据。
6. 根据权利要求 5 所述的方法，其特征在于上述主媒体源为与上述通讯终端不同的另一通讯终端。
7. 一种多方视频通讯媒体流控制方法，其特征在于一通讯终端从当前的主媒体源切换至另一主媒体源的方法包括以下步骤：

步骤 301：通讯终端 4的流控制单元通知服务器的流控制单元将其当前的主媒体源由 4 、 A₂ 、 . . .、 „切换至^ ; '

步骤 302: 上述服务器检查上述主媒体源 ^是否在传送实时流，如果没有，则通知该主媒体源 ^的流控制单元启动该主媒体源的实时流编码单元；

步骤 303 : 上述服务器的流控制单元发送控制信号给与上述通讯终端 ^对应的通讯子单元的媒体源单元让其从与上述主媒体源 ^对应的通讯子单元的媒体缓冲单元中获取实时流数据。
8. 根据权利要求 7所述的方法，其特征在于

上述当前的主媒体源 4 、 A₂ 4与上述主媒体源^为与上述通讯终端 A_x互不相同的通讯终端；

上述下标 x、 y及 n互不相同。