CN108833809A - 一种视频混流控制方法、装置、系统、设备及介质 - Google Patents

Abstract

本发明公开一种视频混流控制方法、装置、系统、设备和介质，方法包括：在接收N个主播端发送的N个直播视频流的过程中，根据N个直播视频流中每帧图像的时间标签，将N个直播视频流混流形成总直播视频流，接收指定目标直播视频流的指定指令；基于指定指令，增加与目标直播视频流对应的目标分图像在总直播视频流中的每帧总图像中所占的尺寸，将总直播视频流和目标混流直播间的房间信息发送至直播平台服务器，以使直播平台服务器在接收到直播观看请求时，能提供总直播视频流的直播。本申请可以解决现有技术中的直播，存在的直播模式过于单一的技术问题。提高了观众观看视频获取的信息量，提供了一种新的直播方式。

Description

一种视频混流控制方法、装置、系统、设备及介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种视频混流控制方法、装置、系统、设备及介质。

背景技术

目前，随着网络通信技术的进步和宽带网络的提速，网络直播得到了越来越多的发展和应用。

当前的直播形式为，用户在直播网站上点击进入某主播的直播间，从而可以观看该主播的直播视频。然而该种直播方式往往不能满足当前日益增多的娱乐形式，直播模式过于单一。

可见，现有的直播，存在直播模式过于单一的技术问题。

发明内容

本发明提供一种视频混流控制方法、装置、系统、设备及介质，用以解决现有技术中的直播，存在的直播模式过于单一的技术问题。

第一方面，本发明提供了一种视频混流控制方法，所述方法应用于混流服务器，包括：

在接收N个主播端发送的N个直播视频流的过程中，根据所述N个直播视频流中每帧图像的时间标签，将所述N个直播视频流混流形成总直播视频流，所述总直播视频流中的每帧总图像均由N帧分图像合并形成；其中，所述N帧分图像为从所述N个直播视频的每个直播视频中抽取一帧图像获得的N帧图像；所述N帧分图像的时间标签均满足预设条件；N为大于1的正整数；

接收在所述N个直播视频流中指定目标直播视频流的指定指令；

基于所述指定指令，增加与所述目标直播视频流对应的目标分图像在所述总直播视频流中的每帧总图像中所占的尺寸，使所述目标分图像在所述每帧总图像中占据的尺寸大于所述N帧分图像中除所述目标分图像外的其他分图像；

将所述总直播视频流和表征目标混流直播间的房间信息发送至直播平台服务器，以使所述直播平台服务器在接收到观众端发送的与所述目标混流直播间对应的直播观看请求时，能发送所述总直播视频流至所述观众端进行直播。

可选的，所述将所述N个直播视频流混流形成总直播视频流之前，还包括：与所述N个主播端建立连接，接收所述N个主播端发送的加入请求，所述加入请求中携带有表征所述目标混流直播间的房间信息，基于所述房间信息确定所述N个主播端与所述目标混流直播间对应；或者，获取所述目标混流直播间对应的N个主播端的主播信息；基于所述主播信息，发送开始直播请求至所述N个主播端，以与所述N个主播端建立连接。

可选的，所述接收在所述N个直播视频流中指定目标直播视频流的指定指令之后，还包括：以所述目标直播视频流的音频数据作为所述总直播视频流的音频数据。

可选的，所述N帧分图像的时间标签均满足预设条件，包括：所述N帧分图像的时间标签均相同；或，所述N帧分图像的时间标签两两之间的时间差值均小于第一预设值；或，所述N帧分图像的时间标签与指定分图像的时间标签的差值小于第二预设值，其中，所述指定分图像为所述N帧分图像中属于指定直播视频流的分图像。

第二方面，提供一种视频混流控制方法，包括：

N个主播端获取N个直播视频流，并发送所述N个直播视频流至混流服务器和直播平台服务器，N为大于1的正整数；

所述直播平台服务器接收所述N个直播视频流，并在接收到观众端发送的与所述N个主播端中的目标主播端对应的第一直播观看请求时，发送所述目标主播端获取的直播视频流至所述观众端进行直播；

所述混流服务器在接收所述N个直播视频流的过程中，根据所述N个直播视频流中每帧图像的时间标签，将所述N个直播视频流混流形成总直播视频流，所述总直播视频流中的每帧总图像均由N帧分图像合并形成，其中，所述N帧分图像为从所述N个直播视频的每个直播视频中抽取一帧图像获得的N帧图像，所述N帧分图像的时间标签均满足预设条件；并在接收到在所述N个直播视频流中指定目标直播视频流的指定指令后，基于所述指定指令，增加与所述目标直播视频流对应的目标分图像在所述总直播视频流中的每帧总图像中所占的尺寸，使所述目标分图像在所述每帧总图像中占据的尺寸大于所述N帧分图像中除所述目标分图像外的其他分图像；并将所述总直播视频流和表征目标混流直播间的房间信息发送至直播平台服务器，以使所述直播平台服务器在接收到观众端发送的与所述目标混流直播间对应的第二直播观看请求时，能发送所述总直播视频流至所述观众端进行直播。

可选的，当观众端显示所述目标混流直播间的房间界面时，所述目标混流直播间的房间界面中显示有所述N个主播端对应的N个主播直播间的N个跳转链接，其中，当接收到作用于所述N个跳转链接中的目标跳转链接的第一跳转操作时，在所述观众端显示所述目标跳转链接对应的主播直播间的房间界面；当观众端显示所述N个主播端对应的N个主播直播间中的任一房间界面时，所述任一房间界面中显示有所述目标混流直播间的混流跳转链接，其中，当接收到作用于所述混流跳转链接的第二跳转操作时，在所述观众端显示所述目标混流直播间的房间界面。

第三方面，提供一种视频混流控制装置，所述装置为混流服务器，包括：

混流模块，用于在接收N个主播端发送的N个直播视频流的过程中，根据所述N个直播视频流中每帧图像的时间标签，将所述N个直播视频流混流形成总直播视频流，所述总直播视频流中的每帧总图像均由N帧分图像合并形成；其中，所述N帧分图像为从所述N个直播视频的每个直播视频中抽取一帧图像获得的N帧图像；所述N帧分图像的时间标签均满足预设条件；N为大于1的正整数；

接收模块，用于接收在所述N个直播视频流中指定目标直播视频流的指定指令；

处理模块，用于基于所述指定指令，增加与所述目标直播视频流对应的目标分图像在所述总直播视频流中的每帧总图像中所占的尺寸，使所述目标分图像在所述每帧总图像中占据的尺寸大于所述N帧分图像中除所述目标分图像外的其他分图像；

发送模块，用于将所述总直播视频流和表征目标混流直播间的房间信息发送至直播平台服务器，以使所述直播平台服务器在接收到观众端发送的与所述目标混流直播间对应的直播观看请求时，能发送所述总直播视频流至所述观众端进行直播。

第四方面，提供一种视频混流控制系统，包括：

N个主播端，用于获取N个直播视频流，并发送所述N个直播视频流至混流服务器和直播平台服务器，N为大于1的正整数；

直播平台服务器，用于接收所述N个直播视频流，并在接收到观众端发送的与所述N个主播端中的目标主播端对应的第一直播观看请求时，发送所述目标主播端获取的直播视频流至所述观众端进行直播；

混流服务器，用于在接收所述N个直播视频流的过程中，根据所述N个直播视频流中每帧图像的时间标签，将所述N个直播视频流混流形成总直播视频流，所述总直播视频流中的每帧总图像均由N帧分图像合并形成，其中，所述N帧分图像为从所述N个直播视频的每个直播视频中抽取一帧图像获得的N帧图像，所述N帧分图像的时间标签均满足预设条件；并在接收到在所述N个直播视频流中指定目标直播视频流的指定指令后，基于所述指定指令，增加与所述目标直播视频流对应的目标分图像在所述总直播视频流中的每帧总图像中所占的尺寸，使所述目标分图像在所述每帧总图像中占据的尺寸大于所述N帧分图像中除所述目标分图像外的其他分图像；并将所述总直播视频流和表征目标混流直播间的房间信息发送至直播平台服务器，以使所述直播平台服务器在接收到观众端发送的与所述目标混流直播间对应的第二直播观看请求时，能发送所述总直播视频流至所述观众端进行直播。

第五方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。

第六方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法。

本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

本申请实施例提供的方法、装置、系统、设备及介质，在获取多个主播端的多个直播视频流的过程中，根据每个直播视频流中每帧图像的时间标签，将各个直播视频流中时间标签满足预设条件的帧合并入总图像，从而混流形成总直播视频流，并在接收指定目标直播视频流的指定指令后，设置与所述目标直播视频流对应的分图像在所述总直播视频流中的每帧总图像中占据的尺寸大于所述N帧分图像中的其他分图像，并发送该总直播视频流至直播平台服务器，以在观众进入目标混流直播间后能通过观看总直播视频流获知各主播的直播视频流的画面，提高了观众观看获取的信息量，提供了一种新的直播方式。且使观众在获取全部视频流信息的同时，可以更好的获得目标直播视频流的内容。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中视频混流控制系统的结构示意图；

图2为本发明实施例一中视频混流控制方法的流程图；

图3为本发明实施例二中视频混流控制方法的流程图；

图4为本发明实施例三中视频混流控制装置的结构示意图；

图5为本发明实施例五中电子设备的结构示意图；

图6为本发明实施例六中介质的结构示意图。

具体实施方式

本申请实施例通过提供一种视频混流控制方法、装置、系统、设备及介质，用以解决现有技术中的直播，存在的直播模式过于单一的技术问题。提高了观众观看视频获取的信息量，提供了一种新的直播方式。

本申请实施例中的技术方案，总体思路如下：

在获取多个主播端的多个直播视频流的过程中，根据每个直播视频流中每帧图像的时间标签，将各个直播视频流中时间标签满足预设条件的帧合并入总图像，从而混流形成总直播视频流，并在接收指定目标直播视频流的指定指令后，设置与所述目标直播视频流对应的分图像在所述总直播视频流中的每帧总图像中占据的尺寸大于所述N帧分图像中的其他分图像，并发送该总直播视频流至直播平台服务器，以在观众进入目标混流直播间后能通过观看总直播视频流获知各主播的直播视频流的画面，提高了观众观看获取的信息量，提供了一种新的直播方式。且使观众在获取全部视频流信息的同时，可以更好的获得目标直播视频流的内容。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在介绍具体实施例之前，先介绍本申请实施例方法所对应的视频混流系统，如图1所示，该系统包括：主播端1、混流服务器2、直播平台服务器3、观众端4，该系统中的各端及服务器通过有线或无线网络连接，主播端1和观众端4可以为智能手机、平板电脑或台式机等，在此不做限制。混流服务器2和直播平台服务器3可以为单台服务器、服务器组或云端，在此也不作限制。

实施例一

本实施例提供一种视频混流控制方法，如图2所示，所述方法应用于图1中的混流服务器2，包括：

步骤S201，在接收N个主播端发送的N个直播视频流的过程中，根据所述N个直播视频流中每帧图像的时间标签，将所述N个直播视频流混流形成总直播视频流，所述总直播视频流中的每帧总图像均由N帧分图像合并形成；其中，所述N帧分图像为从所述N个直播视频的每个直播视频中抽取一帧图像获得的N帧图像；所述N帧分图像的时间标签均满足预设条件；N为大于1的正整数；

步骤S202，接收在所述N个直播视频流中指定目标直播视频流的指定指令；

步骤S203，基于所述指定指令，增加与所述目标直播视频流对应的目标分图像在所述总直播视频流中的每帧总图像中所占的尺寸，使所述目标分图像在所述每帧总图像中占据的尺寸大于所述N帧分图像中除所述目标分图像外的其他分图像；

步骤S204，将所述总直播视频流和表征目标混流直播间的房间信息发送至直播平台服务器，以使所述直播平台服务器在接收到观众端发送的与所述目标混流直播间对应的直播观看请求时，能发送所述总直播视频流至所述观众端进行直播。

下面结合图1对本实施例提供的方法作详细介绍：

在本申请实施例中，在步骤S201之前还可以包括：与N个主播端1建立连接，并确定所述N个主播端1与目标混流直播间对应。

在本申请实施例中，与N个主播端1建立连接，并确实其与目标混流直播间对应的方法可以有多种，下面列举两种为例：

第一种，主播端1主动加入。

即在混流服务器2与所述N个主播端1建立网络连接后，接收所述N个主播端1发送的加入请求，所述加入请求中携带有表征所述目标混流直播间的房间信息，基于所述房间信息确定所述N个主播端与所述目标混流直播间对应。

具体来讲，可以预先给有加入目标混流直播间资格的主播端发送房间信息，以使主播端可以通过发送携带该房间信息的加入请求至混流服务器2，来使混流服务器2确定该主播端与目标混流直播间对应，后续才会将该主播端发送的直播视频流合成入总直播视频流中。该房间信息可以是为目标混流直播间生成的，与该房间对应的统一识别码，也可以是为了加强安全性，为每个有资格的主播端各自生成的识别码，在此不作限制。

举例来说，假设直播平台组织一场唱歌海选，直播平台厂家预先给参加唱歌的选手及裁判的主播端均发送目标混流直播间的房间信息。当主播端A为参加唱歌的选手时，在海选直播开始时，主播端A发送携带房间信息的加入请求至混流服务器，混流服务器根据房间信息确定主播端A要参加目标混流直播间的直播，以在后续将主播端A的直播视频流合并入该目标混流直播间的总直播视频流中。

第二种，混流服务器2邀请主播端加入。

即混流服务器2获取所述目标混流直播间对应的N个主播端1的主播信息；基于所述主播信息，发送开始直播请求至所述N个主播端1，以与所述N个主播端1建立连接。

具体来讲，可以预先将有加入目标混流直播间资格的主播端的主播信息存储至混流服务器2，以使混流服务器2可以发生开始直播请求至有资格的主播端，来建立混流服务器2与有资格的主播端的连接，并使混流服务器2确定该主播端与目标混流直播间对应，后续才会将该主播端发送的直播视频流合成入总直播视频流中。该主播信息可以是直播平台服务器3发送给混流服务器2的，也可以是管理人员输入混流服务器2的，在此不作限制。

举例来说，假设直播平台组织一场唱歌海选，直播平台厂家预先确定参加唱歌的选手及裁判的主播端的主播信息，并发送该主播信息至混流服务器2存储。在海选直播开始时，混流服务器2按照主播信息发送开始直播请求至要参加海选直播的各主播端，以建立混流服务器2与有资格的主播端的连接，以在后续将各主播端的直播视频流合并入该目标混流直播间的总直播视频流中。

当然，在具体实施过程中，不限于上述两种方法，在此不作限制。

然后，执行步骤S201，在接收N个主播端发送的N个直播视频流的过程中，根据所述N个直播视频流中每帧图像的时间标签，将所述N个直播视频流混流形成总直播视频流，所述总直播视频流中的每帧总图像均由N帧分图像合并形成；其中，所述N帧分图像为从所述N个直播视频的每个直播视频中抽取一帧图像获得的N帧图像；所述N帧分图像的时间标签均满足预设条件。

需要说明的是，每帧图像的时间标签是表征每帧图像产生的时间，即主播端的摄像单元拍摄获取该帧的时间。

在本申请实施例中，将所述N个直播视频流混流形成总直播视频流的方法为，按照N个直播视频流中每帧的时间标签，从N个直播视频流中每个直播视频流中各取一帧分图像，将取的N帧分图像合并为一帧总图像，作为总直播视频流的一帧图像，每帧总图像上均包括N个直播视频流中每个直播视频流中的一帧分图像。并按照时间标签的时间先后顺序，持续按照上述方法，对N个直播视频流中每帧分图像均进行合成，再将合成出的总图像按照时间先后顺序排布，形成总直播视频流。

需要说明的是，所述N帧分图像的时间标签均满足预设条件，可以是合成在一帧总图像上的N帧分图像的时间标签均相同；或，合成在一帧总图像上的N帧分图像的时间标签两两之间的时间差值均小于第一预设值；或，合成在一帧总图像上的N帧分图像的时间标签与指定分图像的时间标签的差值小于第二预设值，其中，所述指定分图像为所述N帧分图像中来源于N个直播视频流中指定直播视频流的分图像。具体来讲，设置所述N帧分图像的时间标签均满足预设条件，能保证总直播视频流能在时间上同步的播出N个直播视频流。

具体来讲，将N帧分图像合成为一帧总图像的方法有多种，下面列举两种为例：

第一种，均分。

可以将总图像均分为N等份的方框区域，在每个方框区域内分别显示一个分图像。例如，如果N等于9，可以按九宫格的样式合成9帧分图像。

第二种，根据弹幕数量。

还可以设置每个主播端在通过目标混流直播间进行直播的过程中，还在其自身的主播直播间进行单主播端的直播，根据每个主播端自身的直播房间内的当前的弹幕数量，确定该主播端对应的直播视频流的分图像在总图像上所占的面积，具体可以设置分图像在总图像所占的面积与该分图像来源的主播端的弹幕数量成正比。即考虑到弹幕数量表征了主播的受欢迎程度，根据该主播端在其自身的直播间的弹幕数量来确定其在合成后的总直播视频流中所占的显示面积，能有效兼顾观众的喜好来进行合成。

当然，在具体实施过程中，合并分图像的方法不限于上述两种，在此不再一一列举，也不作限制。

接下来，执行步骤S202，接收在所述N个直播视频流中指定目标直播视频流的指定指令。

在本申请实施例中，接收指定指令的方法可以是由工作人员直接在混流服务器上输入包括目标直播视频流标识码的指定指令，也可以是由直播平台服务器下发的指定指令，在此不作限制。

然后，执行步骤S203，基于所述指定指令，增加与所述目标直播视频流对应的目标分图像在所述总直播视频流中的每帧总图像中所占的尺寸，使所述目标分图像在所述每帧总图像中占据的尺寸大于所述N帧分图像中除所述目标分图像外的其他分图像。

在本申请实施例中，考虑到在某些时刻，存在需要主要观看某个或某些主播的情况，故还设置可以接收在所述N个直播视频流中指定目标直播视频流的指定指令；基于所述指定指令，根据所述N个直播视频流中每帧图像的时间标签，将所述N个直播视频流混流形成总直播视频流，以使与所述目标直播视频流对应的分图像在所述总直播视频流中的每帧总图像中占据的尺寸大于所述N帧分图像中的其他分图像。

具体来讲，可以设置导播人员，该导播人员根据直播的情况向混流服务器输入指定指令，以将N个直播视频流中的一个或多个直播视频流指定为目标直播视频流。混流服务器在接收到指定指令后，改变混流时合并N帧分图像的规则，增大来源于目标直播视频流的分图像在总直播视频流的各帧总图像中所占据的面积，使来源于目标直播视频流的分图像占据的面积相对其他分图像更大，以进行突出显示。

具体来讲，增加目标分图像的显示尺寸，并使目标分图像在所述每帧总图像中占据的尺寸大于所述N帧分图像中除所述目标分图像外的其他分图像，能使得在目标混流直播间内观看视频的观众可以更清楚更醒目的观看到目标分图像对应的主播的直播内容，即观众可以在观看所有主播的直播视频的同时，跟随导播的控制来更清楚醒目的观看到当前最精彩的那个主播的直播视频，从而，提高了观众的观看体验。

进一步，还可以设置将来源于目标直播视频流的分图像设置在总直播视频流的各帧总图像的中间位置，以进一步凸显。

还可以设置以所述目标直播视频流的音频数据作为所述总直播视频流的音频数据。当目标直播视频流有多个时，可以以其中当前音频数据发音最响的一个音频数据作为所述总直播视频流的音频数据。

当然，在具体实施过程中，还可以设置，混流服务器可以接收作用于N个直播视频流中的需删直播视频流的删除指令，并基于该删除指令，不将来源于该需删直播视频流的分图像合并入总图像中，以使混流后的总直播视频流中不包含该需删直播视频流的图像。

还可以设置，混流服务器可以接收作用于不属于该N个直播视频流的需添直播视频流的添加指令，并基于该添加指令，将来源于该需添直播视频流的分图像合并入总图像中，以使混流后的总直播视频流中包含该需添直播视频流的图像。

再下来，执行步骤S204，将所述总直播视频流和表征目标混流直播间的房间信息发送至直播平台服务器，以使所述直播平台服务器在接收到观众端发送的与所述目标混流直播间对应的直播观看请求时，能发送所述总直播视频流至所述观众端进行直播。

在具体实施过程中，可以设置该直播平台服务器3不仅能提供与所述目标混流直播间对应的总直播视频流的直播，还能提供N个主播端中每个主播端各自的直播房间对应的直播，以便于观众可以选择性的观看，具体的实施方法将在实施例二中作详细介绍。

基于同一发明构思，本申请还提供了与实施例一中的方法对应的应用于图1所示的系统的方法，详见实施例二。

实施例二

在本实施例中提供了一种视频混流控制方法，如图1和3所示，包括：

步骤S301，N个主播端1获取N个直播视频流，并发送所述N个直播视频流至混流服务器2和直播平台服务器3，N为大于1的正整数；

步骤S302，所述直播平台服务器2接收所述N个直播视频流，并在接收到观众端4发送的与所述N个主播端中的目标主播端对应的第一直播观看请求时，发送所述目标主播端获取的直播视频流至所述观众端4进行直播；

步骤S303，所述混流服务器2在接收所述N个直播视频流的过程中，根据所述N个直播视频流中每帧图像的时间标签，将所述N个直播视频流混流形成总直播视频流，所述总直播视频流中的每帧总图像均由N帧分图像合并形成，其中，所述N帧分图像为从所述N个直播视频的每个直播视频中抽取一帧图像获得的N帧图像，所述N帧分图像的时间标签均满足预设条件；并在接收到在所述N个直播视频流中指定目标直播视频流的指定指令后，基于所述指定指令，增加与所述目标直播视频流对应的目标分图像在所述总直播视频流中的每帧总图像中所占的尺寸，使所述目标分图像在所述每帧总图像中占据的尺寸大于所述N帧分图像中除所述目标分图像外的其他分图像；并将所述总直播视频流和表征目标混流直播间的房间信息发送至直播平台服务器3，以使所述直播平台服务器3在接收到观众端4发送的与所述目标混流直播间对应的第二直播观看请求时，能发送所述总直播视频流至所述观众端4进行直播。

具体来讲，即N个主播端1即将直播视频流发送给混流服务器2进行混流后播出，也提供现有的单主播直播间直播方式，以满足观众的多方面需求。

具体混流的方法、混流后提供直播的方法和控制增加目标分图像所占尺寸的方法在实施例一中已经详细描述，为了说明书的简洁，在此不作累述。

需要说明的是，考虑到为了便于观众用户在目标混流直播间和各主播端各自的直播间直接的方便切换，可以设置：

当观众端显示所述目标混流直播间的房间界面时，所述目标混流直播间的房间界面中显示有所述N个主播端对应的N个主播直播间的N个跳转链接，其中，当接收到作用于所述N个跳转链接中的目标跳转链接的第一跳转操作时，在所述观众端显示所述目标跳转链接对应的主播直播间的房间界面；

当观众端显示所述N个主播端对应的N个主播直播间中的任一房间界面时，所述任一房间界面中显示有所述目标混流直播间的混流跳转链接，其中，当接收到作用于所述混流跳转链接的第二跳转操作时，在所述观众端显示所述目标混流直播间的房间界面。

通过在目标混流直播间设置各主播的直播间的跳转链接，和在各主播的直播间设置目标混流直播间的混流跳转链接，能够提高观众转换相关直播间的效率。进一步，还可以在每个主播的直播间中设置其他参加目标混流直播间直播的主播的跳转链接，便于用户来回跳转观看每个参加目标混流直播间直播的主播的直播视频。

在本申请实施例中，还可以设置当观众端进入且显示所述目标混流直播间的房间界面时，观众在该观众端发送普通弹幕时，弹幕会显示在所述目标混流直播间的房间界面，且观众端显示的也是在该目标混流直播间内的其他观众发送的弹幕。

进一步，可以设置当观众在该观众端的目标混流直播间的房间界面选择一目标主播后，可以在该观众端的目标混流直播间的房间界面上仅显示该目标主播对应的主播直播间内的弹幕，还可以设置在该观众端发送的弹幕也会显示到该目标主播对应的主播直播间内。该目标主播可以为一个或多个。

当然，观众也可以设置同时显示该目标混流直播间内的弹幕和其选择的目标主播对应的主播直播间内的弹幕，在此不作限制。

基于同一发明构思，本发明实施例还提供了实施例一中方法对应的装置，见实施例三。

实施例三

本实施例提供了一种视频混流控制装置，如图4所示，所述装置为混流服务器，包括：

混流模块401，用于在接收N个主播端发送的N个直播视频流的过程中，根据所述N个直播视频流中每帧图像的时间标签，将所述N个直播视频流混流形成总直播视频流，所述总直播视频流中的每帧总图像均由N帧分图像合并形成；其中，所述N帧分图像为从所述N个直播视频的每个直播视频中抽取一帧图像获得的N帧图像；所述N帧分图像的时间标签均满足预设条件；N为大于1的正整数；

接收模块402，用于接收在所述N个直播视频流中指定目标直播视频流的指定指令；

处理模块403，用于基于所述指定指令，增加与所述目标直播视频流对应的目标分图像在所述总直播视频流中的每帧总图像中所占的尺寸，使所述目标分图像在所述每帧总图像中占据的尺寸大于所述N帧分图像中除所述目标分图像外的其他分图像；

发送模块404，用于将所述总直播视频流和表征目标混流直播间的房间信息发送至直播平台服务器，以使所述直播平台服务器在接收到观众端发送的与所述目标混流直播间对应的直播观看请求时，能发送所述总直播视频流至所述观众端进行直播。

由于本发明实施例三所介绍的装置，为实施本发明实施例一的方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的装置都属于本发明所欲保护的范围。

基于同一发明构思，本发明实施例还提供了实施例二中方法对应的系统，见实施例四。

实施例四

本实施例提供了一种视频混流控制系统，如图1所示，包括：

N个主播端1，用于获取N个直播视频流，并发送所述N个直播视频流至混流服务器2和直播平台服务器3，N为大于1的正整数；

直播平台服务器3，用于接收所述N个直播视频流，并在接收到观众端4发送的与所述N个主播端1中的目标主播端对应的第一直播观看请求时，发送所述目标主播端获取的直播视频流至所述观众端4进行直播；

混流服务器2，用于在接收所述N个直播视频流的过程中，根据所述N个直播视频流中每帧图像的时间标签，将所述N个直播视频流混流形成总直播视频流，所述总直播视频流中的每帧总图像均由N帧分图像合并形成，其中，所述N帧分图像为从所述N个直播视频的每个直播视频中抽取一帧图像获得的N帧图像，所述N帧分图像的时间标签均满足预设条件；并在接收到在所述N个直播视频流中指定目标直播视频流的指定指令后，基于所述指定指令，增加与所述目标直播视频流对应的目标分图像在所述总直播视频流中的每帧总图像中所占的尺寸，使所述目标分图像在所述每帧总图像中占据的尺寸大于所述N帧分图像中除所述目标分图像外的其他分图像；并将所述总直播视频流和表征目标混流直播间的房间信息发送至直播平台服务器3，以使所述直播平台服务器3在接收到观众端4发送的与所述目标混流直播间对应的第二直播观看请求时，能发送所述总直播视频流至所述观众端4进行直播。

由于本发明实施例四所介绍的系统，为实施本发明实施例二的方法所采用的系统，故而基于本发明实施例二所介绍的方法，本领域所属人员能够了解该系统的具体结构及变形，故而在此不再赘述。凡是本发明实施例二的方法所采用的系统都属于本发明所欲保护的范围。

基于同一发明构思，本申请提供了实施例一对应的电子设备实施例，详见实施例五。

实施例五

本实施例提供一种电子设备，如图5所示，包括存储器510、处理器520及存储在存储器510上并可在处理器520上运行的计算机程序511，处理器520执行计算机程序511时，可以实现实施例一中任一实施方式。

由于本实施例所介绍的电子设备为实施本申请实施例一中方法所采用的设备，故而基于本申请实施例一中所介绍的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本申请实施例中的方法不再详细介绍。只要本领域所属技术人员实施本申请实施例中的方法所采用的设备，都属于本申请所欲保护的范围。

基于同一发明构思，本申请提供了实施例一对应的存储介质，详见实施例四。

实施例六

本实施例提供一种计算机可读存储介质600，如图6所示，其上存储有计算机程序611，该计算机程序611被处理器执行时，可以实现实施例一中任一实施方式。

本申请实施例中提供的技术方案，至少具有如下技术效果或优点：

本申请实施例提供的方法、装置、系统、设备及介质，在获取多个主播端的多个直播视频流的过程中，根据每个直播视频流中每帧图像的时间标签，将各个直播视频流中时间标签满足预设条件的帧合并入总图像，从而混流形成总直播视频流，并在接收指定目标直播视频流的指定指令后，设置与所述目标直播视频流对应的分图像在所述总直播视频流中的每帧总图像中占据的尺寸大于所述N帧分图像中的其他分图像，并发送该总直播视频流至直播平台服务器，以在观众进入目标混流直播间后能通过观看总直播视频流获知各主播的直播视频流的画面，提高了观众观看获取的信息量，提供了一种新的直播方式。且使观众在获取全部视频流信息的同时，可以更好的获得目标直播视频流的内容。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种视频混流控制方法，其特征在于，所述方法应用于混流服务器，包括：

在接收N个主播端发送的N个直播视频流的过程中，根据所述N个直播视频流中每帧图像的时间标签，将所述N个直播视频流混流形成总直播视频流，所述总直播视频流中的每帧总图像均由N帧分图像合并形成；其中，所述N帧分图像为从所述N个直播视频的每个直播视频中抽取一帧图像获得的N帧图像；所述N帧分图像的时间标签均满足预设条件；N为大于1的正整数；

接收在所述N个直播视频流中指定目标直播视频流的指定指令；

基于所述指定指令，增加与所述目标直播视频流对应的目标分图像在所述总直播视频流中的每帧总图像中所占的尺寸，使所述目标分图像在所述每帧总图像中占据的尺寸大于所述N帧分图像中除所述目标分图像外的其他分图像；

将所述总直播视频流和表征目标混流直播间的房间信息发送至直播平台服务器，以使所述直播平台服务器在接收到观众端发送的与所述目标混流直播间对应的直播观看请求时，能发送所述总直播视频流至所述观众端进行直播。

2.如权利要求1所述的方法，其特征在于，所述将所述N个直播视频流混流形成总直播视频流之前，还包括：

与所述N个主播端建立连接，接收所述N个主播端发送的加入请求，所述加入请求中携带有表征所述目标混流直播间的房间信息，基于所述房间信息确定所述N个主播端与所述目标混流直播间对应；或者，

获取所述目标混流直播间对应的N个主播端的主播信息；基于所述主播信息，发送开始直播请求至所述N个主播端，以与所述N个主播端建立连接。

3.如权利要求1所述的方法，其特征在于，所述接收在所述N个直播视频流中指定目标直播视频流的指定指令之后，还包括：

以所述目标直播视频流的音频数据作为所述总直播视频流的音频数据。

4.如权利要求1所述的方法，其特征在于，所述N帧分图像的时间标签均满足预设条件，包括：

所述N帧分图像的时间标签均相同；或，

所述N帧分图像的时间标签两两之间的时间差值均小于第一预设值；或，

所述N帧分图像的时间标签与指定分图像的时间标签的差值小于第二预设值，其中，所述指定分图像为所述N帧分图像中属于指定直播视频流的分图像。

5.一种视频混流控制方法，其特征在于，包括：

N个主播端获取N个直播视频流，并发送所述N个直播视频流至混流服务器和直播平台服务器，N为大于1的正整数；

所述直播平台服务器接收所述N个直播视频流，并在接收到观众端发送的与所述N个主播端中的目标主播端对应的第一直播观看请求时，发送所述目标主播端获取的直播视频流至所述观众端进行直播；

所述混流服务器在接收所述N个直播视频流的过程中，根据所述N个直播视频流中每帧图像的时间标签，将所述N个直播视频流混流形成总直播视频流，所述总直播视频流中的每帧总图像均由N帧分图像合并形成，其中，所述N帧分图像为从所述N个直播视频的每个直播视频中抽取一帧图像获得的N帧图像，所述N帧分图像的时间标签均满足预设条件；并在接收到在所述N个直播视频流中指定目标直播视频流的指定指令后，基于所述指定指令，增加与所述目标直播视频流对应的目标分图像在所述总直播视频流中的每帧总图像中所占的尺寸，使所述目标分图像在所述每帧总图像中占据的尺寸大于所述N帧分图像中除所述目标分图像外的其他分图像；并将所述总直播视频流和表征目标混流直播间的房间信息发送至直播平台服务器，以使所述直播平台服务器在接收到观众端发送的与所述目标混流直播间对应的第二直播观看请求时，能发送所述总直播视频流至所述观众端进行直播。

6.如权利要求5所述的方法，其特征在于：

当观众端显示所述目标混流直播间的房间界面时，所述目标混流直播间的房间界面中显示有所述N个主播端对应的N个主播直播间的N个跳转链接，其中，当接收到作用于所述N个跳转链接中的目标跳转链接的第一跳转操作时，在所述观众端显示所述目标跳转链接对应的主播直播间的房间界面；

当观众端显示所述N个主播端对应的N个主播直播间中的任一房间界面时，所述任一房间界面中显示有所述目标混流直播间的混流跳转链接，其中，当接收到作用于所述混流跳转链接的第二跳转操作时，在所述观众端显示所述目标混流直播间的房间界面。

7.一种视频混流控制装置，其特征在于，所述装置为混流服务器，包括：

混流模块，用于在接收N个主播端发送的N个直播视频流的过程中，根据所述N个直播视频流中每帧图像的时间标签，将所述N个直播视频流混流形成总直播视频流，所述总直播视频流中的每帧总图像均由N帧分图像合并形成；其中，所述N帧分图像为从所述N个直播视频的每个直播视频中抽取一帧图像获得的N帧图像；所述N帧分图像的时间标签均满足预设条件；N为大于1的正整数；

接收模块，用于接收在所述N个直播视频流中指定目标直播视频流的指定指令；

处理模块，用于基于所述指定指令，增加与所述目标直播视频流对应的目标分图像在所述总直播视频流中的每帧总图像中所占的尺寸，使所述目标分图像在所述每帧总图像中占据的尺寸大于所述N帧分图像中除所述目标分图像外的其他分图像；

发送模块，用于将所述总直播视频流和表征目标混流直播间的房间信息发送至直播平台服务器，以使所述直播平台服务器在接收到观众端发送的与所述目标混流直播间对应的直播观看请求时，能发送所述总直播视频流至所述观众端进行直播。

8.一种视频混流控制系统，其特征在于，包括：

N个主播端，用于获取N个直播视频流，并发送所述N个直播视频流至混流服务器和直播平台服务器，N为大于1的正整数；

直播平台服务器，用于接收所述N个直播视频流，并在接收到观众端发送的与所述N个主播端中的目标主播端对应的第一直播观看请求时，发送所述目标主播端获取的直播视频流至所述观众端进行直播；

混流服务器，用于在接收所述N个直播视频流的过程中，根据所述N个直播视频流中每帧图像的时间标签，将所述N个直播视频流混流形成总直播视频流，所述总直播视频流中的每帧总图像均由N帧分图像合并形成，其中，所述N帧分图像为从所述N个直播视频的每个直播视频中抽取一帧图像获得的N帧图像，所述N帧分图像的时间标签均满足预设条件；并在接收到在所述N个直播视频流中指定目标直播视频流的指定指令后，基于所述指定指令，增加与所述目标直播视频流对应的目标分图像在所述总直播视频流中的每帧总图像中所占的尺寸，使所述目标分图像在所述每帧总图像中占据的尺寸大于所述N帧分图像中除所述目标分图像外的其他分图像；并将所述总直播视频流和表征目标混流直播间的房间信息发送至直播平台服务器，以使所述直播平台服务器在接收到观众端发送的与所述目标混流直播间对应的第二直播观看请求时，能发送所述总直播视频流至所述观众端进行直播。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-4任一所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-4任一所述的方法。