CN119011551A

CN119011551A - 媒体数据网页实时通信方法、系统、电子设备及存储介质

Info

Publication number: CN119011551A
Application number: CN202411281827.4A
Authority: CN
Inventors: 刘涛
Original assignee: China Telecom Artificial Intelligence Technology Beijing Co ltd
Current assignee: China Telecom Artificial Intelligence Technology Beijing Co ltd
Priority date: 2024-09-12
Filing date: 2024-09-12
Publication date: 2024-11-22

Abstract

本申请公开了一种媒体数据网页实时通信方法、系统、电子设备及存储介质，方法包括：获取第一信令消息，以根据所述第一信令消息向第一客户端发送预设请求信息；其中，所述第一信令消息由所述第一客户端构建；获取第一应答信令和第一候选地址信令，以通过所述第一应答信令和所述第一候选地址信令构建第一安全连接；其中，所述第一应答信令和所述第一候选地址信令由所述第一客户端根据所述预设请求信息构建；通过所述第一安全连接进行媒体数据加密传输。本申请实施例能够实现网页实时通信服务器端口的实质性收敛，缓解了系统瓶颈和业务耦合问题，有效提高了媒体数据网页实时通信的安全性和质量。本申请可以广泛应用于数字媒体技术领域。

Description

媒体数据网页实时通信方法、系统、电子设备及存储介质

技术领域

本申请涉及数字媒体技术领域，尤其涉及一种媒体数据网页实时通信方法、系统、电子设备及存储介质。

背景技术

随着互联网行业日新月异的发展，以及WebRTC在音视频通话、音视频会议、在线教育、远程会诊等实时场景的成功应用，使得SFU(选择性转发单元)成为WebRTC(网页实时通信)应用不可或缺的部件。在SFU(选择性转发单元)交互流程中，服务器实际扮演着一个客户端的角色，与真实客户端之间通过P2P方式进行通信，在建立连接时需要为每个客户端都开辟一个甚至多个端口用于传输。相关技术中，服务器在部署时需要对外暴露大量端口，不仅增加了运维难度，也带来了安全风险。另外，通过代理的架构方案，难以降低运维成本和安全风险，并且可能引入系统瓶颈和业务耦合问题。

综上，相关技术中存在的技术问题有待得到改善。

发明内容

本申请实施例的主要目的在于提出一种媒体数据网页实时通信方法、系统、电子设备及存储介质，能够实现网页实时通信服务器端口的实质性收敛，缓解了系统瓶颈和业务耦合问题，有效提高了媒体数据网页实时通信的安全性和质量。

为实现上述目的，本申请实施例的一方面提出了一种媒体数据网页实时通信方法，所述方法包括以下步骤：

获取第一信令消息，以根据所述第一信令消息向第一客户端发送预设请求信息；其中，所述第一信令消息由所述第一客户端构建；

获取第一应答信令和第一候选地址信令，以通过所述第一应答信令和所述第一候选地址信令构建第一安全连接；其中，所述第一应答信令和所述第一候选地址信令由所述第一客户端根据所述预设请求信息构建；

通过所述第一安全连接进行媒体数据加密传输。

在一些实施例中，所述获取第一信令消息，以根据所述第一信令消息向第一客户端发送预设请求信息，包括：

当确定接收到所述第一信令消息，构建所述预设请求信息；其中，所述预设请求信息包括第一候选地址信息和第一同步源标识；

将所述预设请求信息发送至所述第一客户端。

在一些实施例中，所述构建所述预设请求信息，包括：

构建第一发起请求；其中，所述第一发起请求包括所述第一同步源标识，所述第一同步源标识与预设连接对象形成映射关系；

通过交互式连通建立方式采集第一候选地址信息。

在一些实施例中，所述获取第一应答信令和第一候选地址信令，以通过所述第一应答信令和所述第一候选地址信令构建第一安全连接，包括：

获取第一应答信令；其中，所述第一应答信令由所述第一客户端根据所述预设请求信息和第一本地约束条件构建得到；

获取所述第一候选地址信令；其中，所述第一候选地址信令由所述第一客户端通过交互式连通建立方式采集第二候选地址信息，并根据所述第二候选地址信息构建得到；

根据所述第一应答信令和所述第一候选地址信令构建所述第一安全连接；其中，所述第一安全连接包括数据表传输层安全性协议安全连接。

在一些实施例中，所述通过所述第一安全连接进行媒体数据加密传输，包括：

获取所述第一客户端发送的第一传输数据包；其中，所述第一传输数据包设置有相应的第二同步源标识；

对所述第一传输数据包进行参数读取，以根据读取得到的所述第二同步源标识确定所述第一传输数据包对应的目标连接对象；

将所述第一传输数据包发送至所述目标连接对象，以通过所述目标连接对象对所述第一传输数据包进行解析。

在一些实施例中，所述第一传输数据包包括第一安全实时传输协议数据包和第一安全实时传输控制协议数据包；

在执行所述获取所述第一客户端发送的第一传输数据包之前，所述方法还包括：

通过预设密钥对所述媒体数据进行安全实时传输协议加密，得到所述第一安全实时传输协议数据包；其中，所述预设密钥由构建第一安全连接协商确定；

根据实时传输协议会话的统计信息和控制信息构建所述第一安全实时传输控制协议数据包。

在一些实施例中，所述方法还包括：

获取第二发起请求；其中，所述第二发起请求由第二客户端构建得到；

获取第二候选地址信令；其中，所述第二候选地址信令由所述第二客户端通过交互式连通建立方式采集第二候选地址信息，以根据所述第二候选地址信息构建得到；

根据所述第二发起请求和所述第二候选地址信令构建第二应答信令；

将所述第二应答信令发送至所述第二客户端，以构建第二安全连接；

通过所述第二安全连接对第二传输数据包进行加密传输；其中，所述第二传输数据包包括第二安全实时传输协议数据包和第二安全实时传输控制协议数据包。

为实现上述目的，本申请实施例的另一方面提出了一种媒体数据网页实时通信系统，所述系统包括：

第一模块，用于获取第一信令消息，以根据所述第一信令消息向第一客户端发送预设请求信息；其中，所述第一信令消息由所述第一客户端构建；

第二模块，用于获取第一应答信令和第一候选地址信令，以通过所述第一应答信令和所述第一候选地址信令构建第一安全连接；其中，所述第一应答信令和所述第一候选地址信令由所述第一客户端根据所述预设请求信息构建；

第三模块，用于通过所述第一安全连接进行媒体数据加密传输。

为实现上述目的，本申请实施例的另一方面提出了一种电子设备，所述电子设备包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述的方法。

为实现上述目的，本申请实施例的另一方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。

本申请实施例至少包括以下有益效果：本申请提供一种媒体数据网页实时通信方法、系统、电子设备及存储介质,该方案通过获取第一信令消息，以根据第一信令消息向第一客户端发送预设请求信息。其中，第一信令消息由第一客户端构建。接着，本发明实施例获取第一应答信令和第一候选地址信令，以通过第一应答信令和第一候选地址信令构建第一安全连接。其中，本发明实施例中第一应答信令和第一候选地址信令由第一客户端根据预设请求信息构建。最后，本发明实施例通过构建的第一安全连接进行媒体数据加密传输，实现媒体数据网页实时通信传输。容易理解的是，本发明实施例通过第一客户端构建的第一信令消息发起音视频传输，相应的服务器只需占用一个端口，然后用过获取第一客户端反馈的第一应答信令和第一候选地址信令，以构建第一安全连接，能够实现网页实时通信服务器端口的实质性收敛，缓解了系统瓶颈和业务耦合问题，有效提高了媒体数据网页实时通信的安全性和质量。

附图说明

图1是本发明实施例提供的代理方案的架构示意图；

图2是本发明实施例提供的媒体数据网页实时通信方法的步骤流程示意图；

图3是本发明实施例提供的获取第一信令消息，以根据第一信令消息向第一客户端发送预设请求信息的步骤流程示意图；

图4是本发明实施例提供的构建预设请求信息的步骤流程示意图；

图5是本发明实施例提供的获取第一应答信令和第一候选地址信令，以通过第一应答信令和第一候选地址信令构建第一安全连接的步骤流程示意图；

图6是本发明实施例提供的通过第一安全连接进行音视频数据加密传输的步骤流程示意图；

图7是本发明实施例提供的构建第一安全实时传输控制协议数据包的步骤流程示意图；

图8是本发明实施例提供的订阅过程的步骤流程示意图；

图9是本发明实施例提供的代理方案的流程示意图；

图10是本发明实施例提供的媒体数据网页实时通信方案的架构示意图；

图11是本发明实施例提供的媒体数据网页实时通信方案的流程图；

图12是本发明实施例提供的媒体数据网页实时通信系统的结构示意图；

图13是本发明实施例提供的电子设备的硬件结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请实施例相一致的所有实施方式，它们仅是与如所附权利要求书中所详述的、本申请实施例的一些方面相一致的装置和方法的例子。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种概念，但除非特别说明，这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。例如，在不脱离本申请实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“若”、“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本申请所使用的术语“至少一个”、“多个”、“每个”、“任一”等，至少一个包括一个、两个或两个以上，多个包括两个或两个以上，每个是指对应的多个中的每一个，任一是指多个中的任意一个。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

在对本申请实施例进行详细说明之前，首先对本申请实施例中涉及的部分名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。

网页实时通信(Web Real-Time Communications，WebRTC)：是一个开放的Web标准，其允许浏览器之间建立点对点(Peer-to-Peer，P2P)连接，用于传输音视频流及其他任一数据。

选择性转发单元(Selective Forwarding Unit，SFU)：是一种WebRTC服务器类型，能够选择性转发实时音视频数据(通常为同一个房间内的用户之间)，以实现音视频通话、音视频会议等应用。

发起请求(Offer)：是在WebRTC信令协商过程中对会话描述协议(SDP)类型的别称。其中，发起请求(Offer)是通信过程中的第一个SDP消息，由会话的发起者(比如，需要进行视频通话的A方)创建，并发送给接收者。

应答(Answer)：是接收方对发起方发送的Offer的响应。在接收到Offer后，接收者会根据自己的能力和偏好创建一个Answer SDP消息，并将其发送给发起者。

候选地址(Candidate)：是一种应用描述网络地址的信息和格式，包含协议族、IP、端口、类型/来源等信息。

随着互联网行业日新月异的发展，以及WebRTC在音视频通话、音视频会议、在线教育、远程会诊等实时场景的成功应用，使得SFU(选择性转发单元)成为WebRTC(网页实时通信)应用不可或缺的部件。通常，在SFU(选择性转发单元)交互流程中，服务器实际扮演着一个客户端的角色，与真实客户端之间通过P2P方式进行通信，在建立连接时需要为每个客户端都开辟一个甚至多个端口用于传输。这就导致服务器在部署时需要对外暴露大量端口，不仅增加了运维难度，也带来了安全风险。相关技术中，主要采用代理的架构方案，即在一个或多个SFU(选择性转发单元)服务器前面增加一层流代理服务器，如图1所示。一个代理服务器对外暴露一个或少数端口，一端与不同客户端建立连接，另一端则与多个SFU流媒体服务器相连，以达到转发流数据的目的。同时，转发数据包通常以客户端和服务器的地址对(IP及端口四元组)来建立映射关系。但代理的架构方案没有降低运维成本风险，各个SFU节点仍然使用多端口模式，仍然需要为代理服务器开放这些端口的访问，并且在安全方面，虽然外部只能访问到代理服务器这个节点，但是该节点发生的网络或其他故障会直接影响其管辖的所有SFU节点的正常使用。另外，可能引入系统瓶颈，增加服务开销，因为位于代理服务器之后的所有SFU节点的数据都需要从该节点转发，代理服务器的CPU、内存、网卡/带宽都可能成为这个集群的瓶颈，或者需要引入更好的硬件加持。同时，可能引入业务耦合。在部分实现中，会利用Answer中的ice-ufrag字段，植入房间号和用户ID，导致SFU媒体服务器解析客户端发送的stun-binding-request时，需要理解这部分业务功能(正常情况下，媒体服务器只需提供流的发布和订阅能力，房间关系应由IM系统维护，并结合用户系统或权限管理系统管理发布和订阅权限)。相应地，当客户端需要在中途重启ICE时(如从WiFi切到蜂窝网络)，则需要先发送stun-binding-request，以便让服务器调整地址对映射解析关系后，才能继续接收和处理客户端发送的数据。

有鉴于此，本申请实施例中提供一种媒体数据网页实时通信方法、系统、电子设备及存储介质，该方案通过获取第一信令消息，以根据第一信令消息向第一客户端发送预设请求信息。其中，第一信令消息由第一客户端构建。接着，本发明实施例获取第一应答信令和第一候选地址信令，以通过第一应答信令和第一候选地址信令构建第一安全连接。其中，本发明实施例中第一应答信令和第一候选地址信令由第一客户端根据预设请求信息构建。最后，本发明实施例通过构建的第一安全连接进行音视频数据加密传输，实现了媒体数据网页实时通信，能够实现网页实时通信服务器端口的实质性收敛，缓解了系统瓶颈和业务耦合问题，有效提高了媒体数据网页实时通信的安全性和质量。

本申请实施例提供的媒体数据网页实时通信方法，涉及数字媒体技术领域。本申请实施例提供的媒体数据网页实时通信方法可应用于终端中，也可应用于服务器中，还可以是运行于终端或服务器中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表以及车载终端等，但并不局限于此；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN以及大数据和人工智能平台等基础云计算服务的云服务器，服务器还可以是区块链网络中的一个节点服务器；软件可以是实现媒体数据网页实时通信方法的应用等，但并不局限于以上形式。

本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

图2是本申请实施例提供的媒体数据网页实时通信方法的一个可选的流程图，图2中的方法可以包括但不限于包括步骤S110至步骤S130。

步骤S110：获取第一信令消息，以根据第一信令消息向第一客户端发送预设请求信息。其中，第一信令消息由第一客户端构建。

步骤S120：获取第一应答信令和第一候选地址信令，以通过第一应答信令和第一候选地址信令构建第一安全连接。其中，第一应答信令和第一候选地址信令由第一客户端根据预设请求信息构建。

步骤S130：通过第一安全连接进行媒体数据加密传输。

在本具体实施例工作过程中，本发明实施例首先获取第一信令消息，以根据第一信令消息向第一客户端发送预设请求信息。具体地，本发明实施例中第一信令消息由第一客户端构建。其中，本发明实施例中第一客户端是指有发布流的需求的客户端，即作为媒体流数据发布方的客户端。相应地，本发明实施例中第一客户端通过向预设服务器，如SFU流媒体服务器，发送一个信令消息，即第一信令消息，以告知预设服务器第一客户端需要发布流。相应地，本发明实施例中相应的预设服务器接收第一客户端发送过来的第一信令消息，以根据第一信令消息构建预设请求信息，并反馈至第一客户端，从而发起WebRTC通信的媒体流传输路径建立。接着，本发明实施例获取第一应答信令和第一候选地址信令，以通过第一应答信令和第一候选地址信令构建第一安全连接。具体地，本发明实施例中第一应答信令是指第一客户端在接收到预设服务器下发的预设请求信息后，构建的应答信息(Answer)，通过信令发送至预设服务器。同时，本发明实施例中第一候选地址信令是指第一客户端根据其候选地址构建的信令。本发明实施例中在接收到预设服务器的预设请求信息后，第一客户端构建相应的应答信息(Answer)，并且收集第一客户端的候选地址(candidate)，以信令的方式反馈至预设服务器。相应地，预设服务器在接收到第一客户端反馈的第一应答信令和第一候选地址信令后，通过连通性检查确定最佳的媒体传输路径，并在确定的媒体传输路径上建立相应的预设安全连接，完成第一安全连接的构建。最后，本发明实施例通过构建的第一安全连接进行媒体数据的加密传输。具体地，在建立第一安全连接后，第一客户端通过第一安全连接进行媒体流发布，将媒体数据进行加密并通过第一安全连接传输至预设服务器，实现媒体数据的网页实时通信传输。

参照图3，在本发明的一些实施例中，获取第一信令消息，以根据第一信令消息向第一客户端发送预设请求信息，包括但不限于以下步骤：

步骤S210：当确定接收到第一信令消息，构建预设请求信息。其中，预设请求信息包括第一候选地址信息和第一同步源标识。

步骤S220：将预设请求信息发送至第一客户端。

在本具体实施例中，预设服务器在接收到第一客户端发送的第一信令后，构建相应的预设请求信息，以将预设请求信息发送至第一客户端。具体地，本发明实施例中预设服务器构建的预设请求信息包括第一候选地址信息和第一同步源标识。其中，第一候选地址信息是指预设服务器的候选地址信息。相应地，第一同步源标识是指预设服务器可用的同步源标识(SSRC)。相应地，本发明实施例确定第一客户端有发布流的需求后，预设服务器根据相应的第一候选地址信息和第一同步源标识构建预设请求信息，并将预设请求信息下发至第一客户端，以向第一客户端发起WebRTC通信的媒体流传输路径建立的请求。本发明实施例通过由预设服务器向第一客户端下发第一候选地址信息以及第一同步源标识的方式，使得服务器对外只需暴露一个端口，在发布流过程中，指定各个音视频轨道使用的同步源标识，从而能够实现实质性收敛SFU/MCU端口，同时有效缓解了代理方案带来的瓶颈和耦合问题，能够很便利地利用双网卡甚至多网卡以提高传输质量。

参照图4，在本发明的一些实施例中，构建预设请求信息，包括但不限于以下步骤：

步骤S310：构建第一发起请求；其中，所述第一发起请求包括所述第一同步源标识，所述第一同步源标识与预设连接对象形成映射关系。

步骤S320：通过交互式连通建立方式采集第一候选地址信息。

在本具体实施例中，本发明实施例首先构建第一发起请求。具体地，本发明实施例响应第一客户端的请求，生成一个发起请求(Offer)，即第一发起请求。其中，本发明实施例中的第一发起请求包括一条或多条轨道，如视频、音频等一条或多条轨道(track)。其中，第一同步源标识是指每个轨道在网络中唯一标识媒体流。相应地，本发明实施例中预设服务器选择一个或多个可用的同步源标识(SSRC)，即第一同步源标识，填写至第一发起请求中，并记录这些同步源标识与连接对象的映射关系，从而构建得到第一发起请求。其中，本发明实施例通过记录第一同步源标识与连接对象的映射关系，以便于后续对接收到的数据包进行解析处理。同时，本发明实施例通过交互式连通建立方式采集第一候选地址信息。具体地，本发明实施例中向第一客户端发送的预设请求信息还包括第一候选地址信息。相应地，本发明实施例中预设服务器通过交互式连接建立(ICE)收集其候选地址，得到第一候选地址信息。其中，本发明实施例通过将第一候选地址信息发送至第一客户端，以便于第一客户端和预设服务器双方能够找到可以相互通信的路径。

参照图5，在本发明的一些实施例中，获取第一应答信令和第一候选地址信令，以通过第一应答信令和第一候选地址信令构建第一安全连接，包括但不限于以下步骤：

步骤S410：获取第一应答信令。其中，第一应答信令由第一客户端根据预设请求信息和第一本地约束条件构建得到。

步骤S420：获取第一候选地址信令。其中，第一候选地址信令由第一客户端通过交互式连通建立方式采集第二候选地址信息，并根据第二候选地址信息构建得到。

步骤S430：根据第一应答信令和第一候选地址信令构建第一安全连接。其中，第一安全连接包括数据表传输层安全性协议安全连接。

在本具体实施例中，本发明实施例首先获取第一应答信令。具体地，本发明实施例中第一应答信令是第一客户端在接收到Offer后，根据自身的媒体能力和偏好构建的Answer。其中，本发明实施例根据预设请求信息和第一本地约束条件构建得到第一应答信令。相应地，本发明实施例中第一客户端根据自身的需求和能力，确定相应的第一本地约束条件，如视频分辨率、帧率、音频编码器等，以通过确定的第一本地约束条件对第一应答信令的构建进行指导。本发明实施例通过接收到的预设请求信息和设置的约束条件，生成一个对应的第一应答信令。接着，本发明实施例获取第一候选地址信令。具体地，本发明实施例中第一客户端通过交互式连通建立方式采集第二候选地址信息，并根据第二候选地址信息构建得到第一候选地址信令。其中，本发明实施例中第二候选地址信息是指第一客户端的候选地址。本发明实施例中第一客户端通过交互式连接建立方式(ICE)收集其候选地址，然后通过信令发送给预设服务器，以使服务器获取得到第一客户端的候选地址，实现客户端与服务器的候选地址信息交换，包括各自的IP地址和端口号。进一步地，本发明实施例根据第一应答信令和第一候选地址信令构建第一安全连接。具体地，本发明实施例中第一安全连接包括数据表传输层安全协议安全连接(DTLS)。在接收到第一客户端反馈的第一应答信令和第一候选地址信令后，第一客户端与预设服务器建立数据表传输层安全性协议安全连接(Datagram Transport Layer Security，DTLS)。本发明实施例在收集并交换第一客户端与预设服务器双方的候选地址后，通过连通性检查确定最佳的媒体传输路径。然后，在确定的媒体传输路径上，本发明实施例的第一客户端与预设服务器进行DTLS握手过程，以协商出共享的秘密密钥和相关的安全参数，从而构建得到第一安全连接，即数据表传输层安全性协议安全连接。

参照图6，在本发明的一些实施例中，通过第一安全连接进行媒体数据加密传输，包括但不限于以下步骤：

步骤S510：获取第一客户端发送的第一传输数据包。其中，第一传输数据包设置有相应的第二同步源标识。

步骤S520：对第一传输数据包进行参数读取，以根据读取得到的第二同步源标识确定第一传输数据包对应的目标连接对象。

步骤S530：将第一传输数据包发送至目标连接对象，以通过目标连接对象对第一传输数据包进行解析。

在本具体实施例中，本发明实施例首先获取第一客户端发送的第一传输数据包。具体地，本发明实施例中第一传输数据包是指第一客户端所要发布的媒体流数据包。其中，本发明实施例中第一传输数据包中设置都有相应的第二同步源标识。相应地，本发明实施例通过第二同步源标识区分不同媒体流，以支持媒体同步，使得系统能够区分不同的媒体流、支持媒体同步和多播混流等操作，并且增强了通信的安全性。接着，本发明实施例对获取得到的第一传输数据包进行参数读取，以根据读取得到的第二同步源标识确定第一及传输数据包对应的目标连接对象，进而将第一传输数据包发送至目标连接对象，以通过目标连接对象对第一传输数据包进行解析。具体地，本发明实施例在对媒体流数据进行加密过程中并不对header部分，如序列号、时间戳、SSRC等信息，进行加密。因此，本发明实施例首先在不对第一传输数据包进行解密的情况下，直接读取第一传输数据包的头部信息，得到第二同步源标识。相应地，本发明实施例根据读取的第二同步源标识和相应的映射关系确定对应的目标连接对象。然后，本发明实施例将第一及传输数据包发送至对应的目标连接对象，以通过该目标连接对象对第一传输数据包进行解析，完成媒体数据加密传输过程。

参照图7，在本发明的一些实施例中，第一传输数据包包括第一安全实时传输协议数据包和第一安全实时传输控制协议数据包。相应地，在执行获取第一客户端发送的第一传输数据包之前，本发明实施例提供的媒体数据网页实时通信方法还包括但不限于一下步骤：

步骤S610：通过预设密钥对媒体数据进行安全实时传输协议加密，得到第一安全实时传输协议数据包。其中，预设密钥由构建第一安全连接协商确定。

步骤S620：根据实时传输协议会话的统计信息和控制信息构建第一安全实时传输控制协议数据包。

在本具体实施例中，第一客户端发送的第一传输数据包包括第一安全实时传输协议数据包和第一安全实时传输控制协议数据包。其中，本发明实施例中第一安全实时传输协议数据包是指用于加密媒体数据的安全实时传输协议数据包(Secure Real-timeTransport Protocol，SRTP)。相应地，本发明实施例中第一安全实时传输控制协议数据包是指用于加密控制信息的安全实时传输控制协议数据包(Secure Real-time TransportControl Protocol，SRTCP)。在预设服务器获取第一传输数据包之前，第一客户端首先通过预设密钥对媒体数据进行安全实时传输协议加密，以得到第一安全实时传输协议数据包。具体地，本发明实施例中预设密钥由构建第一安全连接协商确定，即在建立DTLS安全连接时，协商得到共享的预设密钥。相应地，本发明实施例通过协商得到的预设密钥对媒体数据进行加密，以构建得到SRTP数据包，即第一安全实时传输协议数据包。同时，本发明实施例根据实时传输协议会话的统计信息和控制信息构建第一安全实时传输控制协议数据包。具体地，本发明实施例通过第一安全实时传输控制协议数据包传输关于SRTP会话的控制信息和统计信息，以对会话的各方进行性能监控和调整。相应地，本发明实施例中第一安全实时传输协议数据包和第一安全实时传输控制协议数据包均包括加密的payload部分和未加密的header部分。其中，未加密的header部分设置有相应的同步源标识(SSRC)、序列号以及时间戳等。另外，由于服务器端口可能会收到来自不同客户端的DTLS握手请求或SRTP/SRTCP数据包，本发明实施例中预设服务器通过分析数据包的第一个字节以区分各个数据包。

参照图8，在本发明的一些实施例中，本发明实施例提供的媒体数据网页实时通信方法还包括但不限于以下步骤：

步骤S710：获取第二发起请求。其中，第二发起请求由第二客户端构建得到。

步骤S720：获取第二候选地址信令。其中，第二候选地址信令由第二客户端通过交互式连通建立方式采集第二候选地址信息，以根据第二候选地址信息构建得到。

步骤S730：根据第二发起请求和第二候选地址信令构建第二应答信令。

步骤S740：将第二应答信令发送至第二客户端，以构建第二安全连接。

步骤S750：通过第二安全连接对第二传输数据包进行加密传输。其中，第二传输数据包包括第二安全实时传输协议数据包和第二安全实时传输控制协议数据包。

在本具体实施例中，本发明实施例提供的媒体数据网页实时通信方法还包括客户端的订阅过程。相应地，本发明实施例中预设服务器首先获取第二发起请求。具体地，本发明实施例中第二发起请求是指第二客户端构建的Offer。其中，当第二客户端需要订阅流时，首先创建一个第二发起请求，并通过信令服务器将第二发起请求发送给预设服务器，以告知预设服务器其指定的同步源标识以及订阅端流信息，如视频流、音频流等。相应地，预设服务器接收第二客户端发送过来的第二发起请求。其中，使用的同步源标识(SSRC)由第二客户端指定。同时，在服务器级联流程中，收流的服务器实际充当订阅客户端的角色，服务器无需制定新的转发规则。接着，本发明实施例获取第二候选地址信令。具体地，本发明实施例中第二客户端通过交互式连通建立方式(ICE)采集其候选网络地址信息，即第二候选地址信息，进而根据第二候选地址信息生成第二候选地址信令，并通过信令服务器将这些候选地址(candidate)发送至预设服务器。其中，第二后端地址信息包括本地IP地址、端口号、协议类型等信息。进一步地，本发明实施例根据第二发起请求和第二候选地址信令构建第二应答信令，并将第二应答信令发送至第二客户端，以构建第二安全连接。具体地，在收到第二客户端的第二发起请求和第二候选地址信令后，预设服务器根基自身的能力和资源生成一个应答(Answer)，以对第二发起请求进行响应。其中，本发明实施例中第二应答信令包括预设服务器能够提供的媒体类型、编解码器、网络传输协议以及候选网络地址等信息。相应地，本发明实施例中预设服务器通过信令回复带有自身候选网络地址的第二应答信令，从而使得第二客户端与预设服务器双方完成通信能力和网络地址信息的交换。接着，在交换了Offer和Answer后，即交换了第二发起请求和第二应答信令后，预设服务器与第二客户端建立DTLS安全连接，即第二安全连接。最后，本发明实施例通过第二安全连接对第二传输数据包进行加密传输。具体地，本发明实施例中第二传输数据包包括第二安全实时传输协议数据包和第二安全实时传输控制协议数据包。其中，第二安全实时传输协议数据包是指用于传输媒体数据的SRTP数据包，第二安全实时传输控制协议数据包是指用于传输控制信息的SRTCP数据包。相应地，在第二安全连接建立完成后，第二客户端与预设服务器开始发送第二安全实时传输协议数据包和第二安全实时传输控制协议数据包，实现订阅过程。其中，本发明实施例中第二客户端是指作为媒体流数据订阅方的客户端。

下面，结合具体的媒体数据网页实时通信场景，对本发明实施例的方案作详细介绍和说明：

示例性地，如图9所示，图9为本发明实施例提供的代理方案的流程示意图。其中，在发布流程中，由客户端(Client)向选择性转发单元(SFU)发起offer，然后选择性转发单元向客户端回复相应的answer，并进行候选网络地址(candidate)的交换，以建立DTLS安全连接，从而客户端向选择性转发单元发送srtp数据包和srtcp数据包，实现媒体数据流发布。相应地，在代理方案的订阅流程与发布流程相似。其中，在采用代理的架构方案时，通过在一个或多个SFU(选择性转发单元)服务器前面增加一层流代理服务器。相应地，一个代理服务器对外暴露一个或少数端口，一端与不同客户端建立连接，另一端则与多个SFU流媒体服务器相连，以达到转发流数据的目的，且转发数据包通常以客户端和服务器的地址对(IP及端口四元组)来建立映射关系。因此，代理方案没有降低运维成本和安全风险，且可能引入系统瓶颈和业务耦合。

示例性地，如图10和图11所示，其中，图10是本发明实施例提供的媒体数据网页实时通信方案的架构示意图，图11是本发明实施例提供的媒体数据网页实时通信方案的流程图。具体地，本发明实施例能够应用于各个使用WebRTC SFU/MCU的场景，包括但不限于音视频通话、音视频会议、在线教育、远程会诊、云游戏、云桌面、云手机、数字人，等有多端发布订阅实时音视频需求的场景。相应地，在发布过程中，客户端首先发送一个信令消息，以告知选择性转发单元服务器自己有发布流的需求。接着，在接收到客户端的信令消息后，服务器构建包含一条或多条轨道的Offer，并附带自己的candidate(候选地址)，然后通过信令发送给客户端。例如，服务器选择一个或多个可用的SSRC填写在Offer中，并记录这些SSRC与连接对象的映射关系。然后，当客户端接收到服务器下发的Offer后，客户端构建Answer，并通过信令发送给服务端。同时，客户端通过ICE收集candidate(候选地址)，并通过信令发送给服务器。进一步地，客户端与服务器建立DTLS(Datagram Transport Layer Security)安全连接，并发送SRTP数据包和SRTCP数据包。其中，SRTP数据包和SRTCP数据包携带各自的SSRC。相应地，服务器通过解析SRTP数据包和SRTCP数据包中的SSRC，以根据映射关系找到这个包对应的连接对象，从而将相应数据包交由该连接对象进行解密。其中，由于SRTP数据包和SRTCP数据包只加密payload部分。因此，位于SRTP数据包和SRTCP数据包头部(header部分)的序列号、时间戳、SSRC等信息能够在不解密的情况下直接读取。此外，由于该服务器端口会收到新的客户端的DTLS握手请求，本发明实施例通过分析包的第一个字节，来区分DTLS Handshake数据包和SRTP数据包、SRTCP数据包。相应地，在订阅过程中，客户端首先构建好Offer，并通过信令发送给服务器，以告知服务器其所要使用的同步源标识(SSRC)以及订阅的流信息。其中，同步源标识(SSRC)由客户端指定。同时，在服务器级联流程中，收流的服务器实际充当订阅客户端的角色，服务器无需制定新的转发规则。接着，本发明实施例中客户端通过ICE收集candidate，并通过信令发送给服务器。然后，服务器通过信令回复带有自己candidate的Answer，以使服务器与客户端建立DTLS安全连接，并发送SRTP数据包和SRTCP数据包。

容易理解的是，本发明实施例通过接收端发起Offer并指定SSRC，即服务器对外只暴露一个端口，且在发布流程中，由服务器构建和发起Offer，其中会指定各个音视频轨道应该使用的唯一SSRC(只需保证本节点唯一，无需全系统唯一)，并以这些SSRC建立与连接的映射关系，从而能够实现实质性收敛SFU/MCU端口的目的，并且能够缓解代理方案带来的瓶颈和耦合问题。其中，本发明实施例中媒体服务器只占用一个端口，通过接收端指定SSRC以防止冲突，并以SSRC建立与连接的映射关系，达到收敛WebRTC服务器端口的目的。同时，本发明实施例支持多网卡发送同一个音视频轨道的数据，在接收端以SSRC作为区分轨道的手段，可提高传输质量。

请参阅图12，本申请实施例还提供一种媒体数据网页实时通信系统，可以实现上述媒体数据网页实时通信方法，该系统包括：

第一模块810，用于获取第一信令消息，以根据第一信令消息向第一客户端发送预设请求信息。其中，第一信令消息由第一客户端构建。

第二模块820，用于获取第一应答信令和第一候选地址信令，以通过第一应答信令和第一候选地址信令构建第一安全连接。其中，第一应答信令和第一候选地址信令由第一客户端根据所述预设请求信息构建。

第三模块830，用于通过第一安全连接进行媒体数据加密传输。

可以理解的是，上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

本申请实施例还提供了一种电子设备，电子设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述媒体数据网页实时通信方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。

可以理解的是，上述方法实施例中的内容均适用于本设备实施例中，本设备实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

请参阅图13，图13示意了另一实施例的电子设备的硬件结构，电子设备包括：

处理器910，可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；

存储器920，可以采用只读存储器(Read Only Memory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(Random Access Memory，RAM)等形式实现。存储器920可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器920中，并由处理器910来调用执行本申请实施例的媒体数据网页实时通信方法；

输入/输出接口930，用于实现信息输入及输出；

通信接口940，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；

总线950，在设备的各个组件(例如处理器910、存储器920、输入/输出接口930和通信接口940)之间传输信息；

其中处理器910、存储器920、输入/输出接口930和通信接口940通过总线950实现彼此之间在设备内部的通信连接。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述媒体数据网页实时通信方法。

可以理解的是，上述方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

本领域技术人员可以理解的是，图中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。

以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。

Claims

1.一种媒体数据网页实时通信方法，其特征在于，所述方法包括以下步骤：

通过所述第一安全连接进行媒体数据加密传输。

2.根据权利要求1所述的方法，其特征在于，所述获取第一信令消息，以根据所述第一信令消息向第一客户端发送预设请求信息，包括：

将所述预设请求信息发送至所述第一客户端。

3.根据权利要求2所述的方法，其特征在于，所述构建所述预设请求信息，包括：

通过交互式连通建立方式采集第一候选地址信息。

4.根据权利要求1所述的方法，其特征在于，所述获取第一应答信令和第一候选地址信令，以通过所述第一应答信令和所述第一候选地址信令构建第一安全连接，包括：

5.根据权利要求1所述的方法，其特征在于，所述通过所述第一安全连接进行媒体数据加密传输，包括：

6.根据权利要求5所述的方法，其特征在于，所述第一传输数据包包括第一安全实时传输协议数据包和第一安全实时传输控制协议数据包；

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

8.一种媒体数据网页实时通信系统，其特征在于，所述系统包括：

9.一种电子设备，其特征在于，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。