CN105187848A - 一种内容分发网络系统及方法 - Google Patents

Abstract

本发明公开了一种内容分发网络系统及方法，包括如下结构：CDN管理后台系统，该系统提供文件预分发接口，为资源管理提供希望预分发的热门文件；中心存储系统，该中心存储系统为Hadoop、FTP存储或NAS存储中的一种；资源管理服务器，其中设置有资源管理服务和内存数据库；推流服务器，在其每个推流区域中提供一套推流Web服务。其分发的方法依赖该系统完成。该一种内容分发网络系统及方法与现有技术相比，实现了向推流节点分发热门文件、节省推流存储成本、降低中心与存储节点之间的网络带宽，实用性强，适用范围广泛，易于推广。

Description

一种内容分发网络系统及方法

技术领域

本发明涉及通信信息技术领域，具体地说是一种实用性强、内容分发网络系统及方法。

背景技术

对常见的视频点播和直播的回看系统来说，例如城市或省区级别的视频点播回看系统，其推流节点通常会具有以下几种特点：点播用户数量众多、所在区域分散，中心存储无法满足所有用户的点播请求的通路、或无法承受所有用户同时点播的并发压力；使用推流分节点时，推流节点的存储空间希望降低成本，减少磁盘成本；中心节点与推流节点之间的骨干网络带宽有限。基于此，现提供一种内容分发网络系统及方法，本发明实现了向推流节点分发热门文件、节省推流存储成本、降低中心与存储节点之间的网络带宽。

发明内容

本发明的技术任务是针对以上不足之处，提供一种实用性强、内容分发网络系统及方法。

一种内容分发网络系统，包括：

CDN管理后台系统，该系统提供文件预分发接口，为资源管理提供希望预分发的热门文件；

中心存储系统；

资源管理服务器，其中设置有资源管理服务和内存数据库；

推流服务器，在其每个推流区域中提供一套推流Web服务。

所述中心存储系统为Hadoop、FTP存储或NAS存储中的一种。

所述资源管理服务资源管理服务提供包括负载均衡、预分发、热点平移、冷门删除、实时拉取、性能汇报的功能。

所述负载均衡的实现过程为，用户终端的所有视频文件请求都会访问资源管理服务器，由资源管理通过内存查询来确定用户所需的文件在当前区域的哪一台推流服务器上存在，并且当文件如果同时存在于多台推流服务器中时，资源管理查询出哪台服务器的负载压力最轻，从而将用户的文件访问请求定位到该推流服务器中。

所述资源管理的预分发功能实现过程为，当CDN管理后台系统的后台服务在出现新上线的视频后，生成该视频的预分发任务，资源管理服务器从中获取到预分发任务，然后向当前区域的推流服务器发送文件拉取命令，推流服务器收到拉取命令后，根据任务中指定的路径从中心存储中将要预分发的文件预先拉取下来。

所述热点平移的过程为，资源管理服务器将文件均匀地分布到各个推流服务器中，当资源管理服务器通过推流的性能汇报发现负载压力明显高于其他伙伴推流时，资源管理服务器发起热点平移的命令，将点播热度最高的文件从负载压力高的推流上通过FTP传输到负载压力最低的服务器上，一段时间后，新连接的点播用户会在负载均衡功能的控制下，平移到负载低的推流中。

所述冷门删除过程为：资源管理服务器根据推流服务器汇报的性能参数来发现磁盘空间不足的推流，从而向该推流服务器发起文字删除命令，删除规则是将该推流服务器上所包含的文件按上次访问时间进行排序，删除最早被访问过的一些视频来腾出存储空间。

所述实时拉取过程为：当用户终端尝试访问推流服务器上不存在的视频时，立即从中心存储拉取文件。

当终端所请求的文件在推流服务器上不存在时，资源管理服务器短暂阻塞终端的请求，同时向指定的推流服务器发起实时拉取文件的命令，在推流服务器拉取到文件后，再响应终端的请求，为其提供转发或重定向的响应，同时为了实现实时点播，对该点播系统中的所有视频文件进行HLS协议的切片处理。

所述性能汇报的具体过程为：每一台推流服务器都定期向资源管理服务器发送心跳，资源管理服务器根据心跳时间与当前时间的时间差来判断推流服务器是否正常工作；当资源管理服务器检测某个推流服务器的心跳时间与当前时间差得太多，则认为该推流服务器已经离线，之后再收到的用户文件请求就不再往这台有离线的推流服务器上重定向。

一种内容分发方法，其具体分发过程为：

基于上述文件分发系统，对新上映视频进行预分发，根据中心存储节点新加入的文件，选择性地自动向推流节点分发文件，其分发采用一对多的文件分发方式；

根据用户点播记录，分析出视频热点并进行平移，即根据推流服务器节点中所分析出来的热门视频文件，自动向同一地区或区域的伙伴推流服务器节点复制文件，从而提高该热门文件的并发负载能力，其中推流服务器节点之间的文件进行相互传输；

进行冷门视频实时拉取，被点播的冷门视频所在区域的所有推流服务器节点上均不存在该视频时，推流服务器一边从中心存储实时拉取、一边为客户端提供推流服务器下载，客户端可以实时访问下载推流服务器节点不存在的冷门文件；

进行推流服务器节点的冷门文件清理，当推流服务器节点的存储空间较低时，通过定期的清理冷门文件的方式，来保持更新推流服务器节点上的文件的点播热度；

为管理系统提供管理监控，管理系统实时地监控各个推流服务器节点的各项性能，这里的各项性能包括CPU使用率、内存占用率、磁盘占用率、磁盘I/O速度、网络带宽占用率、网络连接数。

本发明的一种内容分发网络系统及方法，具有以下优点：

该发明的一种内容分发网络系统及方法该系统及方法可以减轻视频点播系统中的中心存储访问压力的、或降低推流节点存储成本可以提供对推流节点的状态监控，并提供视频推流的高可用和负载均衡功能，实用性强，适用范围广泛，易于推广。

附图说明

附图1为本发明的内容分发网络系统图。

附图2为本发明的内容分发方法流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

为提高视频点播的并发能力并节省推流节点的存储成本以及节省骨干网络的带宽，如附图1所示，一种内容分发网络系统，包括：

CDN管理后台系统，该系统提供文件预分发接口，为资源管理提供希望预分发的热门文件；

中心存储系统；

资源管理服务器，其中设置有资源管理服务和内存数据库；

推流服务器，在其每个推流区域中提供一套推流Web服务。

所述中心存储系统为Hadoop、FTP存储或NAS存储中的一种。

所述资源管理服务资源管理服务提供包括负载均衡、预分发、热点平移、冷门删除、实时拉取、性能汇报的功能。

如附图1所示，首先需要在一个推流节点区域提供多台推流服务器，资源管理与推流服务可以共存在该推流服务器上。然后需要在这些服务器上搭建一套内存数据库群集，例如Redis群集。推流所需要的WebServer建议选用并发能力高的服务，例如Nginx。所需开发的程序为资源管理程序，以及推流文件的拉取程序，二者可以通过API或Web请求进行通信。

在图1中还提到需要与CDN后台服务对接，这是需要文件预分发功能时所必需的。如果不需要预分发功能，该CDN后台服务可以省略，这样在推流服务器上初始化时是没有任何文件的，只有当用户终端请求时，才按需进行实时拉取。

在图1中还提到中心存储，该存储可以是Hadoop群集，可以是FTP存储，也可以是NAS网络存储系统等。

所述负载均衡的实现过程为，用户终端的所有视频文件请求都会访问资源管理服务器，由资源管理通过内存查询来确定用户所需的文件在当前区域的哪一台推流服务器上存在，并且当文件如果同时存在于多台推流服务器中时，资源管理查询出哪台服务器的负载压力最轻，从而将用户的文件访问请求定位到该推流服务器中。

所述资源管理的预分发功能实现过程为，当CDN管理后台系统的后台服务在出现新上线的视频后，生成该视频的预分发任务，资源管理服务器从中获取到预分发任务，然后向当前区域的推流服务器发送文件拉取命令，推流服务器收到拉取命令后，根据任务中指定的路径从中心存储中将要预分发的文件预先拉取下来。

所述热点平移的过程为，资源管理服务器将文件均匀地分布到各个推流服务器中，当资源管理服务器通过推流的性能汇报发现负载压力明显高于其他伙伴推流时，资源管理服务器发起热点平移的命令，将点播热度最高的文件从负载压力高的推流上通过FTP传输到负载压力最低的服务器上，一段时间后，新连接的点播用户会在负载均衡功能的控制下，平移到负载低的推流中。

所述冷门删除过程为：资源管理服务器根据推流服务器汇报的性能参数来发现磁盘空间不足的推流，从而向该推流服务器发起文字删除命令，删除规则是将该推流服务器上所包含的文件按上次访问时间进行排序，删除最早被访问过的一些视频来腾出存储空间。

所述实时拉取过程为：当用户终端尝试访问推流服务器上不存在的视频时，立即从中心存储拉取文件。

在图2的工作流程图中可以看到，当终端所请求的文件在推流服务器上不存在时，资源管理服务器会短暂阻塞终端的请求，同时向指定的推流服务器发起实时拉取文件的命令，在推流服务器拉取到文件后，再响应终端的请求，为其提供转发或重定向的响应。为了实现实时点播的能力，需要对该点播系统中的所有视频文件进行HLS协议的切片处理。

所述性能汇报的具体过程为：每一台推流服务器都定期向资源管理服务器发送心跳，资源管理服务器根据心跳时间与当前时间的时间差来判断推流服务器是否正常工作；当资源管理服务器检测某个推流服务器的心跳时间与当前时间差得太多，则认为该推流服务器已经离线，之后再收到的用户文件请求就不再往这台有离线的推流服务器上重定向，因此该性能汇报也实现了高可用的功能。

如附图2所示，一种内容分发方法，其具体分发过程为：

基于上述文件分发系统，对新上映视频进行预分发，根据中心存储节点新加入的文件，选择性地自动向推流节点分发文件，其分发采用一对多的文件分发方式；

根据用户点播记录，分析出视频热点并进行平移，即根据推流服务器节点中所分析出来的热门视频文件，自动向同一地区或区域的伙伴推流服务器节点复制文件，从而提高该热门文件的并发负载能力，而不会占用中心至推流服务器的骨干网络的带宽，其中推流服务器节点之间的文件进行相互传输；

进行冷门视频实时拉取，被点播的冷门视频所在区域的所有推流服务器节点上均不存在该视频时，推流服务器一边从中心存储实时拉取、一边为客户端提供推流服务器下载，客户端可以实时访问下载推流服务器节点不存在的冷门文件；

进行推流服务器节点的冷门文件清理，当推流服务器节点的存储空间较低时，通过定期的清理冷门文件的方式，来保持更新推流服务器节点上的文件的点播热度；

为管理系统提供管理监控，管理系统实时地监控各个推流服务器节点的各项性能，这里的各项性能包括CPU使用率、内存占用率、磁盘占用率、磁盘I/O速度、网络带宽占用率、网络连接数。

上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明的一种内容分发网络系统及方法的权利要求书的且任何所属技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。

Claims (10)

1.一种内容分发网络系统，其特征在于，包括如下结构：

CDN管理后台系统，该系统提供文件预分发接口，为资源管理提供希望预分发的热门文件；

中心存储系统，该中心存储系统为Hadoop、FTP存储或NAS存储中的一种；

资源管理服务器，其中设置有资源管理服务和内存数据库；

推流服务器，在其每个推流区域中提供一套推流Web服务。

2.根据权利要求1所述的一种内容分发网络系统，其特征在于，所述资源管理服务资源管理服务提供包括负载均衡、预分发、热点平移、冷门删除、实时拉取、性能汇报的功能。

3.根据权利要求2所述的一种内容分发网络系统，其特征在于，所述负载均衡的实现过程为，用户终端的所有视频文件请求都会访问资源管理服务器，由资源管理通过内存查询来确定用户所需的文件在当前区域的哪一台推流服务器上存在，并且当文件如果同时存在于多台推流服务器中时，资源管理查询出哪台服务器的负载压力最轻，从而将用户的文件访问请求定位到该推流服务器中。

4.根据权利要求2所述的一种内容分发网络系统，其特征在于，所述资源管理的预分发功能实现过程为，当CDN管理后台系统的后台服务在出现新上线的视频后，生成该视频的预分发任务，资源管理服务器从中获取到预分发任务，然后向当前区域的推流服务器发送文件拉取命令，推流服务器收到拉取命令后，根据任务中指定的路径从中心存储中将要预分发的文件预先拉取下来。

5.根据权利要求2所述的一种内容分发网络系统，其特征在于，所述热点平移的过程为，资源管理服务器将文件均匀地分布到各个推流服务器中，当资源管理服务器通过推流的性能汇报发现负载压力明显高于其他伙伴推流时，资源管理服务器发起热点平移的命令，将点播热度最高的文件从负载压力高的推流上通过FTP传输到负载压力最低的服务器上，一段时间后，新连接的点播用户会在负载均衡功能的控制下，平移到负载低的推流中。

6.根据权利要求2所述的一种内容分发网络系统，其特征在于，所述冷门删除过程为：资源管理服务器根据推流服务器汇报的性能参数来发现磁盘空间不足的推流，从而向该推流服务器发起文字删除命令，删除规则是将该推流服务器上所包含的文件按上次访问时间进行排序，删除最早被访问过的一些视频来腾出存储空间。

7.根据权利要求2所述的一种内容分发网络系统，其特征在于，所述实时拉取过程为：当用户终端尝试访问推流服务器上不存在的视频时，立即从中心存储拉取文件。

8.根据权利要求7所述的一种内容分发网络系统，其特征在于，当终端所请求的文件在推流服务器上不存在时，资源管理服务器短暂阻塞终端的请求，同时向指定的推流服务器发起实时拉取文件的命令，在推流服务器拉取到文件后，再响应终端的请求，为其提供转发或重定向的响应，同时为了实现实时点播，对该点播系统中的所有视频文件进行HLS协议的切片处理。

9.根据权利要求2所述的一种内容分发网络系统，其特征在于，所述性能汇报的具体过程为：每一台推流服务器都定期向资源管理服务器发送心跳，资源管理服务器根据心跳时间与当前时间的时间差来判断推流服务器是否正常工作；当资源管理服务器检测某个推流服务器的心跳时间与当前时间差得太多，则认为该推流服务器已经离线，之后再收到的用户文件请求就不再往这台有离线的推流服务器上重定向。

10.一种内容分发方法，其特征在于，具体分发过程为：

基于上述文件分发系统，对新上映视频进行预分发，根据中心存储节点新加入的文件，选择性地自动向推流节点分发文件，其分发采用一对多的文件分发方式；

根据用户点播记录，分析出视频热点并进行平移，即根据推流服务器节点中所分析出来的热门视频文件，自动向同一地区或区域的伙伴推流服务器节点复制文件，从而提高该热门文件的并发负载能力，其中推流服务器节点之间的文件进行相互传输；

进行冷门视频实时拉取，被点播的冷门视频所在区域的所有推流服务器节点上均不存在该视频时，推流服务器一边从中心存储实时拉取、一边为客户端提供推流服务器下载，客户端可以实时访问下载推流服务器节点不存在的冷门文件；

进行推流服务器节点的冷门文件清理，当推流服务器节点的存储空间较低时，通过定期的清理冷门文件的方式，来保持更新推流服务器节点上的文件的点播热度；

为管理系统提供管理监控，管理系统实时地监控各个推流服务器节点的各项性能，这里的各项性能包括CPU使用率、内存占用率、磁盘占用率、磁盘I/O速度、网络带宽占用率、网络连接数。