CN106708918A - 一种网络大数据可视化信息系统 - Google Patents

Abstract

本发明公开了一种网络大数据可视化信息系统，分为三层，从下到上分别为数据库层、数据交换层和应用层；所述数据库层为系统提供数据支撑，用于存储系统所需的原始数据、处理后的中间数据以及最终的展示数据；所述数据交换层封装了访问数据库的操作，同时提供了Redis缓存，用于缓存常用的数据，提高应用层读取数据的效率；所述应用层为一个WEB站点，分为后端和前端两部分；其中后端底层逻辑处理、数据库通信和交换，以及数据处理；同时，后端还提供用户权限、系统配置等功能；WEB前端用于用户与系统交互，并对数据进行可视化展示；前端框架负责前端功能的逻辑处理，并组织数据提供给可视化工具集进行渲染。

Description

一种网络大数据可视化信息系统

技术领域

本发明涉及网络技术领域，尤其涉及一种网络大数据可视化信息系统。

背景技术

近年随着因特网、移动互联网和物联网的飞速发展，世界已经进入数据爆炸时代。从商业公司的各种管理与运营数据，到个人移动终端的社会化数据，再到互联网产生的海量信息数据，每时每刻产生的信息量正在飞速增长。如何直观揭示海量数据间的关系和信息中隐藏的特征，成为世界范围内重要的研究课题，进而促使了信息可视化这一崭新科学领域的出现。

海量数据可视化技术结合了科学可视化、人机交互、数据挖掘、图像图形学和认知科学等诸多学科的理论和方法，主要应用于没有几何属性的抽象信息，揭示信息中隐藏的知识。可视化将数据信息和知识转化为一种视觉形式，充分利用了人们对可视模式快速识别的自然能力。在信息日益丰富的社会，可视化技术的研究和应用开发已经从根本上改变了大型复杂数据的理解方式，从而引导人类获得新的洞察，进而制定有效的决策。

目前的可视化系统架构主要分为Client/Server(C/S)和Browser/Server(B/S)两种模式。C/S可视化系统对计算机的硬件渲染能力要求较高，且平台兼容性较差，往往需要开发不同平台的客户端软件，存在一定的应用局限性。

发明内容

为解决背景技术中存在的技术问题，本发明提出一种网络大数据可视化信息系统，采用计算机分布式架构和高效网络传输技术，完成海量网络数据可视化系统的总体架构设计，并基于WEB全栈技术实现。

为此，本发明提供了一种网络大数据可视化信息系统，分为三层，从下到上分别为数据库层、数据交换层和应用层；

所述数据库层为系统提供数据支撑，用于存储系统所需的原始数据、处理后的中间数据以及最终的展示数据；

所述数据交换层封装了访问数据库的操作，同时提供了Redis缓存，用于缓存常用的数据，提高应用层读取数据的效率；

所述应用层为一个WEB站点，分为后端和前端两部分；其中后端底层逻辑处理、数据库通信和交换，以及数据处理；同时，后端还提供用户权限、系统配置等功能；WEB前端用于用户与系统交互，并对数据进行可视化展示；前端框架负责前端功能的逻辑处理，并组织数据提供给可视化工具集进行渲染。

根据上述方案，该可视化信息系统的数据存储采用Key-Value格式的MongoDB非关系型数据库。

根据上述方案，该可视化信息系统采用WebSocket作为通讯协议，WebSocket在进行一次TCP连接后，基于此连接进行后续的数据传输，无需多次发送HTTP报文。

根据上述方案，该可视化信息系统采用发布/订阅的数据获取模式，后端定义多个数据源，前端根据需求订阅相应的数据，当后端的数据源发生变动时，前端页面能够实时的获取变动情况，及时更新页面显示。

本发明提出的一种网络大数据可视化信息系统，采用计算机分布式架构和高效网络传输技术，完成海量网络数据可视化系统的总体架构设计，并基于WEB全栈技术实现，本系统可对海量数据提供全面的可视化服务，有助于高效的、直观的从数据中提取隐藏信息，进而辅助制定决策。

附图说明

图1是本发明具体实施例的系统架构图。

图2是本发明具体实施例的MongoDB集群结构图。

图3是本发明具体实施例的数据交换技术示意图。

图4是本发明具体实施例的可视化框架示意图。

图5是本发明具体实施例的系统前端架构图。

图6是本发明具体实施例的流量数据示例图。

图7是本发明具体实施例的互联网基础数据统计数据图。

图8是本发明具体实施例的网络安全事件监测统计图。

具体实施方式

下面，通过具体实施例对本发明的技术方案进行详细说明。

实施例：

参照图1，本发明提出了一种网络大数据可视化信息系统，系统分为三层，从下到上分别为数据库层、数据交换层和应用层；

数据库层为系统提供数据支撑，用于存储系统所需的原始数据、处理后的中间数据以及最终的展示数据。针对海量数据规模，单机数据库的存储空间和查询效率无法满足需求，因此需要建立数据库集群，以提升系统性能。

数据交换层封装了访问数据库的操作，同时提供了Redis缓存，用于缓存常用的数据，提高应用层读取数据的效率。

应用层为一个WEB站点，分为后端和前端两部分。其中后端底层逻辑处理、数据库通信和交换，以及数据处理。同时，后端还提供用户权限、系统配置等功能。WEB前端用于用户与系统交互，并对数据进行可视化展示。前端框架负责前端功能的逻辑处理，并组织数据提供给可视化工具集进行渲染。

对于该系统的海量数据存储架构如下：

可视化系统对接的网络数据庞杂，预估在TB/PB级规模，对数据库高并发、高效读写的要求较高，而传统的主流存储方案(Oracle、MySQL等)并不适用大数据量的分布式场景。因此，为方便数据库结构优化和分布式拓展，数据存储采用Key-Value格式的MongoDB非关系型数据库。相比传统的关系型数据库，其具有以下特点：

1)可以存储非结构化数据，即使同一个集合之中，数据也可以有不同的格式，非常易于扩展。

2)不支持SQL语句操作，只能使用MongoDB的查询语法。目前多种程序语言均有官方链接库支持MongoDB的读写操作。

3)横向扩展容易。关系型数据库的水平分片需要进行复杂的手工配置，MongoDB可自动配置数据分片，并做负载均衡处理。

由于系统数据来源众多，而不同来源的数据往往具有不同的结构，需要根据数据源设计相应的存储模型。MongoDB一方面能够简化模型构建，另一方面，当增加新的数据源时，可以不改变已有的数据模型，更易于扩展。

针对大规模数据集合，综合考虑存储容量和读写效率优化，建立了图2所示的MongoDB集群。其中Mongod为集群的存储节点，用于存储数据。ConfigDB服务器存储了各Mongod以及Mongos的配置信息。Mongos储存了每个Mongod的路由信息，应用服务器(AppServer)与其通信。值得注意，Mongos与集群内节点的通信对于应用服务器而言是透明的。

本发明的可视化框架如下：

可视化框架构建在系统应用层的WEB前端部分。如图4所示，主要分为前端订阅数据，以及数据的可视化展示。用户根据需求订阅数据，前端基于HTML5语言，根据认知习惯加载可视化工具集进行渲染。此外，系统提供交互接口，订制展示所需数据。

本发明利用的技术有：

1、高效数据交换技术

传统的前后端数据交换，都是通过一个完整的HTTP通信。然而，HTTP的报头较大，当请求的资源较小时，该方式效率极低，同时会占用大量的带宽和服务器资源。单个可视化页面的数据量不会很大，通常需要在不重新刷新页面的情况下，更新显示数据。若前端采用传统的JavaScript轮询方式，不断发出HTTP请求，如上文所述，数据交换效率低下，且大量耗费网络资源。

为提高数据交换效率，本系统采用了WebSocket作为通讯协议。WebSocket在进行一次TCP连接后，基于此连接进行后续的数据传输，无需多次发送HTTP报文，可以极大提升数据交换效率。如图3所示，系统采用发布/订阅的数据获取模式，后端定义多个数据源，前端根据需求订阅相应的数据。当后端的数据源发生变动时，前端页面能够实时的获取变动情况，及时更新页面显示。

2、WEB后端技术

本系统采用Meteor框架，其是一个“全栈”WEB技术框架，即一个框架同时负责前端和后端。

1)数据库模式(Schema)。系统后端数据存储采用MongoDB，它的集合(Collection，即关系型数据库中的表)其实不必定义一个特定格式的Schema。但是定义Schema，可以清晰描述数据结构，更容易对数据进行认知和操作。

2)数据交换。后端与前端采用订阅(Subscribe)/发布(Publish)模式进行数据通信。后端定义数据发布接口，前端根据页面展示需求，订阅所需数据进行可视化渲染。

3)数据预处理。在数据发布前，后端从相应集合中取出数据，若所需数据并非集合内容，而是分析或统计结果，则需要对数据进行预处理。然后再进行相应的发布操作，最终由前端订阅。

4)路由系统。不同的URL对应不同的页面，即对应不同的页面逻辑实现。路由(Router)系统负责在URL和页面间建立逻辑关系，从而在访问特定URL时，执行相应的逻辑，向用户返回正确的页面。

3、WEB前端技术

Meteor框架是构建在Node.js上的平台，它不同于常见的MVC模式，不在网络上传输HTML，服务器端只发送数据，客户端负责渲染工作，极大的减轻服务器压力。系统开发、维护或升级时，系统结构和样式的更改会自动通知浏览器刷新页面，实现代码的“热推送”(hot push)。系统对海量数据进行可视渲染时，服务器端或客户端的数据变化都将自动同步，可极大提升数据交换、计算和绘制的效率。系统前端架构实现如图5所示。

4、可视化技术

系统应用的可视化技术主要包括渲染预处理模块、映射和显示模块以及交互模块，其中：

(1)渲染预处理。面向可视化方法的数据处理，客户端针对接收到的数据进行可视化变换(例如线性变换、特征检测、平滑处理等)，以降低GPU硬件的性能压力，加快成像速度，提升数据在显示器上的映射效率。

(2)映射显示。将数值矩阵转换成图像，基于人类视觉认知体系，使用恰当的图表帮助用户更准确、更直观的理解数据。

(3)系统交互。根据输入参数或反馈信息调整数据可视化效果，从而能够全方位、多维度的展现数据特征。

对于大规模网络数据而言，实现网络间的实时数据交换必须重视数据预处理工作，数据预处理的质量很大程度上决定系统体验的舒适度。

具体的，本发明MongoDB集群相比于关系型数据库，其水平分片配置简单，且易于横向扩展。对于海量规模的网络数据，数据存储可靠性十分重要，通常需要设置存储副本，比如一主一从或者一主N从的方式。当主节点发生故障，可快速切换成从节点继续服务，防止数据丢失。MongoDB的副本集配置也较为简单，副本集内的节点互为备份，从而达到主从备份目的。

本系统的数据源均为网络基础数据资源，包括IP地址属性知识库、网络安全事件和流量日志等。图6是单条网络流量日志的数据结构示例，平均每条数据占用的磁盘空间大约为50KB。目前已有流量日志上亿条，占用磁盘空间在TB级以上，且仍在不断增长。除了动态流量日志，其他静态数据占用磁盘空间也达到500GB以上规模。为储存这些数据，采用10台服务器建立数据库集群，每个分片均采用一主一从的方式进行部署。当数据量增长至现有存储空间无法胜任时，可通过增加分片副本集进行横向扩展，以保障系统性能。

其可视化效果如下：

基于大规模网络数据，系统可以高效实现数据交换和可视化。系统对海量互联网基础数据进行了统计分析，如全球IP地址分布、全国网站和域名备案情况、全球WEB服务器分布等。如图7所示，基于全国网站备案数据给出了可视化效果，由图可以直观的、清晰的传达大数据中蕴藏的信息，例如中国互联网行业的地区发展差异差大，中东部地区明显优于西部和东北地区。

如图8所示，针对大规模网络安全事件建立了全球监测预警模型，有助于直观的从数据中发现网络空间存在的安全潜在隐患。实验表明，系统前端框架能够满足不同数据的交换和处理需求，多种类型的可视化工具集有效支撑了多源海量数据的展示要求。

基于上述，本实施例对目前WEB可视化系统的资源共享、互联重建和交换能力不足等问题，采用分布式存储架构和高效网络数据交换技术，设计了可视化体系的总体业务和功能框架，并基于WEB全栈技术实现了一套基于网络大数据的可视化系统。结果证明，本系统实现了对网络数据存储、计算和绘制资源的有效利用，并可以对数据提供全面的可视化服务，有助于高效的、直观的从大规模数据中提取有用的信息，进而辅助制定决策。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种网络大数据可视化信息系统，其特征在于，分为三层，从下到上分别为数据库层、数据交换层和应用层；

所述数据库层为系统提供数据支撑，用于存储系统所需的原始数据、处理后的中间数据以及最终的展示数据；

所述数据交换层封装了访问数据库的操作，同时提供了Redis缓存，用于缓存常用的数据，提高应用层读取数据的效率；

所述应用层为一个WEB站点，分为后端和前端两部分；其中后端底层逻辑处理、数据库通信和交换，以及数据处理；同时，后端还提供用户权限、系统配置等功能；WEB前端用于用户与系统交互，并对数据进行可视化展示；前端框架负责前端功能的逻辑处理，并组织数据提供给可视化工具集进行渲染。

2.如权利要求1所述的一种网络大数据可视化信息系统，其特征在于，该可视化信息系统的数据存储采用Key-Value格式的MongoDB非关系型数据库。

3.如权利要求1所述的一种网络大数据可视化信息系统，其特征在于，该可视化信息系统采用WebSocket作为通讯协议，WebSocket在进行一次TCP连接后，基于此连接进行后续的数据传输，无需多次发送HTTP报文。

4.如权利要求1所述的一种网络大数据可视化信息系统，其特征在于，该可视化信息系统采用发布/订阅的数据获取模式，后端定义多个数据源，前端根据需求订阅相应的数据，当后端的数据源发生变动时，前端页面能够实时的获取变动情况，及时更新页面显示。