CN111506639A - 一种供热大数据云平台及数据处理方法 - Google Patents

Abstract

本发明公开了一种供热大数据云平台及数据处理方法。该平台包括：用户授权模块，用于对热力用户进行授权操作；云采集中心模块，用于采集供热物联网设备数据，并将供热物联网设备数据通过Kafka进行数据缓存；云计算中心模块，用于对云采集中心模块中缓存的数据通过Flink进行计算，得到适用于云存储中心模块的数据；云存储中心模块，用于对云计算中心模块的数据通过HBase进行存储；数据实时查询模块，用于通过SQL对云存储中心模块中的数据进行查询，还用于通过JDBC方式对云存储中心模块中的数据进行访问。采用本发明的供热大数据云平台及数据处理方法，能够实现数据的快速采集、快速计算、快速存储和快速查询。

Description

一种供热大数据云平台及数据处理方法

技术领域

本发明涉及智慧供热技术领域，特别是涉及一种供热大数据云平台及数据处理方法。

背景技术

目前，供热行业正在朝智慧供热方向快速发展，产生越来越多的数据，现有技术中对于这些海量数据多是基于传统的MYSQL数据库做计算以及存储，以单节点机器为主，无法实时采集海量数据，并且面对海量数据，平台会崩溃或者耗时过长。海量数据得不到有效合理存储，很多情况下，即使能勉强存储，但为了数据访问的速度，不得不进行表拆分，导致数据使用复杂度急剧提高。对海量数据的各种关联计算，计算完毕要很久时间。

发明内容

本发明的目的是提供一种供热大数据云平台及数据处理方法，能够实现数据的快速采集、快速计算和快速存储。

为实现上述目的，本发明提供了如下方案：

一种供热大数据云平台，包括：

云采集中心模块，用于采集供热物联网设备数据，并将所述供热物联网设备数据通过Kafka进行数据缓存；

云计算中心模块，用于对所述云采集中心模块中缓存的数据通过Flink进行计算，得到适用于云存储中心模块的数据；

所述云存储中心模块，用于对所述云计算中心模块的数据通过HBase进行存储。

可选的，所述供热大数据云平台，还包括：

数据实时查询模块，用于通过SQL对所述云存储中心模块中的数据进行查询，还用于通过JDBC方式对所述云存储中心模块中的数据进行访问。

可选的，所述供热大数据云平台，还包括：

用户授权模块，用于对热力用户进行授权操作。

可选的，

所述云采集中心模块用于根据授权后的热力用户对所述云采集中心模块进行划分，得到与授权热力用户个数相等的云采集中心子模块；所述云采集中心子模块用于采集单一授权热力用户的供热物联网设备数据；

所述云计算中心模块用于根据授权后的热力用户对所述云计算中心模块进行划分，得到与授权热力用户个数相等的云计算中心子模块；所述云计算中心子模块用于对所述云采集中心子模块中缓存的数据进行计算；

所述云存储中心模块用于根据授权后的热力用户对所述云存储中心模块进行划分，得到与授权热力用户个数相等的云存储中心子模块；所述云存储中心子模块用于对所述云计算中心子模块的数据进行存储；

所述数据实时查询模块用于根据授权后的热力用户对所述数据实时查询模块进行划分，得到与授权热力用户个数相等的数据实时查询子模块；所述数据实时查询子模块用于对所述云存储中心子模块中的数据进行查询。

本发明还提供一种基于供热大数据云平台的数据处理方法，包括：

获取供热物联网设备数据；

将所述供热物联网设备数据通过Kafka进行数据缓存；

对缓存的数据通过Flink进行计算；

对计算后的数据通过HBase进行存储。

可选的，在对计算后的数据通过HBase进行存储，之后还包括：

通过SQL对数据进行查询，或者通过JDBC方式对数据进行访问。

可选的，在获取供热物联网设备数据，之前还包括：

获取热力用户存储数据请求；

根据所述请求对热力用户进行授权操作。

可选的，所述将所述供热物联网设备数据通过Kafka进行数据缓存，具体包括：

将所述供热物联网设备数据通过REST API上传至Kafka后进行数据缓存。

可选的，所述对缓存的数据通过Flink进行计算，具体包括：

对缓存的数据通过Flink进行逻辑格式转换处理、数据关联处理、数据融合处理、数据统计处理中的一种或多种。

与现有技术相比，本发明的有益效果是：

本发明提出了一种供热大数据云平台及数据处理方法，云平台包括云采集中心模块、云计算中心模块和云存储中心模块，能够采集供热物联网设备数据，并将供热物联网设备数据通过Kafka进行数据缓存；对云采集中心模块中缓存的数据通过Flink进行计算，得到适用于云存储中心模块的数据；对云计算中心模块的数据通过HBase进行存储。此外，云平台还包括用户授权模块和数据实时查询模块；其中，用户授权模块能够对热力用户进行授权操作，针对每一热力用户形成云采集中心子模块、云计算中心子模块和云存储中心子模块和数据实时查询子模块，避免数据混淆；数据实时查询模块能够通过SQL对云存储中心模块中的数据进行查询，还能够通过JDBC方式对云存储中心模块中的数据进行访问。本发明具有能够实现数据的快速采集、快速计算、快速存储和快速查询的优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中供热大数据云平台示意图；

图2为本发明实施例中基于供热大数据云平台的数据处理方法流程图；

图3为本发明实施例中时序图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种供热大数据云平台及数据处理方法，能够实现数据的快速采集、快速计算、快速存储和快速查询。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例

图1为本发明实施例中供热大数据云平台示意图，如图1所示，本发明提供一种供热大数据云平台，包括：用户授权模块101、云采集中心模块102、云计算中心模块103、云存储中心模块104和数据实时查询模块105。

用户授权模块101，用于对热力用户进行授权操作。

云采集中心模块102，用于采集供热物联网设备数据，并将供热物联网设备数据通过Kafka进行数据缓存。云采集中心模块用于根据授权后的热力用户对云采集中心模块进行划分，得到与授权热力用户个数相等的云采集中心子模块；云采集中心子模块用于采集单一授权热力用户的供热物联网设备数据。

云计算中心模块103，用于对云采集中心模块中缓存的数据通过Flink进行计算，得到适用于云存储中心模块的数据。云计算中心模块用于根据授权后的热力用户对云计算中心模块进行划分，得到与授权热力用户个数相等的云计算中心子模块；云计算中心子模块用于对云采集中心子模块中缓存的数据进行计算。

云存储中心模块104，用于对云计算中心模块的数据通过HBase进行存储。云存储中心模块用于根据授权后的热力用户对云存储中心模块进行划分，得到与授权热力用户个数相等的云存储中心子模块；云存储中心子模块用于对云计算中心子模块的数据进行存储。HBase是一个分布式的、面向列的开源数据库。

数据实时查询模块105，用于通过SQL(结构化查询语言，Structured QueryLanguage)对云存储中心模块中的数据进行查询，还用于通过JDBC(Java数据库连接，JavaDatabase Connectivity)方式对云存储中心模块中的数据进行访问。数据实时查询模块用于根据授权后的热力用户对数据实时查询模块进行划分，得到与授权热力用户个数相等的数据实时查询子模块；数据实时查询子模块用于对云存储中心子模块中的数据进行查询。

图2为本发明实施例中基于供热大数据云平台的数据处理方法流程图。如图2所示，一种基于供热大数据云平台的数据处理方法，包括：

步骤201：获取热力用户存储数据请求。

步骤202：根据请求对热力用户进行授权操作。

步骤203：获取供热物联网设备数据。

步骤204：将供热物联网设备数据通过Kafka进行数据缓存。

步骤204，具体包括：

将供热物联网设备数据通过REST API上传至Kafka后进行数据缓存。

步骤205：对缓存的数据通过Flink进行计算。

步骤205，具体包括：

对缓存的数据通过Flink进行逻辑格式转换处理、数据关联处理、数据融合处理、数据统计处理中的一种或多种。

步骤206：对计算后的数据通过HBase进行存储。

步骤207：通过SQL对存储在HBase中的数据进行查询，或者通过JDBC方式对数据进行访问。

具体的，本发明云平台核心功能模块，包括：

(1)模块：供热物联设备海量数据实时云接入功能

此模块即云采集中心模块，主要包括：

a.物联采集工具

负责物联设备数据的实时采集和数据上传。其中采集部分，即物联设备数据的实时采集，不仅要适配多达几十种通讯协议，并且还要对一些原始二进制点位数据进行解析，解析成可以识别的业务数据；另外一部分就是数据实时上传，通过REST API方式，当前主要是上传到Kafka分布式集群。

b.Kafka分布式集群

负责临时存储实时采集的物联设备数据，主要作用是将数据的生产和数据的消费最大程度解耦，并进行7天不等的数据存储。最大的优势是其高吞吐量，高并发，易扩展性，以及支持Exactly-Once，确保数据的完整性。

供热业务主题(topic)格式，类似“dev.secondcurrentdata”，格式为租户+机组数据，部分业务主题说明如下：

dev.firstcurrentdata为一次侧数据；

dev.secondcurrentdata为机组数据；

dev.balstationbranchcurrentdata为二网平衡数据；

dev.tworegulatecurrentdata为单元调控数据；

dev.temperaturepanelcurrentdata为室温数据；

dev.weatherreal为小时天气实测数据；

dev.weatherforcast为小时天气预测数据。

按照一个个业务主题通过REST API接口将数据实时传送到Kafka，涵盖多个租户，有良好的扩展性，以及高吞吐量，高实时性。

(2)模块：云平台海量数据实时计算功能

此模块即云计算中心模块，采用Flink技术框架，资源管理统一采用Yarn进行资源分配，可以达到在同一个集群中实现不同的计算生态。在云平台中，主要是用Flink进行实时计算，其数据源是模块(1)中的Kafka集群，可以进行数据的转换、关联、聚合、统计等各种计算。

其中，dev.SecondCurrentDataProcess由Flink程序构成，实时运行，通过计算，对采集过来的业务机组数据(存储于Kafka)进行处理，最后实时进行永久云存储。

(3)模块：云平台海量数据实时存储功能

此模块即云存储中心模块，核心是HBase，分布式集群架构，主要用来进行数据的永久存储，可以支持海量数据的快速存储，其特性是易于扩展，并且为列式存储，特别适用于海量数据的查询分析等应用。模块(2)中通过Flink计算的数据结果，会永久存储于HBase中，这个与模块(1)中的Kafka集群只做临时存储有所不同。HBase存储可以大规模扩展，并且拥有实时查询的性能。

永久存储表说明如下：

dev.firstcurrentdata_ods为一次侧初始表；

dev.secondcurrentdata_ods为机组数据；

dev.weatherForcast_ods为小时天气预报初始表；

dev.weatherReal_ods为小时天气实测初始表；

dev.temperaturepanelcurrentdata_ods为室温初始表；

dev.stationbranchcurrentdata_ods为机组二网平衡初始表；

dev.tworegulatecurrentdata_ods为楼栋二网平衡调节初始表。

(4)模块：云平台海量数据实时查询功能

此模块即数据实时查询模块，提供了瑞纳智慧云平台的SQL查询功能，是在HBase之上构建而成，与传统关系数据库更接近，相比直接使用HBase更容易，并且支持二级索引，克服了HBase的局限性。提供了SQL查询，或者通过JDBC方式进行访问。

(5)模块：云平台同时支撑多个热力公司租户功能

此模块即用户授权模块，贯穿于以上4个模块，目的是为了应对一套平台同时服务于多家热力公司的实际需求，数据进行隔离，处理程序进行隔离，大大减少了耦合性。在模块(1)中，采集、上传，以及数据在Kafka中的临时存储，都进行了逻辑隔离，比如Kafka中的Topics是进行租户隔离的，不同的租户，有自己独立的Topics；在模块(2)、(3)中，每个租户都有自己的一套Flink处理程序，当然处理逻辑可以一致，但分不同实例单独运行(租户参数进行区分)，另外数据在HBase中的存储，也是通过Schema进行划分，不同的Schema对应不同的租户存储权限；在模块(4)中，对数据的SQL开放，也是通过Schema进行租户权限划分，各自独立。

以上5个核心功能模块，要想实时访问供热数据，可以利用云SQL直接查询，也可以嵌入到下游应用产品中去以产品方式使用；云SQL，离不开底层HBase的分布式云存储支撑；云存储的海量数据，是需要云计算将实时采集的原始数据进行加工处理才可以的，所以数据的实时采集是关键的一环，也是首先完成的一步。最后，为更好的服务于多家热力公司，多租户设计必不可少的，否则，混在一起很难管理。

本发明的云平台，可以实现物联设备数据的实时海量采集，实时海量数据接入，以及海量数据的实时计算、以及安全快速存储，并且提供了更友好的访问方式。除此之外，可以根据服务的热力客户的增加，进行租户的扩展；并且可以根据数据的规模，进行平台的扩容。

本发明的时序图如图3所示，首先是上游数据采集，并通过REST API接口实时上传到云，在云端会有个数据缓存，一般会存储7天不等，然后利用云计算技术，完成比如关联、业务逻辑转换等处理步骤，最后进行云永久存储，以服务于各种应用。整个过程属于实时流式计算，正常情况下始终一直运行，数据源源不断的采集接入云平台，云平台针对变化的流式数据不停的进行计算，并不断的进行持久化云存储。

本发明针对现有技术无法实时采集海量数据，若是几十万条1分钟，甚至1秒，平台要么会崩溃，要么会耗时过长的缺点，设置了采集中心模块，通过引入了Kafka组件，解决了这个问题。

本发明针对现有技术的海量数据得不到有效合理存储，很多情况下，即使能勉强存储，但为了数据访问的速度，不得不进行表拆分，导致数据使用复杂度急剧提高的问题，设置了云存储中心模块，通过引入HBase组件，解决了这个问题。

本发明针对现有技术在海量数据进行计算时，尤其是各种关联计算，计算完毕要很久的问题，设置云计算中心模块，通过引入Flink组件，解决了这个问题。

本发明针对在进行海量数据的查询时，100万条以上级别效率就会打折扣的问题，设置数据实时查询模块，通过引入HBase+Phoenix组件，解决了这个问题。

本发明还针对当前各种AI(人工智能，Artificial Intelligence)学习不能提供足够的数据进行训练学习，往往不能达到预期的学习结果这一问题。对云平台进行大规模集群化设计，可以存储一个热力企业或多个热力企业的数据，并且良好的实时计算特性，解决了AI学习过去只靠抽样进行学习的局限性，可以全样本进行全量或增量学习，提高了AI学习的准确性。

本发明针对需要企业级的数据，往往需要从好几个系统获取，难免需要人工介入，工作效率低下，各种企业级分析不能及时完成，并指导企业的快速决策的问题。云平台存储的是企业级的数据，摒弃了过去按部门等孤岛式的数据存在，其存储了各类业务数据，覆盖广泛。

综上，属于供热领域内的一套云平台，与具体供热业务和需求是紧密结合在一起的，专门为智慧供热量身打造的，全天候实时流式处理，低延迟，并且存在更复杂数据场景，比如各种流式数据采集周期各异，但很多场景需要这些各种数据进行绑定计算。与其他行业纯粹直接采集各种日志有所不同，供热采集的数据基本上为二进制数据，需要特定的业务解析，并多以REST API方式主动上传到云端。与供热领域内的AI场景密切结合，比如基于瑞纳智慧云平台做相关室温分析、负荷预测等等应用。提供更友好的SQL访问入口，类似于传统关系数据库，使云数据使用门槛极大降低。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种供热大数据云平台，其特征在于，包括：

云采集中心模块，用于采集供热物联网设备数据，并将所述供热物联网设备数据通过Kafka进行数据缓存；

云计算中心模块，用于对所述云采集中心模块中缓存的数据通过Flink进行计算，得到适用于云存储中心模块的数据；

所述云存储中心模块，用于对所述云计算中心模块的数据通过HBase进行存储。

2.根据权利要求1所述的供热大数据云平台，其特征在于，所述供热大数据云平台，还包括：

数据实时查询模块，用于通过SQL对所述云存储中心模块中的数据进行查询，还用于通过JDBC方式对所述云存储中心模块中的数据进行访问。

3.根据权利要求2所述的供热大数据云平台，其特征在于，所述供热大数据云平台，还包括：

用户授权模块，用于对热力用户进行授权操作。

4.根据权利要求3所述的供热大数据云平台，其特征在于，

所述云采集中心模块用于根据授权后的热力用户对所述云采集中心模块进行划分，得到与授权热力用户个数相等的云采集中心子模块；所述云采集中心子模块用于采集单一授权热力用户的供热物联网设备数据；

所述云计算中心模块用于根据授权后的热力用户对所述云计算中心模块进行划分，得到与授权热力用户个数相等的云计算中心子模块；所述云计算中心子模块用于对所述云采集中心子模块中缓存的数据进行计算；

所述云存储中心模块用于根据授权后的热力用户对所述云存储中心模块进行划分，得到与授权热力用户个数相等的云存储中心子模块；所述云存储中心子模块用于对所述云计算中心子模块的数据进行存储；

所述数据实时查询模块用于根据授权后的热力用户对所述数据实时查询模块进行划分，得到与授权热力用户个数相等的数据实时查询子模块；所述数据实时查询子模块用于对所述云存储中心子模块中的数据进行查询。

5.一种基于供热大数据云平台的数据处理方法，其特征在于，包括：

获取供热物联网设备数据；

将所述供热物联网设备数据通过Kafka进行数据缓存；

对缓存的数据通过Flink进行计算；

对计算后的数据通过HBase进行存储。

6.根据权利要求5所述的基于供热大数据云平台的数据处理方法，其特征在于，在对计算后的数据通过HBase进行存储，之后还包括：

通过SQL对数据进行查询，或者通过JDBC方式对数据进行访问。

7.根据权利要求6所述的基于供热大数据云平台的数据处理方法，其特征在于，在获取供热物联网设备数据，之前还包括：

获取热力用户存储数据请求；

根据所述请求对热力用户进行授权操作。

8.根据权利要求7所述的基于供热大数据云平台的数据处理方法，其特征在于，所述将所述供热物联网设备数据通过Kafka进行数据缓存，具体包括：

将所述供热物联网设备数据通过REST API上传至Kafka后进行数据缓存。

9.根据权利要求8所述的基于供热大数据云平台的数据处理方法，其特征在于，所述对缓存的数据通过Flink进行计算，具体包括：

对缓存的数据通过Flink进行逻辑格式转换处理、数据关联处理、数据融合处理、数据统计处理中的一种或多种。

Images