CN108197162B - 呈现业务交易情况的系统和方法 - Google Patents

Abstract

本发明提供了一种呈现业务交易情况的系统和方法，包括接收数据请求任务，并获取数据请求任务的配置；将接收到的多时间段数据请求任务拆分成多个单时间段数据请求任务，若缓存中存储有对应的单时间段数据请求任务的上次缓存的数据，就将此单时间段数据请求任务转换成数据增量请求任务并执行，获取增量数据；将增量数据与缓存数据进行聚合得到聚合数据，将聚合数据发送至缓存替换上次的缓存数据；根据配置的数据组合类型，将多个单时间段数据请求任务的聚合数据两两组合成多时间段数据。本发明能够提供多时间段数据关联和组合功能、可配置并且丰富直观的交易数据呈现方式，且使用增量数据查询方法，解决大量数据性能问题。

Description

呈现业务交易情况的系统和方法

技术领域

本发明涉及数据处理技术领域，具体地，涉及一种呈现业务交易情况的系统和方法。

背景技术

随着技术的发展，运维人员的运维数据已经从简单的网络指标变成真正的业务交易数据，交易数据指按设定的交易纬度聚合指标而成的数据，有了业务交易数据，运维人员需要从业务的角度去理解数据指标，这些指标包括交易量，成功率，响应率等。

当前的业务交易数据呈现系统一般只是单个交易指标的展示，比如某个业务在某个时间段的总交易量，而运维人员需要关注从数据呈现系统中看到交易趋势，或者特别关注某些纬度的数据，这要求交易数据灵活的聚合，比如多时间段数据按纬度关联并且聚合，如果仅仅是单个时间段的交易指标，或者多个时间段的交易指标的堆砌，如果当前的交易情况发生异常，比如同期交易量下降很严重，运维人员并不能直观快速的了解问题的发生以及问题发生的严重性，从而影响运维人员对交易事故的响应速度和决策正确性。

另外，运维人员会需要事实查看很长一个时间段的数据，比如一星期以前至今的数据，如果每次都向数据服务器请求全量数据，往往对数据服务器造成的压力会很大，数据查询速度会很慢。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种呈现业务交易情况的系统和方法。

根据本发明提供的一种呈现业务交易情况的系统，包括配置管理模块、数据请求模块、缓存管理模块以及数据聚合模块；

所述配置管理模块：加载和解析配置文件；

所述数据请求模块：从所述配置管理模块获取数据请求任务的配置，将多时间段数据请求任务拆分成多个单时间段数据请求任务，若所述缓存管理模块中存有对应的单时间段数据请求任务上次缓存的数据，就将对应的单时间段数据请求任务转换成数据增量请求任务并执行，将获取的返回数据输出至所述数据聚合模块；

所述数据聚合模块：聚合单时间段数据请求任务的缓存数据和返回数据，得到聚合数据，并将聚合数据发送至所述缓存管理模块进行替换存储，根据配置的数据组合类型，将多个单时间段数据请求任务的聚合数据两两组合成多时间段数据。

优选的，还包括前端显示模块，所述前端显示模块接收所述数据聚合模块组合的多时间段数据，并显示到对应的显示子模块中。

优选的，所述显示子模块包括有logo子模块、翻页计数子模块、表格子模块、热力图子模块、商业区块子模块以及文本标签子模块，所述显示子模块展现所述数据聚合模块的数据。

优选的，所述数据组合类型包括关联维度组合以及总量组合。

优选的，所述的将对应的单时间段数据请求任务转换成数据增量请求任务包括将单时间段数据请求任务的时间改成增量时间。

根据本发明提供的一种呈现业务交易情况的方法，包括：

接收数据请求任务，并获取数据请求任务的配置；将接收到的多时间段数据请求任务拆分成多个单时间段数据请求任务，若缓存中存储有对应的单时间段数据请求任务的上次缓存的数据，就将此单时间段数据请求任务转换成数据增量请求任务并执行，获取增量数据；

将增量数据与缓存数据进行聚合，将聚合数据发送至缓存替换上次的缓存数据；

根据配置的数据组合类型，将多个单时间段数据请求任务的聚合数据两两组合成多时间段数据。

优选的，包括步骤：

S1、接收数据请求任务，并获取数据请求任务的配置；

S2、判断接收到的数据请求任务是否为多时间段数据请求任务，若判断结果为是，则执行S3，若判断结果为否，则执行S4；

S3、将多时间段数据请求任务拆分成多个单时间段数据请求任务；

S4、执行单时间段数据请求任务；

S5、判断缓存中是否存储有对应的单时间段数据请求任务的上次缓存的数据，若判断结果为是，则执行S6，若判断结果为否，则执行S7；

S6、将此单时间段数据请求任务转换成数据增量请求任务；

S7、执行任务，得到返回数据；

S8、聚合单时间段的缓存数据和返回数据，得到聚合数据，将聚合数据发送至缓存进行替换存储；根据配置的数据组合类型，将多个单时间段数据请求任务的聚合数据两两组合成多时间段数据。

优选的，还包括将组合成的多时间段数据进行显示。

优选的，所述数据组合类型包括关联维度组合以及总量组合。

优选的，所述的将对应的单时间段数据请求任务转换成数据增量请求任务包括将单时间段数据请求任务的时间改成增量时间。

与现有技术相比，本发明具有如下的有益效果：

1)提供多时间段数据关联和组合功能；

2)可配置并且丰富直观的交易数据呈现方式；

3)使用增量数据查询方法，解决大量数据性能问题。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明提供的一种呈现业务交易情况的系统模块图；

图2为本发明数据请求模块的工作流程图；

图3为关联维度组合方法示例图；

图4为总量组合方法示例图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

如图1所示，本发明提供的一种呈现业务交易情况的系统，包括配置管理模块1、数据请求模块2、缓存管理模块3、数据聚合模块4以及前端显示模块5。

置管理模块1：

1)加载和解析配置文件；

2)配置文件序列化和反序列化。

数据请求模块2：

1)将多时间段数据请求任务拆分成单时间段数据请求任务；

2)根据缓存管理模块3的数据，将单时间段数据请求任务转化成数据增量请求任务；

3)执行任务，获取返回数据；

4)将返回数据输出到数据聚合模块4、前端显示模块5。

缓存管理模块3：

1)存放上一次单段时间数据请求模块返回的数据和具体时间段。

数据聚合模块4：

1)聚合单时间段数据请求任务的缓存数据和增量数据，得到聚合数据；

2)根据配置的数据组合类型，将多个单时间段数据请求任务的聚合数据两两组合成多时间段数据。

前端显示模块5：

1)布局各子显示模块，子显示模块包括有logo子模块，翻页计数子模块，表格子模块，热力图子模块，商业区块子模块，文本标签子模块；

2)展现数据。

通过本系统可以获取多时间段的业务交易数据，并且将数据比率直观快速的呈现给运维人员。

本发明的具体工作流程如下：

配置：配置数据请求任务、前端显示布局及显示子模块，前端布局可以配置横向和纵向布局，并且可以嵌套，可以配置选择的显示子模块包括logo子模块，翻页计数子模块，表格子模块，热力图子模块，商业区块子模块，文本标签子模块，比如可以配置一个纵向布局内部嵌套三个横向布局，第一个横向布局内部放一个商标子模块，一个翻页计数子模块，第二个横向布局内部依次放一个表格模块，一个热力图模块和另一个表格模块，第三个横向布局内部放一个商业区块子模块。

加载和解析配置文件，并把配置发送到数据请求模块2和前端显示模块5，前端显示模块5根据配置渲染不带数据的各个显示子模块，并且按照布局显示各子模块，此后前端按照一定间隔向数据请求模块请求数据。

如图2所示，数据请求模块2的工作流程如下：

S1、数据请求模块2接收来自前端显示模块5的数据请求任务，并从置管理模块1获取数据请求任务的配置；

S2、数据请求模块2判断接收到的数据请求任务是否为多时间段数据请求任务，若判断结果为是，则执行S3，若判断结果为否，则执行S4；

S3、将多时间段数据请求任务拆分成多个单时间段数据请求任务；

S4、执行单时间段数据请求任务；

S5、判断缓存管理模块3中是否存储有对应的单时间段数据请求任务的上次缓存的数据，若判断结果为是，则执行S6，若判断结果为否，则执行S7；

S6、将此单时间段数据请求任务转换成数据增量请求任务，根据缓存数据的时间区间和单时间段数据请求任务的时间区间，计算出增量数据时间，比如缓存数据时间段的起始时间为0时0分0秒，结束时间为10时0分0秒，而单时间段数据请求任务的时间段的起始时间为0时0分0秒，结束时间为10时1分0秒，那么就将该任务的时间段设为10时0分0秒至10时1分0秒；

S7、执行任务，得到返回数据，如果步骤S5中的判断结果为是，那么这里的返回数据即增量数据。

数据聚合模块4将缓存数据和返回数据进行聚合，将聚合数据发送至缓存管理模块3进行替换存储；根据配置的数据组合类型，就按图3的方式组合，将多个单时间段数据请求任务的聚合数据两两组合成多时间段数据，如果配置的是关联维度聚合方式，以唯一的维度值作为Key，将维度值相同的记录俩俩组合成一条记录，如图3所示，比如数据集1由2列组成，第一列是维度，第二列是指标1，有两条数据，分别是(A,100)和(B,1000)，数据集2也是由2列组成，第一列是和数据集1相关联的维度，第二列是指标2，同有2条数据，分别是(A,9)和(B,90)，在对数据集1和数据集2进行关联维度聚合的时候，由于数据集2第一条数据(A,9)的维度值A和数据集1的第一条数据(A,100)的维度值A相等，这2条记录就会组合成一条记录(A,100,9)，当所有其它记录俩俩组合完成，整个聚合结束。如果是总量组合的方式则按图4的方式组合，忽略数据集2的所有维度列，对数据集2的所有指标列数据做求和操作得到所以指标的总量，数据集1与数据集2做笛卡尔积，如图4所示，比如数据集1由2列组成，第一列是维度，第二列是指标1，有两条数据，分别是(A,100)，(B，1000)，数据集2同由两列组成，第一列是维度，第二列是指标2，有两条数据，分别是(A,9),(C,90)。在组合时，忽略数据集2的所有维度值，然后将指标2的所有值做求和操作得到中间数据集3，中间数据集3只有一列指标2，一条记录(99)，然后数据集1和中间数据集3做笛卡尔积，得到结果数据集。最后把数据返回给前端显示模块5。

前端显示模块5接收到数据聚合模块4返回的数据，将数据显示到对应的显示子模块中,由于在数据聚合模块4已经将多个时间段的数据组合到一起，前端显示模块5可以显示某维度的同比环比比率，某维度占所有维度的总比比率等等。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (6)

1.一种呈现业务交易情况的系统，其特征在于，包括配置管理模块、数据请求模块、缓存管理模块以及数据聚合模块；

所述配置管理模块：加载和解析配置文件；

所述数据请求模块：从所述配置管理模块获取数据请求任务的配置，将多时间段数据请求任务拆分成多个单时间段数据请求任务，若所述缓存管理模块中存有对应的单时间段数据请求任务上次缓存的数据，就将对应的单时间段数据请求任务转换成数据增量请求任务并执行，将获取的返回数据输出至所述数据聚合模块；

所述数据聚合模块：聚合单时间段数据请求任务的缓存数据和返回数据，得到聚合数据，并将聚合数据发送至所述缓存管理模块进行替换存储，根据配置的数据组合类型，将多个单时间段数据请求任务的聚合数据两两组合成多时间段数据；

所述数据组合类型包括关联维度组合以及总量组合；

关联维度组合包括：以唯一的维度值作为Key，将维度值相同的记录俩俩组合成一条记录；

总量组合包括：忽略第二数据集的所有维度列，对第二数据集的所有指标列数据做求和操作得到中间数据集，第一数据集与中间数据集做笛卡尔积；

所述的将对应的单时间段数据请求任务转换成数据增量请求任务包括将单时间段数据请求任务的时间改成增量时间。

2.根据权利要求1所述的呈现业务交易情况的系统，其特征在于，还包括前端显示模块，所述前端显示模块接收所述数据聚合模块组合的多时间段数据，并显示到对应的显示子模块中。

3.根据权利要求2所述的呈现业务交易情况的系统，其特征在于，所述显示子模块包括有logo子模块、翻页计数子模块、表格子模块、热力图子模块、商业区块子模块以及文本标签子模块，所述显示子模块展现所述数据聚合模块的数据。

4.一种呈现业务交易情况的方法，其特征在于，采用权利要求1至3任一项所述的呈现业务交易情况的系统，执行包括：

接收数据请求任务，并获取数据请求任务的配置；将接收到的多时间段数据请求任务拆分成多个单时间段数据请求任务，若缓存中存储有对应的单时间段数据请求任务的上次缓存的数据，就将此单时间段数据请求任务转换成数据增量请求任务并执行，获取增量数据；

将增量数据与缓存数据进行聚合，将聚合数据发送至缓存替换上次的缓存数据；

根据配置的数据组合类型，将多个单时间段数据请求任务的聚合数据两两组合成多时间段数据；

所述数据组合类型包括关联维度组合以及总量组合；

所述的将对应的单时间段数据请求任务转换成数据增量请求任务包括将单时间段数据请求任务的时间改成增量时间。

5.根据权利要求4所述的呈现业务交易情况的方法，其特征在于，包括步骤：

S1、接收数据请求任务，并获取数据请求任务的配置；

S2、判断接收到的数据请求任务是否为多时间段数据请求任务，若判断结果为是，则执行S3，若判断结果为否，则执行S4；

S3、将多时间段数据请求任务拆分成多个单时间段数据请求任务；

S4、执行单时间段数据请求任务；

S5、判断缓存中是否存储有对应的单时间段数据请求任务的上次缓存的数据，若判断结果为是，则执行S6，若判断结果为否，则执行S7；

S6、将此单时间段数据请求任务转换成数据增量请求任务；

S7、执行任务，得到返回数据；

S8、聚合单时间段的缓存数据和返回数据，得到聚合数据，将聚合数据发送至缓存进行替换存储；根据配置的数据组合类型，将多个单时间段数据请求任务的聚合数据两两组合成多时间段数据。

6.根据权利要求4所述的呈现业务交易情况的方法，其特征在于，还包括将组合成的多时间段数据进行显示。

Images