CN102096684A - 电网实时数据集成与共享平台 - Google Patents

Abstract

本发明公开了一种电网实时数据集成与共享平台，该平台包含两个子系统：实时数据的信息集成平台和基于所述的集成平台的数据共享平台，两个子系统之间通过软件总线相联；所述的信息集成平台通过适配器采集设置在各电网企业的源数据库中的数据，存入数据仓库，供所述的共享平台使用。本发明为不同类型的源数据配置不同的适配器，解决了目前电网企业数据不统一难以整合的问题，同时数据仓库采用横纵表结构，将数据表的每一列对应一个测点、存储该测点的记录数据，这种存储方式消除了数据冗余，数据库存储空间的利用率提高，有利于数据挖掘。

Description

电网实时数据集成与共享平台

技术领域

本发明涉及数据集成与共享领域，尤其涉及一种电网实时数据集成与共享平台。

背景技术

在电网越来越大、越来越复杂的形势下，电网运行的安全稳定，尤其是电网的优化运行已不仅是调度运行人员责任，而是企业管理层、决策层人员共同的责任。电网运行的实时数据不仅调度人员需要，而且企业各级管理人员都需要。在电网企业的遗留系统普遍缺乏统一数据规划的形势下，如何把当前企业各应用子系统中的数据进行规范化的处理和转储形成视图，建立数据仓库，再在数据仓库的基础上，针对企业的应用需求建立主题数据库，进行数据挖掘，提供一个统一、透明的数据共享服务，以满足企业的各种数据应用需求，成为电网实时数据整合的关键问题。现有的技术都是通过编写专门的计算机接口程序或者人工汇总录入的方式实现电网数据的整合，数据的一致性、完整性和时效性现有技术都难以得到保障。

发明内容

本发明的目的在于提供一种实现一个多源异构数据的集成与共享的电网实时数据集成与共享平台。

为了实现上述目的本发明采用的技术方案如下：

本发明电网实时数据集成与共享平台包含两个子系统：实时数据的信息集成平台和基于所述的集成平台的数据共享平台，两个子系统之间通过软件总线相联；

所述的信息集成平台包含：

源数据库：分散于电网企业的电网数据系统中，负责存储电网数据系统采集的原始数据；

适配器：负责接收所述源数据库中的原始数据，包括三种类型：关系型数据库通用数据集成适配器，负责处理各类关系型数据；文本型数据适配器，负责处理文本类型的数据源文件；实时数据适配器，负责采集实时数据的收集；

目标库：为分布式的数据库，负责暂时存储所述实时数据适配器收集的数据；

数据仓库：为用于集中存储所述各适配器采集的数据的数据库；

归档程序：对所述目标库中的实时数据进行处理，把处理过的数据存入所述数据仓库；

所述的数据共享平台包括源数据管理模块：用来管理系统平台中的源数据，包括实时数据源和需要采集的测点的配置，适配器的配置以及适配器对应的目标库配置、归档信息配置；

所述的信息集成平台还包括任务分配和负载平衡模块：根据所述的源数据管理模块预先定义好的各类元数据信息，初始化执行环境，生成各项任务；对电网实时数据的采集任务进行分配和负载平衡，为各项任务分配合适的数据访问适配器和目标库，把所述的关系型数据库通用数据集成适配器和文本型数据适配器采集的数据直接通过软件总线存入所述数据仓库，把所述实时数据适配器采集的数据送到分配好的目标库。

所述的关系型数据库通用数据集成适配器包括：

数据源配置模块：根据用户的指令添加数据源配置、修改数据源配置、新添数据类型；

方案配置模块：用来实现添加数据采集、传输、处理方案、删除方案、管理方案、执行方案功能；

任务调度及监控模块：负责调用方案配置模块定义的任务，并监控任务的整个执行过程；

日志模块：用来记录系统日志、报警日志、历史日志，系统日志包含平台启动后的所有日志信息；报警日志包含所有报警方案的信息；历史日志查看中包括查看历史系统日志和历史报警日志；所有的日志信息，是以天为单位，进行分类写入文本文件；

所述的实时数据适配器包含缓冲管理器和通讯控制模块，所述通讯控制模块接受来自所述的任务分配和负载平衡模块指令，控制缓冲管理器的写、读线程。

所述的数据仓库存储测点基本信息的基本信息表采用静态表结构数据表；存储测点的记录数据采用至少一张横纵表结构、动态数据存储模式的数据表，数据表的每一列对应一个测点、存储该测点的记录数据，数据表的每一行存储某个时刻所有列对应的测点的数据。

所述的数据共享平台还包括：

统一权限控制模块，用来实现统一的数据访问控制，所述的统一权限控制模块中设置多个角色，每个角色对应一定的功能，每个用户没有或者拥有一个或者拥有多个角色，子角色继承父角色拥有的所有功能；

所属的统一权限控制模块中还设置IP访问控制列表，用来配置允许访问的IP和允许访问部分功能的IP，如果某个IP不允许访问，则不再该表中出现；或者先配置一个网段可以访问，然后再禁止其中某一个需要禁止的IP。

本发明的有益效果如下：

本发明实现了一个多源异构数据集成与共享平台，提供对不同数据类型、不同时间响应要求、不同数据源的数据进行规约化处理、标准化传输、同一性存储的数据集成功能；同时提供高性能数据存取调度功能，满足各种响应速度的应用要求，为不同类型的数据源提供相应的“数据适配器”，为不同的数据采集提供实时的处理响应，为不同的数据访问提供访问接口。同时，提供统一的数据访问控制，提供标准的元数据管理，实时监视平台的运行状况和合理配置和管理平台资源。

附图说明

图1为本发明电网实时数据集成与共享平台体系结构图；

图2为主细表迁移模式图；

图3为分布式目标库结构图。

具体实施方式

参见附图1，本发明包括两大部分：实时数据的信息集成平台和基于集成平台的数据共享平台，两个平台子系统之间通过软件总线相联；其中，所述的信息集成平台包含：源数据库、适配器、目标库、归档程序、数据仓库、任务分配和负载平衡模块，所述的源数据库可以是文本库、关系库、实时库，针对不同的数据库，适配器包含关系型数据库通用数据集成适配器、文本型数据适配器、实时数据适配器；所述的数据共享平台包括：源数据管理模块，统一权限控制模块，报表和其他业务模块可以按需开发，通过软件总线方便快捷的集成到系统中。

系统工作时，源数据管理模块接受用户的指令，配置实时数据源和需要采集的测点的配置，适配器的配置以及适配器对应的目标库配置、归档信息配置一系列信息，任务分配和负载平衡模块根据源数据管理模块中的配置信息，初始化执行环境，生成各项任务，并为各项任务分配合适的数据访问适配器和目标库，关系型数据库通用数据集成适配器和文本型数据适配器根据所述任务分配和负载平衡模块的指令将采集到的数据通过软件总线直接存储到数据仓库，实时数据适配器采集的数据则在任务分配和负载平衡模块的指令下，首先存入目标库，归档程序在对目标库中的实时数据处理以后存入数据仓库。

所述的关系型数据库通用数据集成适配器处理的关系型数据可以是ORACLE、SQLSERVER、Access、DB2、SYSBASE等类型。

所述的关系型适配器中方案配置模块可以配置的方案包括三类，分别是：通用单表映射方案、通用多表映射方案和单独映射方案，用户可以选择方案的类型，方案的执行周期，平台可以根据字段的名称，匹配源表与目的表字段间的映射关系，也能够人工地进行配置。

所述的通用单表映射方案包括全量更新模式、增量模式、主细表模式。

所述的全量更新模式是将源数据表中的数据整体向目的表迁移，主要用于静态数据表的更新，通过关键字段“逐条比对”，如果关键字段值在目的表中已存在，则更新目的表对应记录的相应值，否则插入记录。全量模式自定义表达式如下：

Total＝{key＝#，Condition＝#；#}

其中”#”代表默认不设置情况；key对应目的表的主键ID的生成规则，比如针对Oracle数据库可设定一个序列名key＝seq_salt，condition为源表的数据筛选条件，用于“逐条比对”，通过“；”分隔可设置多个条件，比如Condition＝name；age，其中name和age代表源表的两个条件字段。

所述的增量模式，即保证在上一次已经传输过的数据只要在这期间没有任何变动，下一次传输时将被忽略，由于数据源的异构性，当前的技术难以实现通用的增量数据抽取。针对电网数据的特点，本发明通过增量标识字段逐条比对的的方式来实现，所述的增量标识字段是时间戳字段或者ID自增字段或者任何具有增量性质的字段，如果数据源表不含具有增量性质的字段，则采用关键字段“逐条比对”的方式实现数据迁移，所述的关键字段为组合成主键的字段，如果关键字段值在目的表中已存在则忽略此记录，否则插入新记录。增量模式表达式如下：

Incremental＝{key＝#，Condition＝#；#，Inc＝#}

式中“Inc”用来标识增量字段，比如“Inc＝YMD”，表示将“YMD”时间字段作为增量标识字段；任务执行完毕后，系统将记录“YMD”字段的当前值以供下次任务执行时生成sq1语句。比如“select*from saltreal where YMD＞2009-02-2608:30:20”，其中“2009-02-2608:30:20”就是系统记录的“YMD”字段的值。

所述的主细表迁移模式，在数据库应用系统的开发过程中，往往用外码来保证参照实体间的数据一致性，这种有参照关系的表称为主细表。主细表模式可以保证数据的完整性，一致性，可用性，避免“脏”数据的产生，具有很高的实用意义。主细表模式表达式如下：

Main-sub＝{Key＝#，Inc＝#，condition＝#；#

MT＝#，SF＝#:#；#:#，RF＝#:#}

MT对应的是主表名(静态信息表)；SF对应源表字段与主表字段的映射关系；RF对应主表字段与细表字段的映射关系；在向细表进行数据迁移执行过程中将根据SF的设置查询主表，并根据RF的设置将查询结果集映射到细表中。

参见附图2，如上图例所示：“MT＝TOWERLEANINFOR，SF＝线路号：LINE；Sim：PHONE，RF＝ID：PRIMARY_ID，Key＝seq_email.nextval，Inc＝时间，condition＝TIME；”TOWERLEANINFOR是主表名；线路号：LINE表示源表的线路号字段和动态表的LINE字段对应；ID：PRIMARY_ID表示静态表ID与动态表PID的对应；seq_email.nextval是目的表数据库中的序列；TIME是目的表的条件字段，判断该数据是否已经导入；“时间”是源表增量字段。

所述的通用多表映射方案是为了提高系统的应用性能而对通用单表任务的一个扩展，多表方案是将更新频度相近且实时性要求不高的若干任务组成一个组方案，组方案中的各个任务共享一个线程顺序执行。

所述的单独映射方案，是指对于系统中尚未定义的某种类型的数据迁移与同步任务，用户可以编写独立的程序，并将其打成jar包供系统调用执行。

所述的目标库为分布式的数据库，保存经实时数据适配器处理过的数据，提供给上层的应用系统和归档程序使用。目标库设计为分布式的数据库，可以快速响应业务系统的实时性要求和归档程序的归档请求。

参见附图3，目标库在逻辑上是分布式的数据库，其物理上可以是一个或几个数据库系统构成，可以通过元数据管理来动态调整和分配每个适配器对应的目标数据库。其目的是满足应用系统对实时数据的高实时性要求，以及防止网络故障情况下直接存储数据仓库而造成历史数据的丢失，对实时数据进行“暂存”。目标库通常存储5分钟内的电网运行实时数据(具体时间通过元数据进行配置)，数据归档程序将其处理处理完毕后立即清除，数据检索具有很高的响应速度。

所述的数据仓库存储测点基本信息的基本信息表采用静态表结构数据表，所谓静态表是指数据表及表结构、表中的内容相对不变的数据表。在实时数据存储设计中，用静态表描述和记录各个监测点的基本信息。所述的基本信息表可以分为Measeure表和MeasureClass表两类。Measure表记录了测点的基本信息：测点的名称，测点的编码，测点分类，测点值的上下限、单位及数据精度，测点值对用的表ID及字段ID。MeasureClass表将系统的各类测点进行了归类。

所述的数据仓库存储测点的记录数据采用至少一张横纵表结构数据表，数据表的每一列对应一个测点、存储该测点的记录数据，数据表的每一行存储某个时刻所有列对应的测点的数据。通常电网实时数据管理系统所采用的表结构是纵表结构，即每一行对应一个测点，一条记录存储一个测点的信息。在没有历史数据存储的的情况下，采用纵向表结构是方便的，但在以历史数据存储为重点的实时数据应用系统中，采用纵向表结构就会使数据存储、数据使用，尤其是数据挖掘带来困难。而且，在本发明这种存储模式下，消除了数据冗余，数据库存储空间的利用率高。

在存储测点数据之前，通过所述的元数据管理模块配置测点数据所存储的表号和列号。

所述的归档程序将目的库中的实时数据按照横纵表结构规则进行归档，存入数据仓库，为数据挖掘提供保障。归档任务可以手工执行和自动执行，实现数据的自动复制，批量处理，定时处理。

所述的统一权限控制模块中设置多个角色，每个角色对应一定的功能，每个用户可以拥有一个或者多个角色，子角色继承父角色拥有的所有功能。

所属的统一权限控制模块中还设置IP访问控制列表，用来配置允许访问的IP和允许访问部分功能的IP，如果某个IP不允许访问，则不再该表中出现；或者先配置一个网段可以访问，然后再禁止其中某一个需要禁止的IP；所有IP只有在该表中出现且允许才能访问，如果某个IP出现在该表中但某个功能ID被禁止，则该功能无法访问；IP访问控制列表如表1所示：

表1IP访问控制列表

IP列表	功能Id	用户Id	允许/禁止
				127.0.0.1	*	*	Permit
127.0.0.*	*	*	Forbid

Claims (10)

1.电网实时数据集成与共享平台，其特征在于：包含两个子系统：实时数据的信息集成平台和基于所述的集成平台的数据共享平台，两个子系统之间通过软件总线相联；

所述的信息集成平台包含：

源数据库：分散于电网企业的电网数据系统中，负责存储电网数据系统采集的原始数据；

适配器：负责接收所述源数据库中的原始数据，包括三种类型：关系型数据库通用数据集成适配器，负责处理各类关系型数据；文本型数据适配器，负责处理文本类型的数据源文件；实时数据适配器，负责采集实时数据的收集；

目标库：为分布式的数据库，负责暂时存储所述实时数据适配器收集的数据；

数据仓库：为用于集中存储所述各适配器采集的数据的数据库；

归档程序：对所述目标库中的实时数据进行处理，把处理过的数据存入所述数据仓库；

所述的数据共享平台包括源数据管理模块：用来管理系统平台中的源数据，包括实时数据源和需要采集的测点的配置，适配器的配置以及适配器对应的目标库配置、归档信息配置；

所述的信息集成平台还包括任务分配和负载平衡模块：根据所述的源数据管理模块预先定义好的各类元数据信息，初始化执行环境，生成各项任务；对电网实时数据的采集任务进行分配和负载平衡，为各项任务分配合适的数据访问适配器和目标库，把所述的关系型数据库通用数据集成适配器和文本型数据适配器采集的数据直接通过软件总线存入所述数据仓库，把所述实时数据适配器采集的数据送到分配好的目标库。

2.权利要求1所述的电网实时数据集成与共享平台，其特征在于：所述的关系型数据库通用数据集成适配器包括：

数据源配置模块：根据用户的指令添加数据源配置、修改数据源配置、新添数据类型；

方案配置模块：用来实现添加数据采集、传输、处理方案、删除方案、管理方案、执行方案等功能；

任务调度及监控模块：负责调用方案配置模块定义的任务，并监控任务的整个执行过程；

日志模块：用来记录系统日志、报警日志、历史日志，系统日志包含平台启动后的所有日志信息；报警日志包含所有报警方案的信息；历史日志查看中包括查看历史系统日志和历史报警日志；

3.权利要求2所述的电网实时数据集成与共享平台，其特征在于：所述的关系型适配器中方案配置模块的配置方案包括通用单表映射方案，所述的通用单表映射方案采用全量更新模式用于静态数据表的更新，将关键字段“逐条比对”，如果关键字段值在目的表中已存在，则更新目的表对应记录的相应值，否则插入记录。

4.权利要求2所述的电网实时数据集成与共享平台，其特征在于：所述的通用单表映射方案的更新模式包括增量模式，通过增量标识字段逐条比对的的方式来实现，所述的增量标识字段是时间戳字段或者ID自增字段或者任何具有增量性质的字段，如果数据源表不含具有增量性质的字段，则采用关键字段“逐条比对”的方式实现数据迁移，所述的关键字段为组合成主键的字段，如果关键字段值在目的表中已存在则忽略此记录，否则插入新记录。

5.权利要求2所述的电网实时数据集成与共享平台，其特征在于：所述的通用单表映射方案的更新模式包括主细表模式。

6.权利要求2所述的电网实时数据集成与共享平台，其特征在于：所述的关系型适配器中方案配置模块的配置方案包括通用多表映射方案，所述的通用多表映射方案将更新频度相近且实时性要求不高的若干任务组成一个组方案，组方案中的各个任务共享一个线程顺序执行。

7.权利要求1所述的电网实时数据集成与共享平台，其特征在于：所述的实时数据适配器包含缓冲管理器和通讯控制模块，所述通讯控制模块接受来自所述的任务分配和负载平衡模块指令，控制缓冲管理器的写、读线程。

8.权利要求1所述的电网实时数据集成与共享平台，其特征在于：所述的数据仓库存储测点基本信息的基本信息表采用静态表结构数据表；存储测点的记录数据采用至少一张横纵表结构、动态数据存储模式的数据表，数据表的每一列对应一个测点、存储该测点的记录数据，数据表的每一行存储某个时刻所有列对应的测点的数据。

9.权利要求8所述的电网实时数据集成与共享平台，其特征在于：所述的基本信息表分为Measeure表和MeasureClass表两类，Measure表记录了测点的基本信息：测点的名称，测点的编码，测点分类，测点值的上下限、单位及数据精度，测点值对用的表ID及字段ID，MeasureClass表将系统的各类测点进行了归类。

10.权利要求1所述的电网实时数据集成与共享平台，其特征在于：所述的数据共享平台还包括：

统一权限控制模块，用来实现统一的数据访问控制，所述的统一权限控制模块中设置多个角色，每个角色对应一定的功能，每个用户没有或者拥有一个或者拥有多个角色，子角色继承父角色拥有的所有功能；

所属的统一权限控制模块中还设置IP访问控制列表，用来配置允许访问的IP和允许访问部分功能的IP，如果某个IP不允许访问，则不再该表中出现；或者先配置一个网段可以访问，然后再禁止其中某一个需要禁止的IP。

Images