[go: up one dir, main page]

CN105976120A - 一种电力运营监控数据质量评估系统及方法 - Google Patents

一种电力运营监控数据质量评估系统及方法 Download PDF

Info

Publication number
CN105976120A
CN105976120A CN201610326404.9A CN201610326404A CN105976120A CN 105976120 A CN105976120 A CN 105976120A CN 201610326404 A CN201610326404 A CN 201610326404A CN 105976120 A CN105976120 A CN 105976120A
Authority
CN
China
Prior art keywords
data
evaluation
data quality
quality
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610326404.9A
Other languages
English (en)
Inventor
刘贺
赵婷
李焕
王宇飞
郑晓崑
吴键
任世涛
陈江琦
袁豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Global Energy Interconnection Research Institute Co Ltd
State Grid Shanghai Electric Power Co Ltd
State Grid Corp of China SGCC
Original Assignee
Global Energy Interconnection Research Institute Co Ltd
State Grid Corp of China SGCC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Global Energy Interconnection Research Institute Co Ltd, State Grid Corp of China SGCC filed Critical Global Energy Interconnection Research Institute Co Ltd
Priority to CN201610326404.9A priority Critical patent/CN105976120A/zh
Publication of CN105976120A publication Critical patent/CN105976120A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种电力运营监控数据质量评估系统及方法，系统包括均独立执行脚本代码的数据集抽取模块、异常甄别模块和数据质量评估模块；方法包括从电力运营监控数据中心抽取所需的数据集；针对目标数据集，利用数据质量评估指标和约束规则甄别出异常电力数据，处理检查出的数据质量问题并确定评价方法，存储计算结果；获取数据质量评估指标的结果信息并选择可视化操作。本发明提出的系统及方法避免了现有数据质量评估过程中的问题，大大提高了整体数据质量评估效率；能够进行直观的量化评估和结果反馈，从而提供了系统全面的数据质量评估标准，保障数据的准确、及时、有效和可信，促进了电力运营监控数据质量的提升，进而提高了电力系统的运行稳定性。

Description

一种电力运营监控数据质量评估系统及方法
技术领域
本发明电力运营监测领域，具体涉及一种电力运营监控数据质量评估系统及方法。
背景技术
作为一种战略资源与生产要素的信息资源正在逐渐成为企业正常运转的基础,缺失、错误等异常数据必定产生错误或不准确的处理结果,导致错误或不准确的决策，对企业可能导致严重的甚至是致命的后果。因此，数据质量对于企业来说，显得至关重要。
电力运营监控数据具有体量大、类型多、速度快等特点，存在数据统计口径不一致、数据质量参差不齐、业务功能重复、数据质量管控滞后等问题。然而，针对数据质量问题，电力运营监控数据质量目前还没有形成统一的评估标准，缺乏数据质量核查和评价方法，严重影响数据资产化进程和数据深层次应用。
因此，亟需制定一种电力运营监控数据质量评估方法，用于完善和固化数据质量评估的通用准则。
发明内容
有鉴于此，本发明提供的一种电力运营监控数据质量评估系统及方法，该系统及方法避免了现有数据质量评估过程中一旦出错、需重新执行的问题，大大提高了整体数据质量评估效率；能够进行直观的量化评估和结果反馈，从而提供了系统全面的数据质量评估标准，保障数据的准确、及时、有效和可信，促进了数据质量的提升，进而提高了电力系统的运行稳定性。
本发明的目的是通过以下技术方案实现的：
一种电力运营监控数据质量评估系统，所述系统包括均独立执行脚本代码的数据集抽取模块、异常甄别模块和数据质量评估模块；
所述数据集抽取模块划分评估任务并进行数据集抽取；
所述异常甄别模块筛选数据质量问题，并进行数据质量评价和量化计算；
所述数据质量评估模块进行数据质量结果的可视化操作，输出数据质量报告。
优选的，所述数据集抽取模块从电力运营监控数据中心抽取所需的数据集，其中，所述数据集由任意组合的单个数据表或子表组成；所述数据集抽取模块包括数据质量评估任务单元、选择评估指标与规则单元及抽取目标数据集单元；
所述数据质量评估任务单元用于发布数据质量评估任务，所述数据质量评估任务包括若干子任务，每个所述子任务均为数据质量评估对象与评估指标的组合；
所述选择评估指标与规则单元根据用户需求，将相应的数据质量评估指标及约束规则添加到所述数据质量评估中；
所述抽取目标数据集单元基于所述数据质量评估指标和约束规则，获取需实施数据质量评估的目标数据集，形成数据质量问题的甄别任务。
优选的，所述异常甄别模块针对所述目标数据集，利用数据质量评估指标和约束规则甄别出异常电力数据，处理检查出的数据质量问题并确定评价方法，存储计算结果；所述异常甄别模块包括检查约束规则单元、异常数据定位与处理单元、确定评价方法单元及获取方法参数单元；
所述检查约束规则单元根据约束规则库，对所述目标数据集启动异常数据甄别任务，扫描数据对象并定位数据质量问题，将检查出的数据质量问题信息返回给异常数据处理模块；
所述异常数据定位与处理单元对数据质量问题信息的统计函数进行分类处理，将不同数据质量问题添加至相应评估指标对应的缓存数据库中；
所述确定评价方法单元用于确定数据质量评价计算方法；
所述获取方法参数单元用于提取缓存库中的所需统计信息，根据评价方法计算得到评价参数信息并缓存至结果数据库中。
优选的，所述数据质量评估模块根据异常甄别模块数据获取数据质量评估指标的结果信息，并选择可视化操作，输出数据质量评估报告，所述数据质量评估模块包括获取评估指标单元、选择可视化方式单元及评估报告单元；
所述获取评估指标单元根据评估任务提结果数据库中的评估结果信息，并发送至选择可视化方式单元；
所述选择可视化方式单元根据结果信息选择数据可视化方式，调整数据可视化参数，绘制可视化图形，输出到数据质量评估报告模块中；
所述评估报告单元根据预先设定的报告模板出具数据质量评估报告。
优选的，所述约束规则库包括数据质量评估指标单元及数据质量约束规则单元；
所述数据质量评估指标单元中的指标包括数据质量基础评估指标及数据质量扩展评估指标；
所述数据质量约束规则单元包括及时性规则、完整性规则、准确性规则、数据字典完备性规则及设计实现一致性规则。
一种电力运营监控数据质量评估方法，所述方法在一种电力运营监控数据质量评估系统中实现，所述系统包括均独立执行脚本代码的数据集抽取模块、异常甄别模块和数据质量评估模块；所述数据集抽取模块划分评估任务并进行数据集抽取；所述异常甄别模块筛选数据质量问题，并进行数据质量评价和量化计算；所述数据质量评估模块进行数据质量结果的可视化操作，输出数据质量报告；所述方法包括如下步骤：
步骤1.所述数据集抽取模块从电力运营监控数据中心抽取所需的数据集，其中，所述数据集由任意组合的单个数据表或子表组成；
步骤2.所述异常甄别模块针对所述目标数据集，利用数据质量评估指标和约束规则甄别出异常电力数据，处理检查出的数据质量问题并确定评价方法，存储计算结果；
步骤3.根据异常甄别模块数据获取数据质量评估指标的结果信息，并选择可视化操作，输出数据质量评估报告。
优选的，所述步骤1包括：
1-1.发布数据质量评估任务，所述数据质量评估任务包括若干子任务，每个所述子任务均为数据质量评估对象与评估指标的组合；
1-2.根据用户需求，将相应的数据质量评估指标及约束规则添加到所述数据质量评估中；
1-3.基于所述数据质量评估指标和约束规则，获取需实施数据质量评估的目标数据集，形成数据质量问题的甄别任务。
优选的，所述步骤2包括：
2-1.根据约束规则库，对所述目标数据集启动异常数据甄别任务，扫描数据对象并定位数据质量问题，将检查出的数据质量问题信息返回给异常数据处理模块；
2-2.对数据质量问题信息的统计函数进行分类处理，将不同数据质量问题添加至相
应评估指标对应的缓存数据库中；
2-3.确定数据质量评价计算方法；
2-4.提取缓存库中的所需统计信息，根据评价方法计算得到评价参数信息并缓存至结果数据库中。
优选的，所述步骤3包括：
3-1.根据评估任务提结果数据库中的评估结果信息，并发送至选择可视化方式单元；
3-2.根据结果信息选择数据可视化方式，调整数据可视化参数，绘制可视化图形，输出到数据质量评估报告模块中；
3-3.根据预先设定的报告模板出具数据质量评估报告。
优选的，所述2-4中的所述评价方法包括数据表级评价方法、任务表级评估量化计算方法及数据质量扩展指标评价方法；
所述数据表级评价方法包括数据表级质量评价结果数据方法和数据表级质量评价计算方法；
所述任务表级评估量化计算方法包括任务表级质量评估结果数据计算方法和任务表级质量评估量化计算方法；
所述数据质量扩展指标评价方法包括扩展级评估结果数据评价方法和扩展质量评估计算方法。
从上述的技术方案可以看出，本发明提供了一种电力运营监控数据质量评估系统及方法，系统包括均独立执行脚本代码的数据集抽取模块、异常甄别模块和数据质量评估模块；方法包括从电力运营监控数据中心抽取所需的数据集；针对目标数据集，利用数据质量评估指标和约束规则甄别出异常电力数据，处理检查出的数据质量问题并确定评价方法，存储计算结果；获取数据质量评估指标的结果信息并选择可视化操作。本发明提出的系统及方法避免了现有数据质量评估过程中的问题，大大提高了整体数据质量评估效率；能够进行直观的量化评估和结果反馈，从而提供了系统全面的数据质量评估标准，保障数据的准确、及时、有效和可信，促进了数据质量的提升，进而提高了电力系统的运行稳定性。
与最接近的现有技术比，本发明提供的技术方案具有以下优异效果：
1、本发明所提供的技术方案中，根据用户数据质量需求，将评估任务划分为数据表级和任务级进行数据集抽取；从目标数据集中检查和甄别出所有要求的数据质量问题，进行数据质量评价和量化计算；针对评估结果进行数据可视化操作，输出数据质量报告。其中，数据集抽取、异常甄别和数据质量评估模块的脚本代码将会相互独立执行，避免了现有数据质量评估过程中一旦出错、需重新执行的问题，大大提高了整体数据质量评估效率和容错能力。
2、本发明所提供的技术方案，构建了电力运监监控数据评估指标以及约束规则，并给出了数据质量评价的具体方法。其中，定义了基础性评估指标(及时性、完整性、准确性)和扩展性评估指标(数据字典完备性、设计实现一致性)，限定了业务及时性约束、传输及时性约束、非空约束、值域约束等约束规则，并对数据质量评估指标定义了具体的评价方法，能够进行直观的量化评估和结果反馈，从而提供了系统全面的数据质量评估标准，促进数据质量的提升。
3、本发明所提供的技术方案，电力运营监控数据质量评估指标给出了具体的数据质量评价方法与实现过程，通过统计信息量化电力数据在每个数据质量评估指标上的状态情况，进而得出评估数据集的质量情况，能够将抽象的电力运营监控数据质量评估转化为直观的量化评估结果反馈，实现了数据质量的定性和定量评估，提供了综合多维的数据质量评价方法。
4、本发明提供的技术方案，应用广泛，具有显著的社会效益和经济效益。
附图说明
图1是本发明的一种电力运营监控数据质量评估系统的示意图；
图2是本发明的系统中的数据质量评估指标和约束规则的关系示意图；
图3是本发明的一种电力运营监控数据质量评估方法的流程图；
图4是本发明的方法中步骤1的流程示意图；
图5是本发明的方法中步骤2的流程示意图；
图6是本发明的方法中步骤3的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供一种电力运营监控数据质量评估系统，系统包括均独立执行脚本代码的数据集抽取模块、异常甄别模块和数据质量评估模块；
数据集抽取模块划分评估任务并进行数据集抽取；
异常甄别模块筛选数据质量问题，并进行数据质量评价和量化计算；
数据质量评估模块进行数据质量结果的可视化操作，输出数据质量报告。
其中，数据集抽取模块从电力运营监控数据中心抽取所需的数据集，其中，数据集由任意组合的单个数据表或子表组成；数据集抽取模块包括数据质量评估任务单元、选择评估指标与规则单元及抽取目标数据集单元；
数据质量评估任务单元用于发布数据质量评估任务，数据质量评估任务包括若干子任务，每个子任务均为数据质量评估对象与评估指标的组合；
选择评估指标与规则单元根据用户需求，将相应的数据质量评估指标及约束规则添加到数据质量评估中；
抽取目标数据集单元基于数据质量评估指标和约束规则，获取需实施数据质量评估的目标数据集，形成数据质量问题的甄别任务。
其中，异常甄别模块针对目标数据集，利用数据质量评估指标和约束规则甄别出异常电力数据，处理检查出的数据质量问题并确定评价方法，存储计算结果；异常甄别模块包括检查约束规则单元、异常数据定位与处理单元、确定评价方法单元及获取方法参数单元；
检查约束规则单元根据约束规则库，对目标数据集启动异常数据甄别任务，扫描数据对象并定位数据质量问题，将检查出的数据质量问题信息返回给异常数据处理模块；
异常数据定位与处理单元对数据质量问题信息的统计函数进行分类处理，将不同数据质量问题添加至相应评估指标对应的缓存数据库中；
确定评价方法单元用于确定数据质量评价计算方法；
获取方法参数单元用于提取缓存库中的所需统计信息，根据评价方法计算得到评价参数信息并缓存至结果数据库中。
其中，数据质量评估模块根据异常甄别模块数据获取数据质量评估指标的结果信息，并选择可视化操作，输出数据质量评估报告，数据质量评估模块包括获取评估指标单元、选择可视化方式单元及评估报告单元；
获取评估指标单元根据评估任务提结果数据库中的评估结果信息，并发送至选择可视化方式单元；
选择可视化方式单元根据结果信息选择数据可视化方式，调整数据可视化参数，绘制可视化图形，输出到数据质量评估报告模块中；
评估报告单元根据预先设定的报告模板出具数据质量评估报告。
如图2所示，约束规则库包括数据质量评估指标单元及数据质量约束规则单元；
数据质量评估指标单元中的指标包括数据质量基础评估指标及数据质量扩展评估指标；
数据质量约束规则单元包括及时性规则、完整性规则、准确性规则、数据字典完备性规则及设计实现一致性规则；
及时性规则、完整性规则及准确性规则均为数据质量基础评估指标的规则；
数据字典完备性规则及设计实现一致性规则均为数据质量扩展评估指标的规则。
如图3所示，本发明提供一种电力运营监控数据质量评估方法，方法在一种电力运营监控数据质量评估系统中实现，系统包括均独立执行脚本代码的数据集抽取模块、异常甄别模块和数据质量评估模块；数据集抽取模块划分评估任务并进行数据集抽取；异常甄别模块筛选数据质量问题，并进行数据质量评价和量化计算；数据质量评估模块进行数据质量结果的可视化操作，输出数据质量报告；
包括如下步骤：
步骤1.数据集抽取模块从电力运营监控数据中心抽取所需的数据集，其中，数据集由任意组合的单个数据表或子表组成；
步骤2.异常甄别模块针对目标数据集，利用数据质量评估指标和约束规则甄别出异常电力数据，处理检查出的数据质量问题并确定评价方法，存储计算结果；
步骤3.根据异常甄别模块数据获取数据质量评估指标的结果信息，并选择可视化操作，输出数据质量评估报告。
如图4所示，步骤1包括：
1-1.发布数据质量评估任务，数据质量评估任务包括若干子任务，每个子任务均为数据质量评估对象与评估指标的组合；
1-2.根据用户需求，将相应的数据质量评估指标及约束规则添加到数据质量评估中；
1-3.基于数据质量评估指标和约束规则，获取需实施数据质量评估的目标数据集，形成数据质量问题的甄别任务。
如图5所示，步骤2包括：
2-1.根据约束规则库，对目标数据集启动异常数据甄别任务，扫描数据对象并定位数据质量问题，将检查出的数据质量问题信息返回给异常数据处理模块；
2-2.对数据质量问题信息的统计函数进行分类处理，将不同数据质量问题添加至相应评估指标对应的缓存数据库中；
2-3.确定数据质量评价计算方法；
2-4.提取缓存库中的所需统计信息，根据评价方法计算得到评价参数信息并缓存至结果数据库中。
如图6所示，步骤3包括：
3-1.根据评估任务提结果数据库中的评估结果信息，并发送至选择可视化方式单元；
3-2.根据结果信息选择数据可视化方式，调整数据可视化参数，绘制可视化图形，输出到数据质量评估报告模块中；
3-3.根据预先设定的报告模板出具数据质量评估报告。
其中，2-4中的评价方法包括数据表级评价方法、任务表级评估量化计算方法及数据质量扩展指标评价方法；
数据表级评价方法包括数据表级质量评价结果数据方法和数据表级质量评价计算方法；
任务表级评估量化计算方法包括任务表级质量评估结果数据计算方法和任务表级质量评估量化计算方法；
数据质量扩展指标评价方法包括扩展级评估结果数据评价方法和扩展质量评估计算方法。
本发明提供一种应用在电力运营监控数据质量评估系统中的电力运营监控数据质量评估方法的具体应用例，如下：
将电力运营监控数据划分为数据表级和任务级数据集，按照数据质量评估指标和约束规则，从源数据中提取目标数据集，进行全面的系统的数据质量评估。
1.数据质量评估系统
图1为本发明实施例的数据质量评估系统的示意图，包含数据集抽取模块、异常甄别模块和数据质量评估模块，具体实施过程如下：
(1)数据集抽取模块：以数据质量评估为指导，从电力运营监控数据中心抽取所需的数据集，其中，数据集由任意组合的单个数据表(或子表)所组成，主要包含以下部分：
a)数据质量评估任务：该模块主要发布数据质量评估任务。数据质量评估过程是以评估任务为单位，一个数据质量评估任务又可以包含若干子任务，一个子任务是数据质量评估对象与评估指标的组合。
b)选择评估指标与规则：根据用户需求，把相应的数据质量评估指标和数据质量约束规则(形式如：<评估指标1(规则1，规则2，...)>，<评估指标2(规则1，规则2，...)>，...)添加到评估任务模块中，为目标数据添加限定条件。
c)抽取目标数据集：该模块主要获取目标数据集。基于评估指标和约束规则，获取要实施数据质量评估的目标对象，从而形成数据质量问题的甄别任务。
(2)异常甄别模块：针对目标评估对象，利用评估指标和约束规则甄别出异常电力数据，处理检查出的数据质量问题，并确定评价方法，存储相关计算结果，主要包含以下部分：
a)检查约束规则：该模块主要涉及基于约束规则的数据质量检查函数。针对目标数据集，检查函数启动异常数据甄别任务，扫描数据对象，发现并定位数据质量问题，并将检查出的数据质量问题信息返回给异常数据处理模块。
b)异常数据处理：该模块主要涉及基于评估指标的统计函数。针对异常数据，统计函数进行分类处理，将不同数据质量问题添加相应评估指标对应的缓存数据库中，以供评价结果计算。
c)确定评价方法：该模块主要确定数据质量评价计算方法。根据评估指标，映射到具体的数据质量量化计算方式，为评价结果计算提供实际可行的方法，具体评价方法见下一节。
d)获取方法参数：该模块主要计算评价参数信息。根据b)和d)，提取缓存库中的所需统计信息，利用评价方法计算评估结果，并缓存到结果数据库中。
(3)数据质量评估模块：根据异常甄别模块数据，获取数据质量评估指标的结果信息，并选择可视化操作，输出数据质量评估报告，主要包含以下部分：
a)获取评估指标：该模块主要获取评估指标的结果信息。根据评估任务，提结果数据库中的评估结果信息，并反馈给可视化模块。
b)选择可视化方式：该模块主要进行数据可视化操作。根据结果信息，选择数据可视化方式，调整数据可视化参数，绘制可视化图形，输出到数据质量评估报告模块中。
c)评估报告：根据预先设定的报告模板，该模块出具数据质量评估报告，反映整体数据质量情况。
该发明的实施离不开数据中心、约束规则库和评估指标的支撑。数据中心存储所有的电力运营监控数据，所有评估数据集均是它的子集；约束规则库存储所有数据质量问题的判别规则，为数据质量评估提供标准；评估指标是数据质量评估的基本对象，直接对应不同的约束规则。有关约束规则和评估指标的详细情况见下一节。
2.数据质量评估指标及约束规则
A.数据质量评估指标
数据质量评估指标包含基础和扩展评估指标：
1)数据质量基础评估指标是判别数据质量的基本要素，包含三个方面：
a)及时性反映了数据对于应用领域的更新程度，包括业务层及时性和数据层及时性。前者关注各个业务状态是否及时更新，后者关注数据本身的及时更新情况。
b)完整性用来描述数值信息的完整程度。
c)准确性是描述待测数据与真实数据的符合程度，体现在合规性和一致性两方面。前者反映同一数据表内部字段上数据内容的合规程度，后者关注不同数据表之间字段上数据内容的一致程度。
2)数据质量扩展评估指标是与技术发展相关的数据质量评估要素，包含两个方面：
a)数据字典完备性反映了对于数据模型中的数据对象或者项目描述的完备程度。
b)设计实现一致性是描述业务数据的实际实现与顶层模型设计的一致程度。
B.数据质量约束规则
数据质量评估指标通过多个维度的约束规则进行描述。一个数据质量评估指标能被多个约束规则描述，一个约束规则能描述多个数据质量评估指标，具体关系如图2所示。
1)及时性
a)业务及时性约束规则：是对数据集的业务状态从发生到形成的滞后时间约束规则，体现为对所允许的数据滞后形成时间的定义。
b)传输及时性约束规则：是对数据集的业务数据从形成到进库的滞后时间约束规则，体现为对所允许的数据滞后进库时间的定义。
2)完整性
a)记录完整性约束规则：是对数据集数据长度的约束规则。一个数据集期望的数据记录数可以通过期望的值来进行约束，这个期望的值可以根据一定的业务需要进行计算。
b)字段完整性约束规则：是对记录之间字段连续取值的约束规则。一个数据集字段的值必须(或在满足某一条件时必须)出现连续的取值。
c)非空约束规则：是对字段上的空值的约束规则。字段上的数据内容(或字段值)不允许(或在满足某种条件时不允许)出现空值。
d)外键约束规则：是对数据集之间关联程度的约束规则，反映一个表的主键值需被另一个表的引用程度。
3)准确性
准确性包含合规性和一致性两方面，前者反映同一数据集质量，后者反映不同数据集质量。二者通过不同的约束规则进行评估，也通过相同约束规则(但不同维度)进行评估。其中，交叉约束规则有等值性和逻辑性存在性约束规则。
a)合规性
●值域约束规则：是对字段上的数据取值范围的约束规则。字段上的数据取值必须在某一范围内出现。
●类型约束规则：是对字段上的数据类型的约束规则。字段上的数据内容的数据类型必须与字段定义的数据类型相符合。
●格式约束规则：是对字段上的数据格式的约束规则。字段上的数据内容的数据类型必须与字段定义的数据格式相符合。
●精度约束规则：是对字段上的数据精度的约束规则。字段上的数据内容的数据类型必须与字段定义的精度相符合。
●等值性约束规则：是对记录内部字段上数据取值的约束规则。在同一记录上，该字段上的数据必须与另一个或多个字段上的数据通过函数计算得出结果相同。
●逻辑性约束规则：是对记录内部字段上数据取值逻辑关系的约束规则。在同一记录上，该字段上的数据必须与另一个或多个字段上的数据满足某种逻辑关系(如等于、大于、小于等)。
●唯一性约束规则：是对数据集内部是否存在重复记录的约束规则。一个数据表中的一条记录必须在该表内唯一，不允许重复记录出现。
b)一致性
●等值性约束规则：是对数据集之间字段上数据取值的约束规则。一个数据集字段上的数据取值必须与另一个或多个数据集的一个或多个字段的数据取值计算得出结果相同。
●逻辑性依赖约束规则：是对数据集之间字段上数据逻辑关系的约束规则。该字段上的数据必须与另一个或多个数据表中的一个字段上的数据满足某种逻辑关系(如等于、大于、小于等)。
●存在性依赖约束规则：是对数据集之间字段上的数据存在关系的约束规则。该字段上的数据必须在另一个或多个数据表中的一个字段上出现。
4)数据字典完备性
a)域完备性约束规则：是对数据字典上域(或子域)内容的整体说明的约束规则。数据字典必须对各个域(或子域)做出详细的解释说明。其中，数据字典是指对数据的数据项、数据结构、数据流、数据存储、处理逻辑、外部实体等进行定义和描述，其目的是对数据流程图中的各个评估指标做出详细的说明。
b)表完备性约束规则：是对数据字典上基本表设计的约束规则。数据字典必须(或在满足某一条件时必须)详细地定义和描述各个数据表的涵义。
c)字段完备性约束规则：是对数据字典上字段标准化的约束规则。数据字典必须(或在满足某一条件时必须)对所有字段予以统一的名称、格式和涵义。
5)设计实现一致性
a)表一致性约束规则：是对数据库中数据表实现的约束规则。数据库必须遵守数据字典规范实现每个数据表。
b)字段一致性约束规则：是数据表中字段实现的约束规则。数据表必须遵守数据字典规范实现每个数据字段。
c)关系一致性约束规则：是对数据库中对象关系实现的约束规则。数据库必须遵守数据字典规范实现每个对象关系。
3.数据质量评价方法
A.数据表级评价方法
该方法对单个数据表(或单个数据表的子表)组成的一个数据集进行质量评估指标计算，是数据质量评估的基本单位。
1)数据表级质量评价结果数据
首先，给出以下反映数据表级质量评估实际情况的结果数据：
a)问题分类数：在对一个数据集进行质量评估时，出现违反数据质量评估指标中约束规则种类的个数，记做Sq。
b)问题记录数：在对一个数据集进行质量评估时，存在违反数据质量评估指标中约束规则的记录个数，同一条记录出现多个违反约束规则的不重复计算，记做Rq。
c)问题数据个数：在对一个数据集进行质量评估时，存在违反数据质量评估指标中约束规则的记录个数，同一条记录出现多个违反约束规则的重复计算，记做Dq。
d)问题数据字段个数：在对一个数据集进行质量评估时，出现违反数据质量评估指标中约束规则的数据字段个数，一个字段违反多个约束规则不重复计算，记做Cq。
e)缺少数据字段个数：一个数据集中数据字典定义数据字段在实际数据字段中没有出现的个数，记做Cs。
f)多出数据字段个数：一个数据集中实际数据字段在数据字典定义数据字段中没有出现的个数，记做Ca。
g)冗余记录总数：记录数据完全重复的记录数，记做Rr。
h)实际冗余记录数：记录数据完全重复的不同数据内容个数，记做Rk。
2)数据表级质量评价计算方法
a)及时性：设Th为某次数据发生时间，Tf为数据形成时间，Ta为数据到达时间，业务及时性约束规则定义的滞后时间记做Td1，传输及时性约束规则定义的滞后时间记做Td2，业务滞后时间为：ΔTbus＝Tf-Th；业务及时性延迟为：传输滞后时间为：ΔTdata＝Ta-Tf；传输及时性延迟为：
b)完整性：完整性评估指标包括问题数据个数(Dq-int)，问题记录数(Rq-int)，缺少记录数(Rl-int)，冗余记录数(Rr-int)，实际冗余记录数(Rk-int)，缺少数据字段个数(Cq-int)，多出数据字段个数(Ca-int)，设Cr为数据集的记录数，Cqd为(一个数据集中)数据字典定义字段个数，Rqc-int为完整性问题记录覆盖率，记录完整性为：Scr＝(1-Rl-int/(Cr-Rr-int+Rk-int+Rl-int))×100％；结构完整性为：Scs＝(1-Cs-int/Cqd)×100％；数据完整性为：Scomp＝(1-Dq-int/Cr(Cqd-Cs-int+Ca-int))×100％
c)准确性：
●合规性：合规性的评估指标包括：问题分类数(Sq-com)，问题数据字段个数(Cq-com)，问题数据个数(Dq-com)，问题记录数(Rq-com)，缺少数据字段个数(Cs-com)，多出数据字段个数(Ca-com)，设Cr为数据集的记录数，Cqd为(一个数据集中)数据字典定义字段个数，Rqc-com为合规性问题记录覆盖率，那么数据合规性为：Sacc＝(1-Dq-com/Cr(Cqd-Cs-com+Ca-com))×100％
●一致性：一致性评估指标包括问题数据字段数(Cq-cons)，问题分类数(Sq-cons)，问题数据个数(Dq-cons)，问题记录数(Rq-cons)，缺少数据字段个数(Cs-cons)，多出数据字段个数(Ca-cons)，设Cr为数据集的记录数，Cqd为(一个数据集中)数据字典定义数据字段个数，Rqc为问题记录覆盖率，那么数据一致性为：Scons＝(1-Dq-cons/Cr(Cqd-Cs-cons+Ca-cons))×100％
B.任务表级评估量化计算
任务级评估指标方法是对预先定义的评估任务进行的汇总计算。一个评估任务针对包含一个或多个数据表(或数据表的子表)，且一个数据集可进行多个指标的评估。任务级评估首先按照数据表级评估指标方法进行计算，获得所有数据表(或子表)的参数后，按照任务级评估指标方法再完成针对任务的指标量化。
1)任务表级质量评估结果数据
首先，给出以下反映任务级质量评估实际情况的结果数据：
a)问题分类数：是多个数据集的问题分类数之和，记做其中n为数据集的个数。
b)问题记录数：是多个数据集的问题记录数之和，记做其中n为数据集的个数。
c)问题数据个数：是多个数据集的问题数据数之和，记做其中n为数据集的个数。
d)问题数据字段个数：是多个数据集的问题数据字段个数之和，记做
e)缺少数据字段个数：是多个数据集的缺少数据字段个数之和，记做
f)多出数据字段个数：是多个数据集的缺少数据字段个数之和，记做
g)冗余记录总数：是多个数据集的冗余记录个数之和，记做其中n为数据集的个数。
h)实际冗余记录数：是多个数据集的实际冗余记录个数之和，记做
其中n为数据集的个数
2)任务表级质量评估量化计算方法
a)及时性：设为相应数据发生时间，为相应数据形成时间，为相应数据到达时间，业务及时性约束规则定义的对应滞后时间记做传输及时性约束规则定义的对应滞后时间记做业务滞后时间为：ΔTbus＝Tf-Th；业务及时性延迟为：传输滞后时间为：ΔTdata＝Ta-Tf；传输及时性延迟为：其中n为数据集的个数。
b)完整性：完整性评估指标包括问题数据个数问题记录数冗余记录数实际冗余记录数缺少记录数缺少数据字段个数多出数据字段个数设Cr为一个数据集的记录数，Cqd为一个数据集数据字典定义数据字段个数，Cs为本数据集缺少数据字段个数，Rqc-int为本数据集的完整性问题记录覆盖率，记录完整性为：
结构完整性为：
数据完整性为：
其中n为数据集的个数。
c)准确性：
●合规性：合规性的评估指标包括：问题分类数问题数据字段个数问题数据个数问题记录数缺少数据字段个数多出数据字段个数设Cr为一个数据集的记录数，Cqd为本数据集数据字典定义数据字段个数，那么数据准确性为：
其中n为数据集的个数
●一致性：一致性评估指标包括问题数据字段数问题分类数问题数据个数问题记录数缺少数据字段个数多出数据字段个数设Cr为一个数据集的记录数，Cqd为本数据集中数据字典定义数据字段个数，Rqc为本数据集一致性问题记录覆盖率，那么数据一致性为：其中n为数据集的个数。
C.数据质量扩展指标评价方法
1)扩展级评估结果数据
首先，给出以下反映扩展级质量评估实际情况的结果数据：
a)问题分类数：是全部数据集的问题分类数之和，记做
b)问题数据字段个数：全部数据集的问题数据字段个数之和，记做
c)缺少数据字段个数：全部数据集的缺少数据字段个数之和，记做
d)多出数据字段个数：全部数据集的多出数据字段个数之和，记做
e)冗余记录总数：多个数据集的冗余记录个数之和，记做
f)实际冗余记录数：多个数据集的实际冗余记录个数之和，记做
其中n为数据字典定义的数据表数量。
2)扩展质量评估计算方法
a)数据字典完备性：完备性评估指标包括违背数据字段完备性约束规则的问题分类数问题域个数问题表个数问题数据字段个数设Cfield,Ctable,Cqd,Crela为分别为(一个数据集中)数据字典定义的域数量、表数量、数据字段数量、关系数量，那么域完备性为表完备性为字段完备性为其中n为数据字典定义的数据表数量。
b)设计实现一致性：完备性评估指标包括违背设计实现一致性性约束规则的问题分类数问题域个数问题表个数多出数据字段个数设Cfield,Ctable,Cqd,Crela为分别为(一个数据集中)数据字典定义的域数量、表数量、数据字段数量、关系数量，那么域设计实现一致性影响因子为表设计实现一致性影响因子为字段设计实现一致性影响因子为其中n为数据字典定义的数据表数量。
以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，而这些未脱离本发明精神和范围的任何修改或者等同替换，其均在申请待批的本发明的权利要求保护范围之内。

Claims (10)

1.一种电力运营监控数据质量评估系统，其特征在于，所述系统包括均独立执行脚本代码的数据集抽取模块、异常甄别模块和数据质量评估模块；
所述数据集抽取模块划分评估任务并进行数据集抽取；
所述异常甄别模块筛选数据质量问题，并进行数据质量评价和量化计算；
所述数据质量评估模块进行数据质量结果的可视化操作，输出数据质量报告。
2.如权利要求1所述的系统，其特征在于，所述数据集抽取模块从电力运营监控数据中心抽取所需的数据集，其中，所述数据集由任意组合的单个数据表或子表组成；所述数据集抽取模块包括数据质量评估任务单元、选择评估指标与规则单元及抽取目标数据集单元；
所述数据质量评估任务单元用于发布数据质量评估任务，所述数据质量评估任务包括若干子任务，每个所述子任务均为数据质量评估对象与评估指标的组合；
所述选择评估指标与规则单元根据用户需求，将相应的数据质量评估指标及约束规则添加到所述数据质量评估中；
所述抽取目标数据集单元基于所述数据质量评估指标和约束规则，获取需实施数据质量评估的目标数据集，形成数据质量问题的甄别任务。
3.如权利要求1所述的系统，其特征在于，所述异常甄别模块针对所述目标数据集，利用数据质量评估指标和约束规则甄别出异常电力数据，处理检查出的数据质量问题并确定评价方法，存储计算结果；所述异常甄别模块包括检查约束规则单元、异常数据定位与处理单元、确定评价方法单元及获取方法参数单元；
所述检查约束规则单元根据约束规则库，对所述目标数据集启动异常数据甄别任务，扫描数据对象并定位数据质量问题，将检查出的数据质量问题信息返回给异常数据处理模块；
所述异常数据定位与处理单元对数据质量问题信息的统计函数进行分类处理，将不同数据质量问题添加至相应评估指标对应的缓存数据库中；
所述确定评价方法单元用于确定数据质量评价计算方法；
所述获取方法参数单元用于提取缓存库中的所需统计信息，根据评价方法计算得到评价参数信息并缓存至结果数据库中。
4.如权利要求1所述的系统，其特征在于，所述数据质量评估模块根据异常甄别模块数据获取数据质量评估指标的结果信息，并选择可视化操作，输出数据质量评估报告，所述数据质量评估模块包括获取评估指标单元、选择可视化方式单元及评估报告单元；
所述获取评估指标单元根据评估任务提结果数据库中的评估结果信息，并发送至选择可视化方式单元；
所述选择可视化方式单元根据结果信息选择数据可视化方式，调整数据可视化参数，绘制可视化图形，输出到数据质量评估报告模块中；
所述评估报告单元根据预先设定的报告模板出具数据质量评估报告。
5.如权利要求3所述的系统，其特征在于，所述约束规则库包括数据质量评估指标单元及数据质量约束规则单元；
所述数据质量评估指标单元中的指标包括数据质量基础评估指标及数据质量扩展评估指标；
所述数据质量约束规则单元包括及时性规则、完整性规则、准确性规则、数据字典完备性规则及设计实现一致性规则。
6.一种电力运营监控数据质量评估方法，其特征在于，所述方法在一种电力运营监控数据质量评估系统中实现，所述系统包括均独立执行脚本代码的数据集抽取模块、异常甄别模块和数据质量评估模块；所述数据集抽取模块划分评估任务并进行数据集抽取；所述异常甄别模块筛选数据质量问题，并进行数据质量评价和量化计算；所述数据质量评估模块进行数据质量结果的可视化操作，输出数据质量报告；所述方法包括如下步骤：
步骤1.所述数据集抽取模块从电力运营监控数据中心抽取所需的数据集，其中，所述数据集由任意组合的单个数据表或子表组成；
步骤2.所述异常甄别模块针对所述目标数据集，利用数据质量评估指标和约束规则甄别出异常电力数据，处理检查出的数据质量问题并确定评价方法，存储计算结果；
步骤3.根据异常甄别模块数据获取数据质量评估指标的结果信息，并选择可视化操作，输出数据质量评估报告。
7.如权利要求6所述的方法，其特征在于，所述步骤1包括：
1-1.发布数据质量评估任务，所述数据质量评估任务包括若干子任务，每个所述子任务均为数据质量评估对象与评估指标的组合；
1-2.根据用户需求，将相应的数据质量评估指标及约束规则添加到所述数据质量评估中；
1-3.基于所述数据质量评估指标和约束规则，获取需实施数据质量评估的目标数据集，形成数据质量问题的甄别任务。
8.如权利要求7所述的方法，其特征在于，所述步骤2包括：
2-1.根据约束规则库，对所述目标数据集启动异常数据甄别任务，扫描数据对象并定位数据质量问题，将检查出的数据质量问题信息返回给异常数据处理模块；
2-2.对数据质量问题信息的统计函数进行分类处理，将不同数据质量问题添加至相应评估指标对应的缓存数据库中；
2-3.确定数据质量评价计算方法；
2-4.提取缓存库中的所需统计信息，根据评价方法计算得到评价参数信息并缓存至结果数据库中。
9.如权利要求7所述的方法，其特征在于，所述步骤3包括：
3-1.根据评估任务提结果数据库中的评估结果信息，并发送至选择可视化方式单元；
3-2.根据结果信息选择数据可视化方式，调整数据可视化参数，绘制可视化图形，输出到数据质量评估报告模块中；
3-3.根据预先设定的报告模板出具数据质量评估报告。
10.如权利要求8所述的方法，其特征在于，所述2-4中的所述评价方法包括数据表级评价方法、任务表级评估量化计算方法及数据质量扩展指标评价方法；
所述数据表级评价方法包括数据表级质量评价结果数据方法和数据表级质量评价计算方法；
所述任务表级评估量化计算方法包括任务表级质量评估结果数据计算方法和任务表级质量评估量化计算方法；
所述数据质量扩展指标评价方法包括扩展级评估结果数据评价方法和扩展质量评估计算方法。
CN201610326404.9A 2016-05-17 2016-05-17 一种电力运营监控数据质量评估系统及方法 Pending CN105976120A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610326404.9A CN105976120A (zh) 2016-05-17 2016-05-17 一种电力运营监控数据质量评估系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610326404.9A CN105976120A (zh) 2016-05-17 2016-05-17 一种电力运营监控数据质量评估系统及方法

Publications (1)

Publication Number Publication Date
CN105976120A true CN105976120A (zh) 2016-09-28

Family

ID=56956339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610326404.9A Pending CN105976120A (zh) 2016-05-17 2016-05-17 一种电力运营监控数据质量评估系统及方法

Country Status (1)

Country Link
CN (1) CN105976120A (zh)

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530121A (zh) * 2016-10-24 2017-03-22 南方电网科学研究院有限责任公司 电力监控系统安全防护合规性检测方法和系统
CN106528828A (zh) * 2016-11-22 2017-03-22 山东浪潮云服务信息科技有限公司 一种基于多维度校验规则的数据质量检测方法
CN106649840A (zh) * 2016-12-30 2017-05-10 国网江西省电力公司经济技术研究院 一种适用于电力数据质量评估与规则校验的方法
CN107358334A (zh) * 2017-05-25 2017-11-17 全球能源互联网研究院 数据准确性判定方法、装置、终端及计算机可读存储介质
CN107657544A (zh) * 2017-09-14 2018-02-02 国网辽宁省电力有限公司 一种改进的电费自动缴纳方法及系统
CN107748775A (zh) * 2017-10-17 2018-03-02 上海计算机软件技术开发中心 一种基于数据质量的数据治理系统
CN107895003A (zh) * 2017-10-31 2018-04-10 山东浪潮云服务信息科技有限公司 一种数据质量检测方法和装置
CN108197280A (zh) * 2018-01-10 2018-06-22 上海电气集团股份有限公司 一种基于工业设备数据的可挖掘性评估方法
CN108229784A (zh) * 2017-11-09 2018-06-29 中国电力科学研究院有限公司 一种智能配电网的多维数据质量评价方法及系统
CN108876146A (zh) * 2018-06-14 2018-11-23 国网山东省电力公司聊城供电公司 一种电网数据类资产管理方法及系统
CN109254959A (zh) * 2018-08-17 2019-01-22 广东技术师范学院 一种数据评价方法、装置、终端设备及可读存储介质
CN109783553A (zh) * 2018-11-28 2019-05-21 中国电力科学研究院有限公司 一种配电网海量数据质量提升系统
CN110147966A (zh) * 2019-05-28 2019-08-20 国网经济技术研究院有限公司 企业运营数据质量管理方法
CN110210719A (zh) * 2019-05-10 2019-09-06 中国电力科学研究院有限公司 一种电力设备静态数据质量评估方法及系统
CN110309131A (zh) * 2019-04-12 2019-10-08 北京星网锐捷网络技术有限公司 海量结构化数据的质量评估方法及装置
CN110347741A (zh) * 2019-07-18 2019-10-18 普元信息技术股份有限公司 大数据处理过程中有效提升输出成果数据质量的系统及其控制方法
CN110472109A (zh) * 2019-07-30 2019-11-19 深圳中科保泰科技有限公司 动态化数据质量分析方法及平台系统
CN110599056A (zh) * 2019-09-19 2019-12-20 国网福建省电力有限公司 一种电力数据质量管理方法及系统
CN110611576A (zh) * 2018-06-14 2019-12-24 亿阳信通股份有限公司 一种数据质量监测方法、装置、设备及存储介质
CN111190073A (zh) * 2019-12-31 2020-05-22 中国电力科学研究院有限公司 一种电网广域量测交互与搜索服务系统
CN111257668A (zh) * 2020-01-17 2020-06-09 国网湖南省电力有限公司 用于供电数据系统的数据监查方法及其监查系统
CN111400365A (zh) * 2020-02-26 2020-07-10 杭州美创科技有限公司 基于标准sql下的业务系统数据质量检测方法
CN111639850A (zh) * 2020-05-27 2020-09-08 中国电力科学研究院有限公司 多源异构数据的质量评估方法与系统
CN111797081A (zh) * 2020-05-21 2020-10-20 国网江西省电力有限公司吉安供电分公司 一种电力运营监控数据质量评估系统及方法
CN111858646A (zh) * 2020-07-21 2020-10-30 国网浙江省电力有限公司营销服务中心 一种电能表质量数据格式核查方法及系统
CN111897889A (zh) * 2020-08-17 2020-11-06 国网辽宁省电力有限公司信息通信分公司 一种面向电力行业业务系统的数据表完整性评价方法
CN111949644A (zh) * 2020-08-17 2020-11-17 沈阳京华博瑞科技有限公司 一种面向电力行业业务系统的数据质量评价方法和设备
CN112488528A (zh) * 2020-12-01 2021-03-12 东莞中国科学院云计算产业技术创新与育成中心 数据集的处理方法、装置、设备和存储介质
CN112529677A (zh) * 2020-12-22 2021-03-19 四川新网银行股份有限公司 一种自动化数据质量评估方法和可读存储介质
CN111177134B (zh) * 2019-12-26 2021-04-02 上海科技发展有限公司 适用于海量数据的数据质量分析方法、装置、终端及介质
CN112700157A (zh) * 2021-01-07 2021-04-23 杭州数梦工场科技有限公司 数据资产生成方法、装置、电子设备
CN113282588A (zh) * 2021-06-11 2021-08-20 亿景智联(北京)科技有限公司 一种评估时空数据质量的方法与装置
CN113469559A (zh) * 2021-07-19 2021-10-01 广东电网有限责任公司 一种基于数据质量检查的质量位设计与展示方法及系统
CN113886373A (zh) * 2021-09-09 2022-01-04 浙江大华技术股份有限公司 一种数据处理方法、装置及电子设备
CN114064618A (zh) * 2020-07-31 2022-02-18 中国电信股份有限公司 数据质量评估方法和系统
CN114124743A (zh) * 2021-11-16 2022-03-01 广东电网有限责任公司 一种数据应用全链路检查规则执行方法及系统
CN114490615A (zh) * 2022-02-10 2022-05-13 红有软件股份有限公司 一种基于epdm数据模型的数据质检系统和方法
CN114610700A (zh) * 2022-03-07 2022-06-10 中国标准化研究院 工业数据规范化管理和质量保证方法
CN115001953A (zh) * 2022-05-30 2022-09-02 中国第一汽车股份有限公司 一种电动汽车数据质量评估方法、装置、终端及存储介质
CN117421328A (zh) * 2023-11-23 2024-01-19 上海信投数字科技有限公司 基于人工智能的数据治理方法、系统、设备及可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040236723A1 (en) * 2001-08-30 2004-11-25 Reymond Marc Andre Method and system for data evaluation, corresponding computer program product, and corresponding computer-readable storage medium
CN102708149A (zh) * 2012-04-01 2012-10-03 河海大学 数据质量管理方法和系统
CN103247008A (zh) * 2013-05-07 2013-08-14 国家电网公司 一种电力统计指标数据的质量评估方法
CN105389649A (zh) * 2015-10-21 2016-03-09 中国电力科学研究院 一种电能质量异常数据检测及处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040236723A1 (en) * 2001-08-30 2004-11-25 Reymond Marc Andre Method and system for data evaluation, corresponding computer program product, and corresponding computer-readable storage medium
CN102708149A (zh) * 2012-04-01 2012-10-03 河海大学 数据质量管理方法和系统
CN103247008A (zh) * 2013-05-07 2013-08-14 国家电网公司 一种电力统计指标数据的质量评估方法
CN105389649A (zh) * 2015-10-21 2016-03-09 中国电力科学研究院 一种电能质量异常数据检测及处理方法

Cited By (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530121A (zh) * 2016-10-24 2017-03-22 南方电网科学研究院有限责任公司 电力监控系统安全防护合规性检测方法和系统
CN106530121B (zh) * 2016-10-24 2020-03-24 南方电网科学研究院有限责任公司 电力监控系统安全防护合规性检测方法和系统
CN106528828A (zh) * 2016-11-22 2017-03-22 山东浪潮云服务信息科技有限公司 一种基于多维度校验规则的数据质量检测方法
CN106649840A (zh) * 2016-12-30 2017-05-10 国网江西省电力公司经济技术研究院 一种适用于电力数据质量评估与规则校验的方法
CN107358334A (zh) * 2017-05-25 2017-11-17 全球能源互联网研究院 数据准确性判定方法、装置、终端及计算机可读存储介质
CN107657544A (zh) * 2017-09-14 2018-02-02 国网辽宁省电力有限公司 一种改进的电费自动缴纳方法及系统
CN107748775A (zh) * 2017-10-17 2018-03-02 上海计算机软件技术开发中心 一种基于数据质量的数据治理系统
CN107895003A (zh) * 2017-10-31 2018-04-10 山东浪潮云服务信息科技有限公司 一种数据质量检测方法和装置
CN108229784A (zh) * 2017-11-09 2018-06-29 中国电力科学研究院有限公司 一种智能配电网的多维数据质量评价方法及系统
CN108197280B (zh) * 2018-01-10 2022-05-13 上海电气集团股份有限公司 一种基于工业设备数据的可挖掘性评估方法
CN108197280A (zh) * 2018-01-10 2018-06-22 上海电气集团股份有限公司 一种基于工业设备数据的可挖掘性评估方法
CN110611576A (zh) * 2018-06-14 2019-12-24 亿阳信通股份有限公司 一种数据质量监测方法、装置、设备及存储介质
CN110611576B (zh) * 2018-06-14 2023-05-09 亿阳信通股份有限公司 一种数据质量监测方法、装置、设备及存储介质
CN108876146A (zh) * 2018-06-14 2018-11-23 国网山东省电力公司聊城供电公司 一种电网数据类资产管理方法及系统
CN109254959A (zh) * 2018-08-17 2019-01-22 广东技术师范学院 一种数据评价方法、装置、终端设备及可读存储介质
CN109783553A (zh) * 2018-11-28 2019-05-21 中国电力科学研究院有限公司 一种配电网海量数据质量提升系统
CN110309131A (zh) * 2019-04-12 2019-10-08 北京星网锐捷网络技术有限公司 海量结构化数据的质量评估方法及装置
CN110210719A (zh) * 2019-05-10 2019-09-06 中国电力科学研究院有限公司 一种电力设备静态数据质量评估方法及系统
CN110210719B (zh) * 2019-05-10 2024-08-09 中国电力科学研究院有限公司 一种电力设备静态数据质量评估方法及系统
CN110147966A (zh) * 2019-05-28 2019-08-20 国网经济技术研究院有限公司 企业运营数据质量管理方法
CN110347741A (zh) * 2019-07-18 2019-10-18 普元信息技术股份有限公司 大数据处理过程中有效提升输出成果数据质量的系统及其控制方法
CN110347741B (zh) * 2019-07-18 2023-05-05 普元信息技术股份有限公司 大数据处理过程中有效提升输出成果数据质量的系统及其控制方法
CN110472109B (zh) * 2019-07-30 2022-06-21 深圳中科保泰空天技术有限公司 动态化数据质量分析方法及平台系统
CN110472109A (zh) * 2019-07-30 2019-11-19 深圳中科保泰科技有限公司 动态化数据质量分析方法及平台系统
CN110599056A (zh) * 2019-09-19 2019-12-20 国网福建省电力有限公司 一种电力数据质量管理方法及系统
CN111177134B (zh) * 2019-12-26 2021-04-02 上海科技发展有限公司 适用于海量数据的数据质量分析方法、装置、终端及介质
CN111190073B (zh) * 2019-12-31 2024-04-16 中国电力科学研究院有限公司 一种电网广域量测交互与搜索服务系统
CN111190073A (zh) * 2019-12-31 2020-05-22 中国电力科学研究院有限公司 一种电网广域量测交互与搜索服务系统
CN111257668A (zh) * 2020-01-17 2020-06-09 国网湖南省电力有限公司 用于供电数据系统的数据监查方法及其监查系统
CN111400365B (zh) * 2020-02-26 2023-09-19 杭州美创科技股份有限公司 基于标准sql下的业务系统数据质量检测方法
CN111400365A (zh) * 2020-02-26 2020-07-10 杭州美创科技有限公司 基于标准sql下的业务系统数据质量检测方法
CN111797081A (zh) * 2020-05-21 2020-10-20 国网江西省电力有限公司吉安供电分公司 一种电力运营监控数据质量评估系统及方法
CN111639850A (zh) * 2020-05-27 2020-09-08 中国电力科学研究院有限公司 多源异构数据的质量评估方法与系统
CN111858646A (zh) * 2020-07-21 2020-10-30 国网浙江省电力有限公司营销服务中心 一种电能表质量数据格式核查方法及系统
CN111858646B (zh) * 2020-07-21 2023-11-07 国网浙江省电力有限公司营销服务中心 一种电能表质量数据格式核查方法及系统
CN114064618A (zh) * 2020-07-31 2022-02-18 中国电信股份有限公司 数据质量评估方法和系统
CN111897889A (zh) * 2020-08-17 2020-11-06 国网辽宁省电力有限公司信息通信分公司 一种面向电力行业业务系统的数据表完整性评价方法
CN111949644A (zh) * 2020-08-17 2020-11-17 沈阳京华博瑞科技有限公司 一种面向电力行业业务系统的数据质量评价方法和设备
CN111949644B (zh) * 2020-08-17 2022-04-29 沈阳京华博瑞科技有限公司 一种面向电力行业业务系统的数据质量评价方法和设备
CN111897889B (zh) * 2020-08-17 2023-10-20 国网辽宁省电力有限公司信息通信分公司 一种面向电力行业业务系统的数据表完整性评价方法
CN112488528A (zh) * 2020-12-01 2021-03-12 东莞中国科学院云计算产业技术创新与育成中心 数据集的处理方法、装置、设备和存储介质
CN112529677A (zh) * 2020-12-22 2021-03-19 四川新网银行股份有限公司 一种自动化数据质量评估方法和可读存储介质
CN112700157A (zh) * 2021-01-07 2021-04-23 杭州数梦工场科技有限公司 数据资产生成方法、装置、电子设备
CN113282588A (zh) * 2021-06-11 2021-08-20 亿景智联(北京)科技有限公司 一种评估时空数据质量的方法与装置
CN113469559A (zh) * 2021-07-19 2021-10-01 广东电网有限责任公司 一种基于数据质量检查的质量位设计与展示方法及系统
CN113886373A (zh) * 2021-09-09 2022-01-04 浙江大华技术股份有限公司 一种数据处理方法、装置及电子设备
CN114124743B (zh) * 2021-11-16 2023-10-20 广东电网有限责任公司 一种数据应用全链路检查规则执行方法及系统
CN114124743A (zh) * 2021-11-16 2022-03-01 广东电网有限责任公司 一种数据应用全链路检查规则执行方法及系统
CN114490615A (zh) * 2022-02-10 2022-05-13 红有软件股份有限公司 一种基于epdm数据模型的数据质检系统和方法
CN114610700A (zh) * 2022-03-07 2022-06-10 中国标准化研究院 工业数据规范化管理和质量保证方法
CN115001953A (zh) * 2022-05-30 2022-09-02 中国第一汽车股份有限公司 一种电动汽车数据质量评估方法、装置、终端及存储介质
CN115001953B (zh) * 2022-05-30 2023-11-14 中国第一汽车股份有限公司 一种电动汽车数据质量评估方法、装置、终端及存储介质
CN117421328A (zh) * 2023-11-23 2024-01-19 上海信投数字科技有限公司 基于人工智能的数据治理方法、系统、设备及可读介质

Similar Documents

Publication Publication Date Title
CN105976120A (zh) 一种电力运营监控数据质量评估系统及方法
US10275183B2 (en) System for categorical data dynamic decoding
CN110457294B (zh) 一种数据处理方法和装置
CN118761745B (zh) 应用于企业oa协同工作流程优化方法
US10019486B2 (en) Computerized system for analyzing operational event data
US20170243131A1 (en) Computerized system for simulating the likelihood of technology change incidents
CN103247008A (zh) 一种电力统计指标数据的质量评估方法
US20100235296A1 (en) Flow comparison processing method and apparatus
US10838969B2 (en) Computerized system for evaluating technology stability
US10366337B2 (en) Computerized system for evaluating the likelihood of technology change incidents
US10223425B2 (en) Operational data processor
US10275182B2 (en) System for categorical data encoding
US20170243117A1 (en) Computerized system for evaluating and modifying technology change events
US10216798B2 (en) Technical language processor
US10366338B2 (en) Computerized system for evaluating the impact of technology change incidents
US7992126B2 (en) Apparatus and method for quantitatively measuring the balance within a balanced scorecard
CN116166643A (zh) 一种数据质量管理方法
CN117314200A (zh) 基于企业需求的科技成果评价方法及系统
CN120336323A (zh) 一种多口径预算表处理方法、系统、设备及介质
US11227288B1 (en) Systems and methods for integration of disparate data feeds for unified data monitoring
CN108876073A (zh) 风电机组可靠性确定方法和装置
Liu et al. Application of requirement-oriented data quality evaluation method
CN113516518B (zh) 参数异常原因的确定方法、装置、电子设备及存储介质
CN115687323A (zh) 一种指标数据质量监测方法、装置、电子设备及存储介质
CN114511201A (zh) 一种评估企业综合能力的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20170811

Address after: 102209 Beijing City, Changping District science and Technology Park in the future smart grid research institute hospital

Applicant after: GLOBAL ENERGY INTERCONNECTION RESEARCH INSTITUTE

Applicant after: State Grid Shanghai Municipal Electric Power Company

Applicant after: State Grid Corporation of China

Address before: 102209 Beijing City, Changping District science and Technology Park in the future smart grid research institute hospital

Applicant before: GLOBAL ENERGY INTERCONNECTION RESEARCH INSTITUTE

Applicant before: State Grid Corporation of China

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 102209 Beijing City, the future of science and Technology City Binhe Road, No. 18, No.

Applicant after: GLOBAL ENERGY INTERCONNECTION RESEARCH INSTITUTE Co.,Ltd.

Applicant after: STATE GRID SHANGHAI MUNICIPAL ELECTRIC POWER Co.

Applicant after: STATE GRID CORPORATION OF CHINA

Address before: 102209 Beijing City, Changping District science and Technology Park in the future smart grid research institute hospital

Applicant before: GLOBAL ENERGY INTERCONNECTION RESEARCH INSTITUTE Co.,Ltd.

Applicant before: STATE GRID SHANGHAI MUNICIPAL ELECTRIC POWER Co.

Applicant before: State Grid Corporation of China