CN116126913A - 反馈式数据治理方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种反馈式数据治理方法、装置、设备及计算机可读存储介质，该反馈式数据治理方法包括：在收到用户反馈的异常数据时，确认所述异常数据的数据来源；若所述异常数据来源于数据中心，则向数据中台反馈所述异常数据；数据中台收到所述异常数据后确认数据偏差点；数据中台根据所述数据偏差点采取对应的处理措施更正所述异常数据；异常数据更正完成后，由数据治理平台进行数据再采集及数据更新。本方法具有问题发现更全面、成本低、处理效率高、权责明确等优点。

Description

反馈式数据治理方法、装置、设备及计算机可读存储介质

技术领域

本发明涉及高校数据治理技术领域，尤其涉及一种反馈式数据治理方法、装置、设备及计算机可读存储介质。

背景技术

传统的高校数据治理、质量分析、质量提升工作由信息中心(或网络信息中心)等相关部门依据业务规范、要求对数据质量进行检核、发现的质量问题反馈至业务部门，由业务部分负责核实、数据纠错等工作。最后进入下一个质量优化周期，如此迭代优化数据质量。

但是传统的数据治理流程存在以下问题：

1)、数据异常不易发现：在符合数据规范要求、业务要求的情况下的数据质量问题系统无法发现，导致数据不准，从而影响上层决策；

2)、过程繁杂、处理效率低下：引发数据质量问题的原因有多种，传统的处理方式基于数据处理流程逐步反推，排查成本，沟通成本较高，效率低下。

3)、多方协同处理、沟通成本较高：涉及多厂商建设的业务系统之间数据流转出现问题，需要拉通各厂商一同协助定位问题、纠正异常数据，厂商之间的联调沟通成本较高，处理故障效率低下。

因此，亟需提供一种数据治理方法，以解决传统数据治理流程存在的上述问题。

发明内容

本申请实施例通过提供一种反馈式数据治理方法，旨在解决传统数据治理流程存在的上述问题。

为实现上述目的，本申请实施例提供了一种反馈式数据治理方法，包括：

在收到用户反馈的异常数据时，确认所述异常数据的数据来源；

若所述异常数据来源于数据中心，则向数据中台反馈所述异常数据；

数据中台收到所述异常数据后确认数据偏差点；

数据中台根据所述数据偏差点采取对应的处理措施更正所述异常数据；

异常数据更正完成后，由数据治理平台进行数据再采集及数据更新。

在一实施例中，数据中台收到所述异常数据后确认数据偏差点，包括：

数据中台根据所述异常数据的血缘情况，获取所述异常数据的数据链路；

根据所述数据链路中的数据变化情况，确定所述数据偏差点。

在一实施例中，数据中台根据所述数据偏差点采取对应的处理措施更正所述异常数据，包括：

若根据所述处理偏差点判定为数据处理过程异常，则分析所述数据处理过程的异常原因；

根据所述异常原因纠正所述数据相应的数据处理机制；

基于纠正后的数据处理机制更正所述异常数据。

在一实施例中，数据中台根据所述数据偏差点采取对应的处理措施更正所述异常数据，还包括：

若根据所述处理偏差点判定为源数据异常，则分析所述异常数据的数据版本，以查询出现异常数据的目标数据版本；

根据所述目标数据版本确认数据处理的责任人；

向所述责任人发送异常数据的分析结果及修改建议；

根据所述责任人基于所述分析结果及修改建议反馈的信息更正所述异常数据。

在一实施例中，由数据治理平台进行数据再采集及数据更新，包括：

数据治理平台重新采集更正后的数据，并检测更正后的数据是否符合设定的数据规范；

若是，则数据治理平台进行历史数据备份，并基于更正后的数据对数据中心的数据进行更新。

在一实施例中，所述方法还包括：

若所述异常数据来源于用户终端本地，则在用户终端更正所述异常数据。

在一实施例中，所述方法还包括：

向用户反馈异常数据处理结果。

为实现上述目的，本申请实施例还提出一种反馈式数据治理装置，包括：

用户终端，用于在收到用户反馈的异常数据时，确认所述异常数据的数据来源，及在所述异常数据来源于数据中心时，向数据中台反馈所述异常数据；

数据中台，用于在收到所述异常数据后确认数据偏差点，及，所述数据偏差点采取对应的处理措施更正所述异常数据；

数据治理平台，用于在异常数据更正完成后，进行数据再采集及数据更新。

为实现上述目的，本申请实施例还提出一种反馈式数据治理设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的反馈式数据治理程序，所述处理器执行所述反馈式数据治理程序时实现如上述任一项所述的反馈式数据治理方法。

为实现上述目的，本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有反馈式数据治理程序，所述反馈式数据治理程序被处理器执行时实现如上述任一项所述的反馈式数据治理方法。

本申请的反馈式数据治理方法，相较于传统的数据治理流程具有以下优势：

(1)、可以由数据所有者本人发现数据问题，进而可以解决通过数据质量检核规则和业务规范无法检测的异常数据，从而可以增加异常数据发现的全面性。

(2)、结合数据治理平台半自动化分析异常原因，可压缩数据处理流程、降低人工成本，缩短数据处理时间，提升处理效率。

(3)、系统(数据中台)与系统(数据治理平台)之间、用户与系统之间全链路拉通，数据处理过程全程记录可追踪，降低多方协同处理问题的沟通成本、解决权责不清的问题。

(4)、处理过程可追溯，可审计，提升了数据安全性、数据处理效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明反馈式数据治理设备一实施例的模块结构图；

图2为本发明反馈式数据治理方法一实施例的流程示意图；

图3为本发明反馈式数据治理装置一实施例的模块结构图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了更好的理解上述技术方案，下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。文中出现的“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的数量词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。而“第一”、“第二”、以及“第三”等的使用不表示任何顺序，可将这些词解释为名称。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的服务器1(又叫反馈式数据治理设备)结构示意图。

本发明实施例服务器，如“物联网设备”、带联网功能的智能空调、智能电灯、智能电源，带联网功能的AR/VR设备，智能音箱、自动驾驶汽车、PC，智能手机、平板电脑、电子书阅读器、便携计算机等具有显示功能的设备。

如图1所示，所述服务器1包括：存储器11、处理器12及网络接口13。

其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是服务器1的内部存储单元，例如该服务器1的硬盘。存储器11在另一些实施例中也可以是服务器1的外部存储设备，例如该服务器1上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。

进一步地，存储器11还可以包括服务器1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于服务器1的应用软件及各类数据，例如反馈式数据治理程序10的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器12在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行反馈式数据治理程序10等。

网络接口13可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该服务器1与其他电子设备之间建立通信连接。

网络可以为互联网、云网络、无线保真(Wi-Fi)网络、个人网(PAN)、局域网(LAN)和/或城域网(MAN)。网络环境中的各种设备可以被配置为根据各种有线和无线通信协议连接到通信网络。这样的有线和无线通信协议的例子可以包括但不限于以下中的至少一个：传输控制协议和互联网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)、文件传输协议(FTP)、ZigBee、EDGE、IEEE 802.11、光保真(Li-Fi)、802.16、IEEE 802.11s、IEEE 802.11g、多跳通信、无线接入点(AP)、设备对设备通信、蜂窝通信协议和/或蓝牙(Blue Tooth)通信协议或其组合。

可选地，该服务器还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以称为显示屏或显示单元，用于显示在服务器1中处理的信息以及用于显示可视化的用户界面。

图1仅示出了具有组件11-13以及反馈式数据治理程序10的服务器1，本领域技术人员可以理解的是，图1示出的结构并不构成对服务器1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

在本实施例中，处理器12可以用于调用存储器11中存储的反馈式数据治理程序，并执行以下操作：

在收到用户反馈的异常数据时，确认所述异常数据的数据来源；

若所述异常数据来源于数据中心，则向数据中台反馈所述异常数据；

数据中台收到所述异常数据后确认数据偏差点；

数据中台根据所述数据偏差点采取对应的处理措施更正所述异常数据；

异常数据更正完成后，由数据治理平台进行数据再采集及数据更新。

在一实施例中，处理器12可以用于调用存储器11中存储的反馈式数据治理程序，并执行以下操作：

数据中台收到所述异常数据后确认数据偏差点，包括：

数据中台根据所述异常数据的血缘情况，获取所述异常数据的数据链路；

根据所述数据链路中的数据变化情况，确定所述数据偏差点。

在一实施例中，处理器12可以用于调用存储器11中存储的反馈式数据治理程序，并执行以下操作：

数据中台根据所述数据偏差点采取对应的处理措施更正所述异常数据，包括：

若根据所述处理偏差点判定为数据处理过程异常，则分析所述数据处理过程的异常原因；

根据所述异常原因纠正所述数据相应的数据处理机制；

基于纠正后的数据处理机制更正所述异常数据。

在一实施例中，处理器12可以用于调用存储器11中存储的反馈式数据治理程序，并执行以下操作：

数据中台根据所述数据偏差点采取对应的处理措施更正所述异常数据，还包括：

若根据所述处理偏差点判定为源数据异常，则分析所述异常数据的数据版本，以查询出现异常数据的目标数据版本；

根据所述目标数据版本确认数据处理的责任人；

向所述责任人发送异常数据的分析结果及修改建议；

根据所述责任人基于所述分析结果及修改建议反馈的信息更正所述异常数据。

在一实施例中，处理器12可以用于调用存储器11中存储的反馈式数据治理程序，并执行以下操作：

由数据治理平台进行数据再采集及数据更新，包括：

数据治理平台重新采集更正后的数据，并检测更正后的数据是否符合设定的数据规范；

若是，则数据治理平台进行历史数据备份，并基于更正后的数据对数据中心的数据进行更新。

在一实施例中，处理器12可以用于调用存储器11中存储的反馈式数据治理程序，并执行以下操作：

所述方法还包括：

若所述异常数据来源于用户终端本地，则在用户终端更正所述异常数据。

在一实施例中，处理器12可以用于调用存储器11中存储的反馈式数据治理程序，并执行以下操作：

所述方法还包括：

向用户反馈异常数据处理结果。

基于上述反馈式数据治理设备的硬件构架，提出本发明反馈式数据治理方法的实施例。本发明的反馈式数据治理方法，旨在解决传统数据治理流程存在的数据异常不易发现、处理效率低下、沟通成本较高等问题。

参照图2所示，图2为本发明反馈式数据治理方法的一实施例，所述反馈式数据治理方法包括以下步骤：

S10、在收到用户反馈的异常数据时，确认所述异常数据的数据来源。

具体而言，用户可以通过用户终端反馈异常数据问题，这其中，用户终端具体是指在电脑、手机等设备上应用的软件或网页。在给用户终端上，每个用户都拥有独立的个人信息中心。

具体地，当用户发现个人信息中心记录的数据存在问题时，用户可通过该用户终端进行异常数据的反馈。

进一步地，个人信息中心在接收到用户反馈的异常数据时，可以通过查询数据源、核实数据元信息、跟踪数据流程等方法来确认数据来源。该确认数据来源的目的是为了确认数据是来源于终端本地还是数据中心。

S20、若所述异常数据来源于数据中心，则向数据中台反馈所述异常数据。

其中，数据中心是指用于存储、处理和分发数据的信息技术基础设施。

数据中台是一种数据治理系统的核心部分，负责监控和管理数据的质量和完整性，其可以提供标准化的数据接口给业务系统使用。

具体而言，若判定异数据来源于数据中心，则终端将调用数据异常反馈API，向数据中台反馈该异常数据。

可选择地，该数据异常反馈API支持HTTP、webServices、JMS、Kafaka、数据库(主流数据库Oracle、Mysql及主流国产数据库等)。

S30、数据中台收到所述异常数据后确认数据偏差点。

其中，数据偏差点是指数据质量问题的源头或症结所在。数据偏差点可能有多种形式，例如数据输入错误、数据转换问题、数据汇总问题等。对于每一种数据偏差点，数据治理系统都需要采取相应的处理措施来解决问题。例如，对于数据输入错误，可以采用人工审核的方式进行校验；对于数据转换问题，可以使用数据转换工具进行转换；对于数据汇总问题，可以使用数据汇总工具进行汇总。

示例性的，数据中台收到所述异常数据后确认数据偏差点，包括以下步骤：

S31、数据中台根据所述异常数据的血缘情况，获取所述异常数据的数据链路。

其中，数据血缘是指数据在数据处理过程中的流转情况，包括数据的来源、转换、汇总等环节。数据血缘可以帮助确定数据是如何产生的，并找到数据问题的根源。

数据血缘可以使用数据血缘图或数据血缘表等工具进行管理。数据血缘图是指用于展示数据血缘关系的图表，可以帮助用户直观地理解数据的流转情况。数据血缘表是指用于展示数据血缘信息的表格，可以帮助用户清晰地记录数据的流转情况。

数据链路是指数据在数据处理过程中所经过的流转路径。它表示数据从来源处到达最终目的地的过程。数据链路通常由多个节点和连接线段组成，每个节点代表一个数据处理环节，连接线段代表数据流转的过程。例如，一个数据链路可能包括数据采集、数据清洗、数据转换、数据存储等节点。

S32、根据所述数据链路中的数据变化情况，确定所述数据偏差点。

具体而言，数据中台收到异常数据反馈后，可以依据异常数据的血缘情况，分析数据链路，依据链路中的数据变化情况，确定数据偏差点。

可以理解，采用数据血缘的方式确认异常数据的数据偏差点，不仅可以快速找到数据偏差点的根源，并且使用数据血缘可以方便地记录数据偏差点的信息，并便于后续的管理。

值得说明的是，本申请的设计不限于此，在其他实施例中，还可通过人工审核、数据分析等方式确认异常数据的偏差点。

S40、数据中台根据所述数据偏差点采取对应的处理措施更正所述异常数据。

具体而言，在确定了数据偏差点后，数据中台可以根据数据偏差点来确认出现异常数据的原因，再根据该原因采对应的处理措施更正异常数据，例如修改数据处理流程、调整数据处理参数等。

可选择地，数据中台根据所述数据偏差点采取对应的处理措施更正所述异常数据包括以下步骤：

S41、若根据所述处理偏差点判定为数据处理过程异常，则分析所述数据处理过程的异常原因。

具体而言，可以根据偏差点的特征来判定数据偏差点是由数据处理过程异常导致的。

例如，如果数据偏差点出现在数据处理过程中，且偏差点的数据特征显然不符合数据处理过程的要求，则可以判定数据偏差点是由数据处理过程异常导致的。

进一步地，在判定为数据处理过程异常时，可以采用以下方法来寻找异常原因：

1、查看数据处理过程的日志：数据处理过程的日志可能会记录下数据处理过程中的异常信息，可以通过查看日志来分析异常原因。

2、检查数据处理代码：数据处理过程的异常往往是由于代码中的错误导致的，可以查看执行数据处理过程的代码，分析代码是否存在逻辑错误或者其他问题。

3、分析数据处理过程的参数：可以查看数据处理过程的参数设置，分析是否存在参数设置错误的情况。

4、分析数据处理过程的依赖关系：可以查看数据处理过程的依赖关系，分析是否存在依赖关系错误的情况。

S42、根据所述异常原因纠正所述数据相应的数据处理机制。

其中，数据处理机制是指用来处理数据的规则、流程或者系统。数据处理机制可以用来对数据进行清洗、转换、聚合、分析等操作，从而使得数据更加有用、更加准确。常见的数据处理机制包括：数据处理算法、数据处理流程、数据处理系统等。

具体而言，在确定了引起数据异常的原因后，可根据该异常原因针对性的纠正相应的数据处理机制。例如，如果异常原因在于数据处理代码中存在错误，则可以修改代码来纠正错误；如果异常原因在于数据处理参数的设置不合理，则可以调整数据处理参数来纠正错误；如果异常原因在于数据处理流程的设计不合理，则可以修改数据处理流程来纠正错误；如果异常原因在于数据处理算法的设计不合理，则可以修改数据处理算法来纠正错误。

S43、基于纠正后的数据处理机制更正所述异常数据。

具体来说，在对出现问题的数据处理机制进行纠正后，可以采用纠正后的数据处理机制再次处理异常数据的源数据，以更正异常数据。例如，若采集服务器异常导致数据漏采，则可以恢复数据采集服务，对漏采数据重新采集。

可选择地，数据中台根据所述数据偏差点采取对应的处理措施更正所述异常数据还包括以下步骤：

S44、若根据所述处理偏差点判定为源数据异常，则分析所述异常数据的数据版本，以查询出现异常数据的目标数据版本。

其中，数据版本是指数据在不同时间段内的不同版本。数据版本管理是指对数据的版本信息进行记录、管理、分析的过程。数据版本管理可以帮助组织更好地管理数据，确保数据的准确性和一致性。例如，在数据版本管理中，可以记录每一次数据变更的版本信息，以便回溯和比较不同版本的数据。此外，数据版本管理还可以帮助组织进行数据质量控制，确保数据的准确性和一致性。

具体而言，如果检查数据处理流程未能找到数据偏差点的原因，那么便可认为异常数据是由源数据异常导致的。

进一步地，若根据所述处理偏差点判定为源数据异常，意味着数据在从源数据到数据中心的过程中发生了异常。这种情况下，可以考虑以下步骤来分析异常数据的数据版本：

1、记录异常数据的版本信息：可以在反馈异常数据时记录下该数据的版本信息，以便后续分析。

2、查询数据版本信息：可以使用数据版本管理系统查询该异常数据的版本信息。

3、分析数据版本信息：根据查询得到的数据版本信息，分析出现异常数据的版本。

S45、根据所述目标数据版本确认数据处理的责任人。

具体来说，可以通过UC矩阵(数据创建人员Create、使用人员User)确认责任人。这其中，UC矩阵(数据创建人员Create、使用人员User)是一种数据管理方法，用于确定数据的创建人员和使用人员。UC矩阵的主要目的是解决数据冗余、冲突、更新不及时的问题，以及确定数据的责任人。

S46、向所述责任人发送异常数据的分析结果及修改建议。

这其中，分析结果是指分析结果是指对数据进行分析后得出的结论或者结果。在分析异常数据时，分析结果可以指出异常数据的原因，并提出相应的修改建议。例如，如果异常数据的分析结果表明该数据是由于人为原因造成的，那么修改建议可能是对数据处理流程进行调整，以避免人为错误造成的数据异常。

具体而言，可通过短信、应用消息、电话、邮件等方式向相关责任人发送分析结果及修改建议。

S47、根据所述责任人基于所述分析结果及修改建议反馈的信息更正所述异常数据。

具体来说，在向相关责任人发送分析结果及修改建议后，若接收到责任人的反馈信息，便可根据该反馈信息对数据进行纠正。

可以理解，通过上述方式，便可依据异常数据出现的原因，针对性的对异常数据进行更正。

S50、异常数据更正完成后，由数据治理平台进行数据再采集及数据更新。

基于更正后的数据对数据中心的数据进行更新。

其中，数据治理平台是一种用于管理和治理数据的工具或系统。数据治理平台可以帮助企业收集、存储、处理和使用数据，并确保数据的准确性、完整性和可用性。数据治理平台通常包含多种功能，如数据收集、数据存储、数据处理、数据清洗、数据可视化、数据质量管理等。通过数据治理平台，企业可以更好地利用数据带来的价值，并实现数据驱动的决策。

具体来说，在数据中台完成异常数据的更正后，可以反馈给数据治理平台，由数据治理平台重新进行数据采集及数据更新。

可选择地，由数据治理平台进行数据再采集及数据更新，包括：

S51、数据治理平台重新采集更正后的数据，并检测更正后的数据是否符合设定的数据规范。

其中，数据规范是一种用于统一数据格式、内容和质量的规则或标准。数据规范可以帮助企业更好地管理和使用数据，提高数据的准确性和可用性。

具体来说，在异常数据更正完成后，数据治理平台需要重新获取更正后的数据。在获取该更正后的数据的过程中，数据治理平台还需要检测更正后的数据是否符合设定的数据规范。这可以通过对数据进行质量检查，来确保数据质量(数据质量包括数据规范等)达到要求。

S52、若是，则数据治理平台进行历史数据备份，并基于更正后的数据对数据中心的数据进行更新。

具体来说，在更新数据中心的数据之前，数据治理平台还需要进行历史数据备份。这可以帮助企业保留原有的数据，在数据更新出现问题时，可以恢复原有的数据。

最后，数据治理平台可以基于更正后的数据，对数据中心的数据进行更新。这可以通过直接覆盖原有的数据，或者通过合并原有数据和更新数据的方式实现。

在一些实施例中，本申请的反馈式数据治理方法还包括：

若所述异常数据来源于用户终端本地，则在用户终端更正所述异常数据。

其中，用户终端本地指的是用户所使用的设备，例如个人电脑、笔记本电脑、手机等。这些设备通常存储着用户的数据和应用程序，并且可以由用户直接访问和控制。用户终端本地的数据可以由用户自己进行管理和维护，并且通常不会被其他人员访问。

具体地，如果异常数据是存储在用户终端本地的，则可以判断异常数据来源于用户终端本地，此时，无需上报数据中台，直接接受用户提供地修改数据替换异常数据，即可完成异常数据的更新。

可以理解，通过检查异常数据是否来源于用户终端本地，能够在异常数据来源于终端本地时，直接完成异常数据的更新，从而可减少不必要的资源浪费，以节约成本。

在一些实施例中，本申请的反馈式数据治理方法还包括：向用户反馈异常数据处理结果。

具体而言，当数据治理平台或用户终端本地对异常数据进行了处理之后，应当向用户反馈处理结果。反馈的方式可以是通过用户终端的消息通知或者邮件的方式进行反馈。反馈的内容包括但不限于异常数据的处理情况、异常数据的影响情况、异常数据的预防措施等。

可以理解，向用户反馈异常数据处理结果有助于用户了解数据的状态，并且可以提高用户对数据的信任度。

可以理解，本申请的反馈式数据治理方法，相较于传统的数据治理流程具有以下优势：

(1)、可以由数据所有者本人发现数据问题，进而可以解决通过数据质量检核规则和业务规范无法检测的异常数据，从而可以增加异常数据发现的全面性。

(2)、结合数据治理平台半自动化分析异常原因，可压缩数据处理流程、降低人工成本，缩短数据处理时间，提升处理效率。

(3)、系统(数据中台)与系统(数据治理平台)之间、用户与系统之间全链路拉通，数据处理过程全程记录可追踪，降低多方协同处理问题的沟通成本、解决权责不清的问题。

(4)、处理过程可追溯，可审计，提升了数据安全性、数据处理效率。

此外，参照图3，本发明实施例还提出反馈式数据治理装置，所述反馈式数据治理装置包括：

用户终端110，用于在收到用户反馈的异常数据时，确认所述异常数据的数据来源，及在所述异常数据来源于数据中心时，向数据中台反馈所述异常数据；

数据中台120，用于在收到所述异常数据后确认数据偏差点，及，所述数据偏差点采取对应的处理措施更正所述异常数据；

数据治理平台130，用于在异常数据更正完成后，进行数据再采集及数据更新。

其中，反馈式数据治理装置的各个功能模块实现的步骤可参照本发明反馈式数据治理方法的各个实施例，此处不再赘述。

此外，本发明实施例还提出一种计算机可读存储介质，计算机可读存储介质可以是硬盘、多媒体卡、SD卡、闪存卡、SMC、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器等中的任意一种或者几种的任意组合。计算机可读存储介质中包括反馈式数据治理程序10，本发明之计算机可读存储介质的具体实施方式与上述反馈式数据治理方法以及服务器1的具体实施方式大致相同，在此不再赘述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种反馈式数据治理方法，其特征在于，包括：

在收到用户反馈的异常数据时，确认所述异常数据的数据来源；

若所述异常数据来源于数据中心，则向数据中台反馈所述异常数据；

数据中台收到所述异常数据后确认数据偏差点；

数据中台根据所述数据偏差点采取对应的处理措施更正所述异常数据；

异常数据更正完成后，由数据治理平台进行数据再采集及数据更新。

2.如权利要求1所述的反馈式数据治理方法，其特征在于，数据中台收到所述异常数据后确认数据偏差点，包括：

数据中台根据所述异常数据的血缘情况，获取所述异常数据的数据链路；

根据所述数据链路中的数据变化情况，确定所述数据偏差点。

3.如权利要求1所述的反馈式数据治理方法，其特征在于，数据中台根据所述数据偏差点采取对应的处理措施更正所述异常数据，包括：

若根据所述处理偏差点判定为数据处理过程异常，则分析所述数据处理过程的异常原因；

根据所述异常原因纠正所述数据相应的数据处理机制；

基于纠正后的数据处理机制更正所述异常数据。

4.如权利要求3所述的反馈式数据治理方法，其特征在于，数据中台根据所述数据偏差点采取对应的处理措施更正所述异常数据，还包括：

若根据所述处理偏差点判定为源数据异常，则分析所述异常数据的数据版本，以查询出现异常数据的目标数据版本；

根据所述目标数据版本确认数据处理的责任人；

向所述责任人发送异常数据的分析结果及修改建议；

根据所述责任人基于所述分析结果及修改建议反馈的信息更正所述异常数据。

5.如权利要求4所述的反馈式数据治理方法，其特征在于，由数据治理平台进行数据再采集及数据更新，包括：

数据治理平台重新采集更正后的数据，并检测更正后的数据是否符合设定的数据规范；

若是，则数据治理平台进行历史数据备份，并基于更正后的数据对数据中心的数据进行更新。

6.如权利要求1所述的反馈式数据治理方法，其特征在于，所述方法还包括：

若所述异常数据来源于用户终端本地，则在用户终端更正所述异常数据。

7.如权利要求1至6中任一项所述的反馈式数据治理方法，其特征在于，所述方法还包括：

向用户反馈异常数据处理结果。

8.一种反馈式数据治理装置，其特征在于，包括：

用户终端，用于在收到用户反馈的异常数据时，确认所述异常数据的数据来源，及在所述异常数据来源于数据中心时，向数据中台反馈所述异常数据；

数据中台，用于在收到所述异常数据后确认数据偏差点，及，所述数据偏差点采取对应的处理措施更正所述异常数据；

数据治理平台，用于在异常数据更正完成后，进行数据再采集及数据更新。

9.一种反馈式数据治理设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的反馈式数据治理程序，所述处理器执行所述反馈式数据治理程序时实现如权利要求1-7中任一项所述的反馈式数据治理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有反馈式数据治理程序，所述反馈式数据治理程序被处理器执行时实现如权利要求1-7中任一项所述的反馈式数据治理方法。

Images