CN109828979A - 一种数据一致性检测方法及系统 - Google Patents
一种数据一致性检测方法及系统 Download PDFInfo
- Publication number
- CN109828979A CN109828979A CN201910100217.2A CN201910100217A CN109828979A CN 109828979 A CN109828979 A CN 109828979A CN 201910100217 A CN201910100217 A CN 201910100217A CN 109828979 A CN109828979 A CN 109828979A
- Authority
- CN
- China
- Prior art keywords
- data
- queue
- target data
- detection
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 55
- 239000000284 extract Substances 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种数据一致性检测方法,属于大数据处理技术领域，实现了目标数据与原始数据的一致性检测。包括如下步骤：S1：主机接收原始数据和目标数据；S2：主机设定检测节点；S3：主机根据检测节点，提取原始数据与目标数据中对应的数据，进行数据数量比较,判断数据一致性，若数量一致，则该检测节点对应的原始数据与目标数据一致，若数量不一致，则该检测节点对应的原始数据与目标数据不一致，返回步骤S2。
Description
技术领域
本发明涉及大数据处理技术领域，尤其涉及一种数据一致性检测方法及系统。
背景技术
大数据作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临，大数据分析也应运而生。
现有技术中，大量的数据需要录入到标准的表格中，由于延迟、录入失败等原因，将导致原始数据与表格中的目标数据不一致，这是就需要对数据进行检测，保证目标数据与原始数据的一致性。
发明内容
本发明的目的一在于提供一种数据一致性检测方法，实现了目标数据与原始数据的一致性检测。
本发明的上述目的一是通过以下技术方案得以实现的：
一种数据一致性检测方法,包括如下步骤：S1：主机接收原始数据和目标数据；S2：主机设定检测节点；S3：主机根据检测节点，提取原始数据与目标数据中对应的数据，进行数据数量比较,判断数据一致性，若数量一致，则该检测节点对应的原始数据与目标数据一致，若数量不一致，则该检测节点对应的原始数据与目标数据不一致，返回步骤S2。
进一步的，所述步骤S3中 ，根据检测节点，提取原始数据与目标数据中对应的数据之后，还包括步骤S301:主机根据提取的原始数据与目标数据的大小，将原始数据与目标数据分割成多个队列，将队列分别分配给空闲的服务器进行数据数量计算。
进一步的，在步骤S301后，进行步骤S302:主机接收某一检测节点下的所有原始数据与目标数据的队列的数量比较,再进行统计。
进一步的，在所述步骤S301中，当服务器在处理队列时，不再接收队列，当队列处理完后继续处于空闲状态，接收下一队列。
进一步的，所述检测节点为时间段。
本发明的目的二在于提供一种数据一致性检测方法，实现了目标数据与原始数据的一致性检测。
本发明的上述目的二是通过以下技术方案得以实现的：
一种数据一致性检测系统，包括：主机，用于接收原始数据和目标数据，设定检测节点，根据检测节点提取原始数据与目标数据中对应的数据；服务器，用于对原始数据与目标数据进行数据数量比较。
进一步的，所述主机还用于根据提取的原始数据与目标数据的大小，将原始数据与目标数据分割成多个队列，将队列分别分配给空闲的服务器进行数据数量计算。
进一步的，主机接收某一检测节点下的所有原始数据与目标数据的队列的数量比较,再进行统计。
进一步的，服务器在处理队列时，不再接收队列，当队列处理完后继续处于空闲状态，接收下一队列。
综上所述，本发明具有以下有益效果：
通过对数据的分接结点分队列比较原始数据与目标数据的数量一致性，在保证数据准确性的同时，还提高了检测的效率。
附图说明
图1是本发明的方法流程图；
图2是本发明的系统框图。
具体实施方式
下面将结合附图，对本发明实施例的技术方案进行描述。
本发明揭露了一种数据一致性检测方法及系统，结合图1和图2，方法包括如下步骤：
S1：主机接收原始数据和目标数据；
S2：主机设定检测节点；
S3：主机根据检测节点，提取原始数据与目标数据中对应的数据，进行数据数量比较,判断数据一致性，若数量一致，则该检测节点对应的原始数据与目标数据一致，若数量不一致，则该检测节点对应的原始数据与目标数据不一致，返回步骤S2。
作为平台，接入的数据库的数量是非常庞大的。在作为以表为比较单位的话，比较的次数也是非常巨大的。为了比较的及时性和稳定性，采用任务分发处理方式多服务多线程处理数据比较。
因此，在步骤S3中，根据检测节点，提取原始数据与目标数据中对应的数据之后，还包括步骤S301:主机根据提取的原始数据与目标数据的大小，将原始数据与目标数据分割成多个队列，将队列分别分配给空闲的服务器进行数据数量计算。在步骤S301后，进行步骤S302:主机接收某一检测节点下的所有原始数据与目标数据的队列的数量比较,再进行统计。
具体地，在数据分发中，通过zookeeper得到leader，zookeeper中间件提供了在多个服务器之间选取一台主服务器，通过其中一台检测节点服务作为分发所有服务，当然分发服务也是高可用的。即某个服务器出现宕机的情况下，其他服务器依然能够处理分配给宕机服务器的任务，保证分发的任务不会出现没有处理的情况的，将比较的表数据存放在redis缓存中，等待检测节点获取数据。节点服务主要是监听解答redis缓存队列，实时处理消息内容。处理完成后实时反馈处理结果。
在通过表数据数量比较中，需要通过统一的时间节点来进行数量统计然后比较，所以需要通过双方表联系起来。在针对分库分表的复杂数据结构中，他们也需要配置统一管理的检测任务，最终汇总得出比较结果。分库分表主要是解决单表数据量过大，用以拆分数据表，将数据分散在各个表中。但是针对我们是可以大数据的，需要将分散在各个表中的数据集中在我们一个表中。
Claims (9)
1.一种数据一致性检测方法,其特征在于，包括如下步骤：
S1：主机接收原始数据和目标数据；
S2：主机设定检测节点；
S3：主机根据检测节点，提取原始数据与目标数据中对应的数据，进行数据数量比较,判断数据一致性，若数量一致，则该检测节点对应的原始数据与目标数据一致，若数量不一致，则该检测节点对应的原始数据与目标数据不一致，返回步骤S2。
2.根据权利要求1所述的一种数据一致性检测方法，其特征在于，所述步骤S3中，根据检测节点，提取原始数据与目标数据中对应的数据之后，还包括步骤S301:主机根据提取的原始数据与目标数据的大小，将原始数据与目标数据分割成多个队列，将队列分别分配给空闲的服务器进行数据数量计算。
3.根据权利要求2所述的一种数据一致性检测方法，其特征在于，在步骤S301后，进行步骤S302:主机接收某一检测节点下的所有原始数据与目标数据的队列的数量比较,再进行统计。
4.根据权利要求3所述的一种数据一致性检测方法及系统，其特征在于，在所述步骤S301中，当服务器在处理队列时，不再接收队列，当队列处理完后继续处于空闲状态，接收下一队列。
5.根据权利要求3所述的一种数据一致性检测方法及系统，其特征在于，所述检测节点为时间段。
6.一种数据一致性检测系统，其特征在于，包括：
主机，用于接收原始数据和目标数据，设定检测节点，根据检测节点提取原始数据与目标数据中对应的数据；
服务器，用于对原始数据与目标数据进行数据数量比较。
7.根据权利要求1所述的一种数据一致性检测系统，其特征在于，所述主机还用于根据提取的原始数据与目标数据的大小，将原始数据与目标数据分割成多个队列，将队列分别分配给空闲的服务器进行数据数量计算。
8.根据权利要求1所述的一种数据一致性检测系统，其特征在于，主机接收某一检测节点下的所有原始数据与目标数据的队列的数量比较,再进行统计。
9.根据权利要求1所述的一种数据一致性检测系统，其特征在于，服务器在处理队列时，不再接收队列，当队列处理完后继续处于空闲状态，接收下一队列。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910100217.2A CN109828979A (zh) | 2019-01-31 | 2019-01-31 | 一种数据一致性检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910100217.2A CN109828979A (zh) | 2019-01-31 | 2019-01-31 | 一种数据一致性检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109828979A true CN109828979A (zh) | 2019-05-31 |
Family
ID=66862035
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910100217.2A Pending CN109828979A (zh) | 2019-01-31 | 2019-01-31 | 一种数据一致性检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109828979A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111666286A (zh) * | 2020-05-21 | 2020-09-15 | 微民保险代理有限公司 | 分库分表检测方法、装置、计算机设备和存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101079683A (zh) * | 2007-06-27 | 2007-11-28 | 中国移动通信集团四川有限公司 | 数据一致性处理方法 |
| US8498967B1 (en) * | 2007-01-30 | 2013-07-30 | American Megatrends, Inc. | Two-node high availability cluster storage solution using an intelligent initiator to avoid split brain syndrome |
| CN104036029A (zh) * | 2014-06-27 | 2014-09-10 | 深圳市腾讯计算机系统有限公司 | 大数据一致性对比方法和系统 |
| CN104503845A (zh) * | 2015-01-14 | 2015-04-08 | 北京邮电大学 | 一种任务分发方法和系统 |
| CN105468718A (zh) * | 2015-11-18 | 2016-04-06 | 腾讯科技（深圳）有限公司 | 数据一致性处理方法、装置和系统 |
| CN106341454A (zh) * | 2016-08-23 | 2017-01-18 | 世纪龙信息网络有限责任公司 | 跨机房多活分布式数据库管理系统和方法 |
| CN106789095A (zh) * | 2017-03-30 | 2017-05-31 | 腾讯科技（深圳）有限公司 | 分布式系统及消息处理方法 |
| CN108280080A (zh) * | 2017-01-06 | 2018-07-13 | 阿里巴巴集团控股有限公司 | 一种数据同步方法、装置以及电子设备 |
| CN108833503A (zh) * | 2018-05-29 | 2018-11-16 | 华南理工大学 | 一种基于ZooKeeper的Redis集群方法 |
-
2019
- 2019-01-31 CN CN201910100217.2A patent/CN109828979A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8498967B1 (en) * | 2007-01-30 | 2013-07-30 | American Megatrends, Inc. | Two-node high availability cluster storage solution using an intelligent initiator to avoid split brain syndrome |
| CN101079683A (zh) * | 2007-06-27 | 2007-11-28 | 中国移动通信集团四川有限公司 | 数据一致性处理方法 |
| CN104036029A (zh) * | 2014-06-27 | 2014-09-10 | 深圳市腾讯计算机系统有限公司 | 大数据一致性对比方法和系统 |
| CN104503845A (zh) * | 2015-01-14 | 2015-04-08 | 北京邮电大学 | 一种任务分发方法和系统 |
| CN105468718A (zh) * | 2015-11-18 | 2016-04-06 | 腾讯科技（深圳）有限公司 | 数据一致性处理方法、装置和系统 |
| CN106341454A (zh) * | 2016-08-23 | 2017-01-18 | 世纪龙信息网络有限责任公司 | 跨机房多活分布式数据库管理系统和方法 |
| CN108280080A (zh) * | 2017-01-06 | 2018-07-13 | 阿里巴巴集团控股有限公司 | 一种数据同步方法、装置以及电子设备 |
| CN106789095A (zh) * | 2017-03-30 | 2017-05-31 | 腾讯科技（深圳）有限公司 | 分布式系统及消息处理方法 |
| CN108833503A (zh) * | 2018-05-29 | 2018-11-16 | 华南理工大学 | 一种基于ZooKeeper的Redis集群方法 |
Non-Patent Citations (1)
| Title |
|---|
| 青岛英谷教育科技股份有限公司: "《云计算与大数据概论》", 31 October 2017 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111666286A (zh) * | 2020-05-21 | 2020-09-15 | 微民保险代理有限公司 | 分库分表检测方法、装置、计算机设备和存储介质 |
| CN111666286B (zh) * | 2020-05-21 | 2023-06-30 | 微民保险代理有限公司 | 分库分表检测方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10891177B2 (en) | Message management method and device, and storage medium | |
| CN108776934B (zh) | 分布式数据计算方法、装置、计算机设备及可读存储介质 | |
| US10701012B2 (en) | Method, apparatus and system for customer service information forwarding | |
| US9286316B2 (en) | Enterprise level data collection systems and methodologies | |
| US11431827B2 (en) | Data center management system | |
| CN111949402B (zh) | 数据库请求处理方法、装置、计算机设备及存储介质 | |
| CN103516585B (zh) | 一种实现消息优先级分发的方法及系统 | |
| CN111813573B (zh) | 管理平台与机器人软件的通信方法及其相关设备 | |
| CN114567519B (zh) | 一种多线程并行管理多个智能设备指令消息的方法及装置 | |
| CN105162837B (zh) | 海量数据存储环境下提升i/o吞吐率的方法及系统 | |
| CN113392153A (zh) | 数据同步方法、装置、电子设备及计算机存储介质 | |
| CN113987002A (zh) | 基于海量数据分析平台的数据交换方法 | |
| CN110147470B (zh) | 一种跨机房数据比对系统及方法 | |
| US20200004785A1 (en) | Automatic grouping based on user behavior | |
| CN113079062B (zh) | 一种资源调整方法、装置、计算机设备和存储介质 | |
| CN109828979A (zh) | 一种数据一致性检测方法及系统 | |
| CN116521335A (zh) | 一种倾斜影像模型生产的分布式任务调度方法及系统 | |
| CN110909072B (zh) | 一种数据表建立方法、装置及设备 | |
| CN112004161B (zh) | 地址资源的处理方法、装置、终端设备和存储介质 | |
| CN106487653B (zh) | 一种消息处理方法及服务器 | |
| CN117354555A (zh) | 直播画面质量评估方法、装置、计算设备及存储介质 | |
| CN109857563A (zh) | 任务执行方法、装置和任务执行系统 | |
| CN111912636B (zh) | 一种轨道车辆调试故障实时交互系统及方法 | |
| CN109063201B (zh) | 一种基于混合存储方案的impala在线交互式查询方法 | |
| CN108243348A (zh) | 一种流处理请求分配服务器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190531 |