[go: up one dir, main page]

CN111008246A - 数据库日志同步方法、装置、计算机设备及可读存储介质 - Google Patents

数据库日志同步方法、装置、计算机设备及可读存储介质 Download PDF

Info

Publication number
CN111008246A
CN111008246A CN201911171078.9A CN201911171078A CN111008246A CN 111008246 A CN111008246 A CN 111008246A CN 201911171078 A CN201911171078 A CN 201911171078A CN 111008246 A CN111008246 A CN 111008246A
Authority
CN
China
Prior art keywords
log
binlog
storage module
synchronization
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911171078.9A
Other languages
English (en)
Other versions
CN111008246B (zh
Inventor
周朝卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongying Youchuang Information Technology Co Ltd
Original Assignee
Zhongying Youchuang Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongying Youchuang Information Technology Co Ltd filed Critical Zhongying Youchuang Information Technology Co Ltd
Priority to CN201911171078.9A priority Critical patent/CN111008246B/zh
Publication of CN111008246A publication Critical patent/CN111008246A/zh
Application granted granted Critical
Publication of CN111008246B publication Critical patent/CN111008246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/547—Messaging middleware
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例提供了一种数据库日志同步方法、装置、计算机设备及可读存储介质，其中，该方法包括：通过伪从节点同步服务模拟MySQL的从节点，从MySQL中抽取binlog日志；通过所述伪从节点同步服务将抽取的binlog日志存储在所述处理引擎的存储模块中；通过解析服务从存储模块中读取binlog日志并解析，将解析结果保存至目标存储中。该方案使得整个MySQL的binlog日志同步过程都可以在处理引擎中通过程序完成，避免引入第三方同步工具、消息队列或JMQ等中间件等额外的组件，同时在MySQL的binlog日志同步过程中可以避免多方组件配合，有利于简化处理流程。

Description

数据库日志同步方法、装置、计算机设备及可读存储介质
技术领域
本发明涉及数据处理技术领域，特别涉及一种数据库日志同步方法、装置、计算机设备及可读存储介质。
背景技术
实时的数据分析展示，直接查询MySQL(一种数据库)表或频繁抽取数据都会对MySQL产生很大的性能压力，因此，目前采用的方法是同步MySQL的binlog日志，解析binlog并存入目标存储，避免对MySQL产生性能压力。
例如，常规的binlog日志同步处理流程，如图1所示，需要使用同步工具(如Maxwall或Canal)读取Binlog，然后将Binlog同步至消息队列或JMQ(Java消息队列)等中间件，来缓存数据，数据处理引擎(如Flink、Spark等大数据计算引擎)消费消息队列的Binlog，并解析Binlog保存至目标存储库(Hbase、Elasticsearch等存储库)。该处理流程需要第三方同步工具、消息队列或JMQ等中间件以及数据处理引擎三方配合来完成，使得流程相对繁杂。
发明内容
本发明实施例提供了一种数据库日志同步方法，以解决现有技术中binlog日志同步存在流程繁杂的技术问题。该方法包括：
通过伪从节点同步服务模拟MySQL的从节点，从MySQL中抽取binlog日志；
通过所述伪从节点同步服务将抽取的binlog日志存储在所述处理引擎的存储模块中；
通过解析服务从存储模块中读取binlog日志并解析，将解析结果保存至目标存储中。
本发明实施例还提供了一种数据库日志同步装置，以解决现有技术中binlog日志同步存在流程繁杂的技术问题。该装置包括：
数据提取单元，用于通过伪从节点同步服务模拟MySQL的从节点，从MySQL中抽取binlog日志；
存储单元，用于通过所述伪从节点同步服务将抽取的binlog日志存储在所述处理引擎的存储模块中；
数据解析单元，用于通过解析服务从存储模块中读取binlog日志并解析，将解析结果保存至目标存储中。
本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的数据库日志同步方法，以解决现有技术中binlog日志同步存在流程繁杂的技术问题。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述任意的数据库日志同步方法的计算机程序，以解决现有技术中binlog日志同步存在流程繁杂的技术问题。
在本发明实施例中，提出了在处理引擎中运行的上述数据库日志同步方法，通过伪从节点同步服务模拟MySQL的从节点，从MySQL中抽取binlog日志，避免通过第三方同步工具抽取binlog日志，通过所述伪从节点同步服务将抽取的binlog日志存储在所述处理引擎的存储模块中，避免引入消息队列或JMQ等中间件，最后通过解析服务从存储模块中读取binlog日志并解析，将解析结果保存至目标存储中，使得整个MySQL的binlog日志同步过程都可以在处理引擎中通过程序完成，避免引入第三方同步工具、消息队列或JMQ等中间件等额外的组件，同时在MySQL的binlog日志同步过程中可以避免多方组件配合，有利于简化处理流程。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：
图1是提供的一种现有技术中binlog日志的处理流程示意图；
图2是本发明实施例提供的一种数据库日志同步方法的流程图；
图3是本发明实施例提供的一种上述数据库日志同步方法的流程示意图；
图4是本发明实施例提供的一种计算机设备的结构框图；
图5是本发明实施例提供的一种数据库日志同步装置的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
在本发明实施例中，提供了一种数据库日志同步方法，该方法可以运行在处理引擎中，如图2所示，该方法包括：
步骤202：通过伪从节点同步服务模拟MySQL的从节点，从MySQL中抽取binlog日志；
步骤204：通过所述伪从节点同步服务将抽取的binlog日志存储在所述处理引擎的存储模块中；
步骤206：通过解析服务从存储模块中读取binlog日志并解析，将解析结果保存至目标存储中。
由图2所示的流程可知，在本发明实施例中，提出了在处理引擎中运行的上述数据库日志同步方法，通过伪从节点同步服务模拟MySQL的从节点，从MySQL中抽取binlog日志，避免通过第三方同步工具抽取binlog日志，通过所述伪从节点同步服务将抽取的binlog日志存储在所述处理引擎的存储模块中，避免引入消息队列或JMQ等中间件，最后通过解析服务从存储模块中读取binlog日志并解析，将解析结果保存至目标存储中，使得整个MySQL的binlog日志同步过程都可以在处理引擎中通过程序完成，避免引入第三方同步工具、消息队列或JMQ等中间件等额外的组件，同时在MySQL的binlog日志同步过程中可以避免多方组件配合，有利于简化处理流程。
具体实施时，伪从节点同步服务可以使用第三方的接口组件mysql-binlog-connector-java模拟MySQL的从节点，从MySQL抽取、解析binlog日志。伪从节点同步服务可以根据MySQL的主机、端口、账号密码、表名、binlog的索引和binlog的偏移量等选项，采用数据同步线程监听binlog日志，模拟MySQL的从节点，进而从Master节点同步binlog日志。
具体实施时，为了保证数据同步的性能，在本实施例中，如图3所示，通过所述伪从节点同步服务将抽取的binlog日志存储在所述处理引擎的存储模块中，包括：
通过所述伪从节点同步服务以预写日志的方式将抽取的binlog日志存储在所述处理引擎的存储模块中。伪从节点同步服务以预写日志的方式将抽取的binlog日志存储在所述处理引擎的存储模块中，此时并不对数据做任何处理，后续解析服务从存储模块中读取binlog日志并解析，避免消息队列/JMQ等中间件的引入，也避免频繁地从MySQL的binlog拉取数据，因为从MySQL直接消费数据会产生不必要的磁盘数据读取、网络IO等消耗性能的操作，从而可以保证性能，例如，当数据异常或重新消费binlog时，可以首先从预写日志方式的处理引擎的存储模块中消费数据，如果预写日志方式的数据缺失，则直接从MySQL的binlog拉取数据消费，避免每次从MySQL同步日志。具体的，该处理引擎的存储模块可以是本地磁盘、Hadoop分布式文件系统等。
具体实施时，为了进一步地保证数据抽取、解析的性能和稳定性，在本实施例中，上述MySQL的binlog日志同步方法还增加的检查点使用，例如，如图3所示，上述方法还包括：
每次将抽取的binlog日志存储在所述处理引擎的存储模块中时，通过所述伪从节点同步服务将存储模块中binlog日志的同步偏移量保存在检查点中；
每次从存储模块中读取binlog日志时，通过所述解析服务将存储模块中binlog日志的解析偏移量保存在检查点中。
具体实施时，所述同步偏移量可以为将抽取的binlog日志存储在所述存储模块中时当前存储模块中最大的偏移量(例如，offset)；所述解析偏移量可以为从存储模块中读取binlog日志时当前存储模块中最大的偏移量(例如，offset)。具体的，每条日志消息对应一个偏移量。
具体实施时，每次将抽取的binlog日志存储在所述处理引擎的存储模块中时，通过所述伪从节点同步服务将存储模块中binlog日志的同步偏移量保存在检查点中之后，可以在下一轮的数据抽取时基于上次保存的同步偏移量(偏移量增量)来抽取。每次从存储模块中读取binlog日志时，通过所述解析服务将存储模块中binlog日志的解析偏移量保存在检查点中之后，下一轮的数据解析可以从上次保存的解析偏移量(偏移量位置)开始。
具体实施时，在存储同步偏移量和解析偏移量的过程中，获取初始的偏移量的方法可以是：使用MySQL的mysqlbinlog工具，指定开始和结束时间等选项，进而获取初始的binlog的index以及偏移量。
可指定binlog的位置等信息：
val optionsMap＝Map(
"host"->"127.0.0.1",//指定主机名
"port"->"3306",//指定端口
"userName"->"root",//指定用户名
"password"->"123456",//指定密码
"binlogindex"->"4",//指定binlog的索引
"偏移量"->"4"//指定日志的偏移量
)
伪代码示例：
Figure BDA0002288738660000051
具体实施时，解析服务可以借助第三方的接口组件mysql-binlog-connector-java，从预写日志(本地磁盘、Hadoop分布式文件系统等)读取binlog日志，并对binlog日志进行解析，解析每条日志记录的操作类型可以是插入、更新、删除等，并将操作类型更新到日志记录中，进而写到目标存储中。
具体的，生成的解析结果为MySQL的执行SQL语句，如插入、更新、删除语句等。可基于下游的存储，对插入、更新、删除等语句分别执行相关操作。下游的存储需要执行插入和更新等操作，因此下游存储可为Kudu、Elasticsearch、Hbase、Tidb等。
在本实施例中，提供了一种计算机设备，如图4所示，包括存储器402、处理器404及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的数据库日志同步方法。
具体的，该计算机设备可以是计算机终端、服务器或者类似的运算装置。
在本实施例中，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述任意的数据库日志同步方法的计算机程序。
具体的，计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读存储介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
基于同一发明构思，本发明实施例中还提供了一种数据库日志同步装置，如下面的实施例所述。由于数据库日志同步装置解决问题的原理与数据库日志同步方法相似，因此数据库日志同步装置的实施可以参见数据库日志同步方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是本发明实施例的数据库日志同步装置的一种结构框图，如图5所示，该装置包括：
数据提取单元502，用于通过伪从节点同步服务模拟MySQL的从节点，从MySQL中抽取binlog日志；
存储单元504，用于通过所述伪从节点同步服务将抽取的binlog日志存储在所述处理引擎的存储模块中；
数据解析单元506，用于通过解析服务从存储模块中读取binlog日志并解析，将解析结果保存至目标存储中。
在一个实施例中，所述存储单元，用于通过所述伪从节点同步服务以预写日志的方式将抽取的binlog日志存储在所述处理引擎的存储模块中。
在一个实施例中，上述装置还包括：
偏移量存储单元，用于每次将抽取的binlog日志存储在所述处理引擎的存储模块中时，通过所述伪从节点同步服务将存储模块中binlog日志的同步偏移量保存在检查点中；每次从存储模块中读取binlog日志时，通过所述解析服务将存储模块中binlog日志的解析偏移量保存在检查点中。
在一个实施例中，所述同步偏移量为将抽取的binlog日志存储在所述存储模块中时当前存储模块中最大的偏移量；所述解析偏移量为从存储模块中读取binlog日志时当前存储模块中最大的偏移量。
本发明实施例实现了如下技术效果：提出了在处理引擎中运行的上述数据库日志同步方法，通过伪从节点同步服务模拟MySQL的从节点，从MySQL中抽取binlog日志，避免通过第三方同步工具抽取binlog日志，通过所述伪从节点同步服务将抽取的binlog日志存储在所述处理引擎的存储模块中，避免引入消息队列或JMQ等中间件，最后通过解析服务从存储模块中读取binlog日志并解析，将解析结果保存至目标存储中，使得整个MySQL的binlog日志同步过程都可以在处理引擎中通过程序完成，避免引入第三方同步工具、消息队列或JMQ等中间件等额外的组件，同时在MySQL的binlog日志同步过程中可以避免多方组件配合，有利于简化处理流程。
显然，本领域的技术人员应该明白，上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据库日志同步方法，其特征在于，该方法运行在处理引擎中，该方法包括：
通过伪从节点同步服务模拟MySQL的从节点，从MySQL中抽取binlog日志；
通过所述伪从节点同步服务将抽取的binlog日志存储在所述处理引擎的存储模块中；
通过解析服务从存储模块中读取binlog日志并解析，将解析结果保存至目标存储中。
2.如权利要求1所述的数据库日志同步方法，其特征在于，通过所述伪从节点同步服务将抽取的binlog日志存储在所述处理引擎的存储模块中，包括：
通过所述伪从节点同步服务以预写日志的方式将抽取的binlog日志存储在所述处理引擎的存储模块中。
3.如权利要求1或2所述的数据库日志同步方法，其特征在于，还包括：
每次将抽取的binlog日志存储在所述处理引擎的存储模块中时，通过所述伪从节点同步服务将存储模块中binlog日志的同步偏移量保存在检查点中；
每次从存储模块中读取binlog日志时，通过所述解析服务将存储模块中binlog日志的解析偏移量保存在检查点中。
4.如权利要求3所述的数据库日志同步方法，其特征在于，所述同步偏移量为将抽取的binlog日志存储在所述存储模块中时当前存储模块中最大的偏移量；所述解析偏移量为从存储模块中读取binlog日志时当前存储模块中最大的偏移量。
5.一种数据库日志同步装置，其特征在于，包括：
数据提取单元，用于通过伪从节点同步服务模拟MySQL的从节点，从MySQL中抽取binlog日志；
存储单元，用于通过所述伪从节点同步服务将抽取的binlog日志存储在处理引擎的存储模块中；
数据解析单元，用于通过解析服务从存储模块中读取binlog日志并解析，将解析结果保存至目标存储中。
6.如权利要求5所述的数据库日志同步装置，其特征在于，所述存储单元，用于通过所述伪从节点同步服务以预写日志的方式将抽取的binlog日志存储在所述处理引擎的存储模块中。
7.如权利要求5或6所述的数据库日志同步装置，其特征在于，还包括：
偏移量存储单元，用于每次将抽取的binlog日志存储在所述处理引擎的存储模块中时，通过所述伪从节点同步服务将存储模块中binlog日志的同步偏移量保存在检查点中；每次从存储模块中读取binlog日志时，通过所述解析服务将存储模块中binlog日志的解析偏移量保存在检查点中。
8.如权利要求7所述的数据库日志同步装置，其特征在于，所述同步偏移量为将抽取的binlog日志存储在所述存储模块中时当前存储模块中最大的偏移量；所述解析偏移量为从存储模块中读取binlog日志时当前存储模块中最大的偏移量。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述的数据库日志同步方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至4中任一项所述的数据库日志同步方法的计算机程序。
CN201911171078.9A 2019-11-26 2019-11-26 数据库日志同步方法、装置、计算机设备及可读存储介质 Active CN111008246B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911171078.9A CN111008246B (zh) 2019-11-26 2019-11-26 数据库日志同步方法、装置、计算机设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911171078.9A CN111008246B (zh) 2019-11-26 2019-11-26 数据库日志同步方法、装置、计算机设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN111008246A true CN111008246A (zh) 2020-04-14
CN111008246B CN111008246B (zh) 2024-04-19

Family

ID=70113799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911171078.9A Active CN111008246B (zh) 2019-11-26 2019-11-26 数据库日志同步方法、装置、计算机设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN111008246B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112015821A (zh) * 2020-09-08 2020-12-01 香港中文大学（深圳） 一种数据库同步方法、终端以及存储介质
CN112100147A (zh) * 2020-07-27 2020-12-18 杭州玳数科技有限公司 基于Flink实现Binlog到HIVE的实时采集方法和系统
CN112162904A (zh) * 2020-09-25 2021-01-01 同程网络科技股份有限公司 订单变更过程整合方法、提取方法、整合装置和提取装置
CN112948378A (zh) * 2021-02-04 2021-06-11 上海中通吉网络技术有限公司 基于HBase的数据处理方法、装置和设备
CN114153916A (zh) * 2021-10-29 2022-03-08 青岛海尔科技有限公司 数据同步方法及装置、存储介质及电子装置
CN114328750A (zh) * 2021-12-31 2022-04-12 北京发现角科技有限公司 一种将业务数据同步ods层的方法及装置
CN114398444A (zh) * 2021-12-23 2022-04-26 中国电信股份有限公司 一种数据同步方法、装置、电子设备及存储介质
CN114547197A (zh) * 2022-02-21 2022-05-27 浪潮软件科技有限公司 一种基于flink的实时数据同步方法
CN115525662A (zh) * 2021-06-24 2022-12-27 花瓣云科技有限公司 保障数据一致性的处理方法、装置及相关设备
CN117032950A (zh) * 2023-07-10 2023-11-10 企迈科技有限公司 基于日志的实时数据透传方法及系统
CN117093544A (zh) * 2022-05-11 2023-11-21 网联清算有限公司 对内存数据库的数据进行持久化存储的方法及装置
CN119128015A (zh) * 2024-09-11 2024-12-13 京东科技信息技术有限公司 数据同步方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120030172A1 (en) * 2010-07-27 2012-02-02 Oracle International Corporation Mysql database heterogeneous log based replication
WO2016101752A1 (zh) * 2014-12-22 2016-06-30 北京奇虎科技有限公司 数据同步方法及装置
CN109753531A (zh) * 2018-12-26 2019-05-14 深圳市麦谷科技有限公司 一种大数据统计方法、系统、计算机设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120030172A1 (en) * 2010-07-27 2012-02-02 Oracle International Corporation Mysql database heterogeneous log based replication
WO2016101752A1 (zh) * 2014-12-22 2016-06-30 北京奇虎科技有限公司 数据同步方法及装置
CN109753531A (zh) * 2018-12-26 2019-05-14 深圳市麦谷科技有限公司 一种大数据统计方法、系统、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
何小川;: "MySQL数据库主从复制的实现", 广东通信技术 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112100147A (zh) * 2020-07-27 2020-12-18 杭州玳数科技有限公司 基于Flink实现Binlog到HIVE的实时采集方法和系统
CN112100147B (zh) * 2020-07-27 2024-06-07 杭州玳数科技有限公司 基于Flink实现Binlog到HIVE的实时采集方法和系统
CN112015821B (zh) * 2020-09-08 2023-11-07 香港中文大学（深圳） 一种数据库同步方法、终端以及存储介质
CN112015821A (zh) * 2020-09-08 2020-12-01 香港中文大学（深圳） 一种数据库同步方法、终端以及存储介质
CN112162904A (zh) * 2020-09-25 2021-01-01 同程网络科技股份有限公司 订单变更过程整合方法、提取方法、整合装置和提取装置
CN112948378A (zh) * 2021-02-04 2021-06-11 上海中通吉网络技术有限公司 基于HBase的数据处理方法、装置和设备
CN115525662A (zh) * 2021-06-24 2022-12-27 花瓣云科技有限公司 保障数据一致性的处理方法、装置及相关设备
CN114153916A (zh) * 2021-10-29 2022-03-08 青岛海尔科技有限公司 数据同步方法及装置、存储介质及电子装置
CN114398444A (zh) * 2021-12-23 2022-04-26 中国电信股份有限公司 一种数据同步方法、装置、电子设备及存储介质
CN114328750A (zh) * 2021-12-31 2022-04-12 北京发现角科技有限公司 一种将业务数据同步ods层的方法及装置
CN114547197A (zh) * 2022-02-21 2022-05-27 浪潮软件科技有限公司 一种基于flink的实时数据同步方法
CN117093544A (zh) * 2022-05-11 2023-11-21 网联清算有限公司 对内存数据库的数据进行持久化存储的方法及装置
CN117032950A (zh) * 2023-07-10 2023-11-10 企迈科技有限公司 基于日志的实时数据透传方法及系统
CN119128015A (zh) * 2024-09-11 2024-12-13 京东科技信息技术有限公司 数据同步方法及装置
CN119128015B (zh) * 2024-09-11 2025-06-13 京东科技信息技术有限公司 数据同步方法及装置

Also Published As

Publication number Publication date
CN111008246B (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
CN111008246B (zh) 数据库日志同步方法、装置、计算机设备及可读存储介质
CN110147411B (zh) 数据同步方法、装置、计算机设备及存储介质
CN109460349B (zh) 一种基于日志的测试用例生成方法和装置
CN111339041B (zh) 文件解析入库、文件生成方法及装置
CN110321387B (zh) 数据同步方法、设备及终端设备
CN110275916B (zh) 数据操作记录的存储方法、系统、装置及设备
CN111209344A (zh) 数据同步方法及装置
CN110362547B (zh) 日志文件的编码、解析、存储方法和装置
CN114398217B (zh) 一种fpga并行仿真的海量仿真波形数据切片方法
CN113625952B (zh) 一种对象存储方法、装置、设备及存储介质
CN113468196B (zh) 用于处理数据的方法、装置、系统、服务器和介质
US20160117376A1 (en) Synchronizing object in local object storage node
CN109460389B (zh) 一种基于openresty的日志记录方法
CN112699129A (zh) 一种数据处理系统、方法及装置
CN111367948B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN117951144A (zh) 数据同步校验方法及装置、电子设备、存储介质
CN112883088B (zh) 一种数据处理方法、装置、设备及存储介质
CN111159142A (zh) 一种数据处理方法及装置
CN110727677B (zh) 数据仓库内表格的血缘关系追溯的方法和装置
CN112000678A (zh) 数据同步方法、装置、服务器及存储介质
CN113886485A (zh) 数据处理方法、装置、电子设备、系统和存储介质
CN111047427A (zh) 数据上报方法、装置、服务器及存储介质
CN115391457A (zh) 跨数据库的数据同步方法、装置及存储介质
CN104317820B (zh) 报表的统计方法和装置
CN110287172B (zh) 一种格式化HBase数据的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant