CN111400407B - 数据的同步方法及装置、存储介质及电子装置 - Google Patents

Abstract

本发明提供了一种数据的同步方法及装置、存储介质及电子装置，其中，该方法包括：在预定消息系统中查询预定主题topic的最新更新记录，其中，所述预定topic用于记录源表中的数据；基于所述最新更新记录筛选所述源表中的增量数据，将增量数据写入所述预定topic中，以得到目标topic；将所述目标topic中记录的所述增量数据同步到目标表中。通过本发明，解决了相关技术中存在的数据同步时需要多次读取源表中的数据，对源表造成压力的问题，进而达到了减轻源表的压力，提高数据同步效率的目的。

Description

数据的同步方法及装置、存储介质及电子装置

技术领域

本发明涉及通信领域，具体而言，涉及一种数据的同步方法及装置、存储介质及电子装置。

背景技术

在相关技术中，将同一个源表中的数据同步到多个目标表中，需要多次读取源表中的数据，从而对源表造成一定的压力。例如，在进行增量数据抽取时，需要创建临时表或快照表用于记录当次抽取的标记位。在进行多表到单表的增量数据同步时，每次抽取都要为每张源表创建标记位记录，因此，需要多次读取源表中的数据，并且会占用较大存储资源。当存在多张源数据表时，目标数据表中数据条目编号的最大值可能来源于其他源数据表，导致增量数据同步异常，进而对源表造成一定的压力。

由此可知，相关技术中存在数据同步时需要多次读取源表中的数据，对源表造成压力的问题。

针对相关技术中存在的上述问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据的同步方法及装置、存储介质及电子装置，以至少解决相关技术中存在的数据同步时需要多次读取源表中的数据，对源表造成压力的问题。

根据本发明的一个实施例，提供了一种数据的同步方法，包括：在预定消息系统中查询预定主题topic的最新更新记录，其中，所述预定topic用于记录源表中的数据；基于所述最新更新记录筛选所述源表中的增量数据，将增量数据写入所述预定topic中，以得到目标topic；将所述目标topic中记录的所述增量数据同步到目标表中。

根据本发明的另一个实施例，提供了一种数据的同步装置，包括：查询模块，用于在预定消息系统中查询预定主题topic的最新更新记录，其中，所述预定topic用于记录源表中的数据；处理模块，用于基于所述最新更新记录筛选所述源表中的增量数据，将增量数据写入所述预定topic中，以得到目标topic；同步模块，用于将所述目标topic中记录的所述增量数据同步到目标表中。

根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，在预定消息系统中查询预定topic的最新更新记录，根据最新更新记录筛选源表中的增量数据，将增量数据写入预定topic中得到目标topic，再将目标topic中的增量数据同步到目标表中，由此可知，在进行数据同步时，是利用了预定消息系统来实现源表和目标表中的数据同步，从而无需多次读取源表中的数据，因此，可以解决相关技术中存在的数据同步时需要多次读取源表中的数据，对源表造成压力的问题，进而达到了减轻源表的压力，提高数据同步效率的目的。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的一种数据的同步方法的移动终端的硬件结构框图；

图2是根据本发明实施例的数据的同步方法的流程图；

图3是根据本发明具体实施例的增量数据生产队流程图；

图4是根据本发明具体实施例的增量数据消费队列流程图；

图5是根据本发明实施例的数据的同步装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种数据的同步方法的移动终端的硬件结构框图。如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的数据的同步方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种数据的同步方法，图2是根据本发明实施例的数据的同步方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，在预定消息系统中查询预定主题topic的最新更新记录，其中，所述预定topic用于记录源表中的数据；

步骤S204，基于所述最新更新记录筛选所述源表中的增量数据，将增量数据写入所述预定topic中，以得到目标topic；

步骤S206，将所述目标topic中记录的所述增量数据同步到目标表中。

可选地，上述步骤的执行主体可以为处理终端，或者其他的具备类似处理能力的设备，例如，服务器等，但不限于此。

在本实施例中，源表中包括递增序列字段或时间戳字段，并且，目标表与源表结构可以相同。

通过本发明，在预定消息系统中查询预定topic的最新更新记录，根据最新更新记录筛选源表中的增量数据，将增量数据写入预定topic中得到目标topic，再将目标topic中的增量数据同步到目标表中，由此可知，在进行数据同步时，是利用了预定消息系统来实现源表和目标表中的数据同步，从而无需多次读取源表中的数据，因此，可以解决相关技术中存在的数据同步时需要多次读取源表中的数据，对源表造成压力的问题，进而达到了减轻源表的压力，提高数据同步效率的目的。

在一个可选的实施例中，基于所述最新更新记录筛选所述源表中的增量数据，将增量数据写入所述预定topic中，以得到目标topic包括：在确定所述最新更新记录为空时，将所述源表的全量数据确定为所述增量数据，并将所述增量数据写入所述预定topic中，以得到所述目标topic；在确定所述最新更新记录不为空时，基于所述最新更新记录中记录的目标递增序列字段值筛选所述源表中的增量数据，并将所述增量数据写入所述预定topic中，以得到所述目标topic。在本实施例中，在向预定消息系统中同步数据时，首先需要将源表中的所有数据均同步到预定消息系统中，后续在源表发生数据更新时，会再将源表中发生更新的数据写入到预定消息系统中(即，在预定消息系统中会记录更新前的内容以及更新后的内容，更新几次，记录几份)。因此，在首次同步时，预定topic记录为空，需要将源表全量数据均写入预定topic中，在后续同步中，需要确定源表中的增量数据，将源表中的增量数据写入同步计划序列预定topic。其中，源表可以为消息队列、java内存等其他队列。

在一个可选的实施例中，基于所述最新更新记录中记录的目标递增序列字段值筛选所述源表中的增量数据包括：将所述源表中记录的位于所述目标递增序列字段值之后的数据确定为所述源表中的增量数据。在本实施例中，查询源表中的数据，根据查询到的最新记录，获取记录中的递增序列字段值，即为上次同步的结束标记，用于本次抽取的起始标记，将源表起始标记之后的记录确定为增量数据。其中，目标递增序列字段值可以为标识信息、字段信息、时间戳等。

在一个可选的实施例中，将所述目标topic中记录的所述增量数据同步到目标表中包括：将所述目标topic中记录的数据插入至所述目标表中；在确定存在主键冲突的情况下，删除所述目标表中出现冲突的主键对应的记录；在所述目标表中重新插入所述目标topic中记录的与所述出现冲突的主键对应的数据。在本实施例中，如果存在主键冲突异常，删除目标表中与异常记录同主键记录，再插入异常记录，实现插入、更新增量数据的目的。向目标表中同步数据时，是将预定消息系统中存储的与源表对应的表格中的所有数据依次插入目标表中，对于预定消息系统中标识相同的多条记录(即，源表发生更新的更新前、更新后记录)也会依次插入，但是，由于更新前、更新后记录的主键标识是一样的，在依次插入目标表中时会发生主键冲突的问题，在该情况下，需要删除目标表中之前插入的相同的标识下的内容，从而使后一次记录相同标识下的内容能够成功插入到目标表中，实现更新数据的增量同步。

在一个可选的实施例中，在预先创建的预定消息系统中查询预定主题topic的最新更新记录之前，所述方法还包括：为所述源表创建同步任务；为所述同步任务分配唯一序列；在所述预定消息系统中创建与所述序列同名的所述预定topic。在本实施例中，在进行增量数据同步时，存在源表为多张表，并且位于不同数据库的场景，可以为每张源表创建一个同步任务，并生成唯一序列，以该序列在预定消息系统中创建序列同名topic，提高同步效率。此外，在预定消息系统中创建的预定topic也可以与序列不同名，只要消费者能够知悉从具体某个表中做同步即可。例如，预定消息系统中存储有多张表记录的多个topic，不同topic的内容需要同步到不同的目标表中，所以，消费者在做数据同步时需要知晓待同步的具体的topic名称，方便同步，因此，只需知道待同步的topic的名称即同步到任意一张表。

在一个可选的实施例中，所述预定消息系统包括kafka。在本实施例中，可以将源表中的所有数据均记录到kafka中，然后利用kafka中记录的数据为目标表做同步，进而减轻源表的压力。需要说明的是，kafka只是一个可选的实施方式，本发明对预定消息系统不做限制。

下面结合具体实施方式对如何进行数据的同步进行说明：

以递增序列字段为例进行说明，同步任务需要配置定时调度，包括增量数据生产队列(将源表中的数据写入kafka中)以及增量数据消费队列(将kafka中的数据，即，从源表中写入kafka的数据，插入到目标表中)。图3是根据本发明具体实施例的增量数据生产队流程图，如图3所示，本发明具体实施例中的增量数据生产队流程包括如下步骤：

步骤S302，开始将源表中的数据写入kafka中。

步骤S304，在kafka中查询与同步计划序列同名topic(对应于上述预定topic)的最新记录。其中，最新记录可以为标识信息、字段信息等，然后需要从源表中找与标识信息、字段信息对应的具体内容，写入到kafka中。

步骤S306，判断最新记录是否存在，如果判断结果为否，则执行步骤S308，如果判断结果为是，则执行步骤S310。

步骤S308，获取源表全量数据，写入kafka队列，即，首次同步时，此topic记录为空，查询源表全量数据写入同步计划序列同名的topic。需要说明的是，topic也可以与同步计划序列不同名，只要消费者能够知悉从具体某个表中做同步即可(kafka中存储有多个表格，不同的表格中的内容可能是需要同步到不同的目标表中的，所以，消费者在做数据同步时需要知晓待同步的具体的表格)。

步骤S310，获取记录中的递增序列字段值，筛选源表增量数据，写入kafka队列，即，在后续同步中，根据步骤S304中查询到的最新记录，获取记录中的递增序列字段值，即为上次同步的结束标记，用于本次抽取的起始标记，将源表起始标记之后的记录为增量数据，写入到同步计划序列同名topic。

步骤S312，源表中的数据写入kafka中完成。

图4是根据本发明具体实施例的增量数据消费队列流程图，如图4所示，本发明具体实施例中的增量数据消费队列流程包括如下步骤：

步骤S402，开始将kafka中的数据(即，从源表中写入kafka的数据)插入到目标表中。

步骤S404，消费同步计划序列同名topic记录，插入目标表。

步骤S406，判断插入过程是否有主键冲突异常，如果判断结果为是，则执行步骤S408，如果判断结果为否，说明增量数据中无更新数据，则执行步骤S412。

步骤S408，删除目标表中与异常记录同主键记录。

步骤S410，插入异常记录，实现插入、更新增量数据的同步。

步骤S412，kafka中的数据插入到目标表中结束。

在前述实施例中，在源表有递增序列字段或时间戳字段，并且目标数据库中存在与源表相同结构的目标表时，查询数据队列最新记录(对应于上述最新更新记录)的时间戳或递增序列，用于源表增量抽取的起始位置，其中，数据队列可以为消息队列，也可以为java内存等其他队列。当存在多张源表时，为每张源表生成同步计划序列，在消息队列中创建序列同名主题(对应于上述预定topic)，实现多张源表到同一目的表(对应于上述目标表)的增量数据同步。在增量数据更新时，数据插入后，如果存在主键冲突异常，则删除目标表中与异常记录同主键记录，再插入异常记录，实现插入、更新增量数据的目的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种数据的同步装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图5是根据本发明实施例的数据的同步装置的结构框图，如图5所示，该装置包括：

查询模块52，用于在预定消息系统中查询预定主题topic的最新更新记录，其中，所述预定topic用于记录源表中的数据；

处理模块54，用于基于所述最新更新记录筛选所述源表中的增量数据，将增量数据写入所述预定topic中，以得到目标topic；

同步模块56，用于将所述目标topic中记录的所述增量数据同步到目标表中。

在一个可选的实施例中，所述处理模块54包括：第一处理单元，用于在确定所述最新更新记录为空时，将所述源表的全量数据确定为所述增量数据，并将所述增量数据写入所述预定topic中，以得到所述目标topic；第二处理单元，用于在确定所述最新更新记录不为空时，基于所述最新更新记录中记录的目标递增序列字段值筛选所述源表中的增量数据，并将所述增量数据写入所述预定topic中，以得到所述目标topic。

在一个可选的实施例中，所述第二处理单元可以通过以下方式实现基于所述最新更新记录中记录的目标递增序列字段值筛选所述源表中的增量数据：将所述源表中记录的位于所述目标递增序列字段值之后的数据确定为所述源表中的增量数据。

在一个可选的实施例中，所述同步模块56可以通过以下方式实现将所述目标topic中记录的所述增量数据同步到目标表中：将所述目标topic中记录的数据插入至所述目标表中；在确定存在主键冲突的情况下，删除所述目标表中出现冲突的主键对应的记录；在所述目标表中重新插入所述目标topic中记录的与所述出现冲突的主键对应的数据。

在一个可选的实施例中，所述装置可以用于在预先创建的预定消息系统中查询预定主题topic的最新更新记录之前，为所述源表创建同步任务；为所述同步任务分配唯一序列；在所述预定消息系统中创建与所述序列同名的所述预定topic。

在一个可选的实施例中，所述预定消息系统包括kafka。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述计算机可读存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，在预定消息系统中查询预定主题topic的最新更新记录，其中，所述预定topic用于记录源表中的数据；

S2，基于所述最新更新记录筛选所述源表中的增量数据，将增量数据写入所述预定topic中，以得到目标topic；

S3，将所述目标topic中记录的所述增量数据同步到目标表中。

可选地，在本实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，在预定消息系统中查询预定主题topic的最新更新记录，其中，所述预定topic用于记录源表中的数据；

S2，基于所述最新更新记录筛选所述源表中的增量数据，将增量数据写入所述预定topic中，以得到目标topic；

S3，将所述目标topic中记录的所述增量数据同步到目标表中。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种数据的同步方法，其特征在于，包括：

在预定消息系统中查询预定主题topic的最新更新记录，其中，所述预定主题topic用于记录源表中的数据；

基于所述最新更新记录筛选所述源表中的增量数据，将增量数据写入所述预定主题topic中，以得到目标topic；

将所述目标topic中记录的所述增量数据同步到目标表中；

其中，基于所述最新更新记录筛选所述源表中的增量数据，将增量数据写入所述预定主题topic中，以得到目标topic包括：

在确定所述最新更新记录为空时，将所述源表的全量数据确定为所述增量数据，并将所述增量数据写入所述预定主题topic中，以得到所述目标topic；

在确定所述最新更新记录不为空时，基于所述最新更新记录中记录的目标递增序列字段值筛选所述源表中的增量数据，并将所述增量数据写入所述预定主题topic中，以得到所述目标topic。

2.根据权利要求1所述的方法，其特征在于，基于所述最新更新记录中记录的目标递增序列字段值筛选所述源表中的增量数据包括：

将所述源表中记录的位于所述目标递增序列字段值之后的数据，确定为所述源表中的增量数据。

3.根据权利要求1所述的方法，其特征在于，将所述目标topic中记录的所述增量数据同步到目标表中包括：

将所述目标topic中记录的数据插入至所述目标表中；

在确定存在主键冲突的情况下，删除所述目标表中出现冲突的主键对应的记录；

在所述目标表中重新插入所述目标topic中记录的与所述出现冲突的主键对应的数据。

4.根据权利要求1所述的方法，其特征在于，在预先创建的预定消息系统中查询预定主题topic的最新更新记录之前，所述方法还包括：

为所述源表创建同步任务；

为所述同步任务分配唯一序列；

在所述预定消息系统中创建与所述序列同名的所述预定主题topic。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述预定消息系统包括kafka。

6.一种数据的同步装置，其特征在于，包括：

查询模块，用于在预定消息系统中查询预定主题topic的最新更新记录，其中，所述预定主题topic用于记录源表中的数据；

处理模块，用于基于所述最新更新记录筛选所述源表中的增量数据，将增量数据写入所述预定主题topic中，以得到目标topic；

同步模块，用于将所述目标topic中记录的所述增量数据同步到目标表中；

其中，所述处理模块包括：

第一处理单元，用于在确定所述最新更新记录为空时，将所述源表的全量数据确定为所述增量数据，并将所述增量数据写入所述预定主题topic中，以得到所述目标topic；

第二处理单元，用于在确定所述最新更新记录不为空时，基于所述最新更新记录中记录的目标递增序列字段值筛选所述源表中的增量数据，并将所述增量数据写入所述预定主题topic中，以得到所述目标topic。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至5任一项中所述的方法。

8.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至5任一项中所述的方法。