[go: up one dir, main page]

CN111797167B - 数据同步系统及方法、数据处理中心 - Google Patents

数据同步系统及方法、数据处理中心 Download PDF

Info

Publication number
CN111797167B
CN111797167B CN202010625437.XA CN202010625437A CN111797167B CN 111797167 B CN111797167 B CN 111797167B CN 202010625437 A CN202010625437 A CN 202010625437A CN 111797167 B CN111797167 B CN 111797167B
Authority
CN
China
Prior art keywords
data
database
security domain
central
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010625437.XA
Other languages
English (en)
Other versions
CN111797167A (zh
Inventor
伍军
张晖
陈静
韩晔
郭亚栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN202010625437.XA priority Critical patent/CN111797167B/zh
Publication of CN111797167A publication Critical patent/CN111797167A/zh
Application granted granted Critical
Publication of CN111797167B publication Critical patent/CN111797167B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Hardware Redundancy (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种数据同步系统及方法、数据处理中心，该系统包括：数据处理中心和多个安全域；所述数据处理中心包括安全域中心节点和多个中心前置机；安全域中心节点，用于从数据处理中心的第一中心前置机接收第一安全域的第一边界前置机发送的来自第一安全域的第一数据库的待同步数据，并将待同步数据发送给数据处理中心的第二中心前置机，以使第二中心前置机通过第二安全域的第二边界前置机将待同步数据发送给第二安全域的第二数据库，待同步数据中携带的目的数据库信息指向第二安全域的第二数据库。本发明实施例中数据处理中心与各安全域呈星形连接，能够减少前置机的设置以及传送进程的配置，减少维护工作量，且便于扩展。

Description

数据同步系统及方法、数据处理中心
技术领域
本发明实施例涉及安全域技术领域，尤其涉及一种数据同步系统及方法、数据处理中心。
背景技术
为了安全管理需要，往往需要进行安全域划分：将所有相同安全等级、具有相同安全需求的数据库划入同一网段内，在网段的边界处进行访问控制。不同安全域之间的访问原则是不允许直接可达。
在现有技术中，可以通过在分属于两个安全域的数据库之间添置前置机，两个数据库通过各自连接的前置机来进行数据同步。
然而，对于多个安全域的情况，需要设置的前置机的数量会非常多，不易维护，且在进行数据库增删处理时的工作量也会非常大。
发明内容
本发明实施例提供一种数据同步系统及方法、数据处理中心，以提高第一方面，本发明实施例提供一种数据同步系统，包括：
数据处理中心和多个安全域；
多个所述安全域包括第一安全域和第二安全域；所述第一安全域包括第一数据库和第一边界前置机；所述第二安全域包括第二数据库和第二边界前置机；
所述数据处理中心包括安全域中心节点和多个中心前置机；多个所述中心前置机包括第一中心前置机和第二中心前置机；所述第一中心前置机与所述第一边界前置机通信，所述第二中心前置机与所述第二边界前置机通信；
所述安全域中心节点，用于从第一中心前置机接收所述第一边界前置机发送的来自所述第一安全域的第一数据库的待同步数据，并将所述待同步数据发送给所述第二中心前置机，以使所述第二中心前置机通过所述第二边界前置机将所述待同步数据发送给所述第二安全域的第二数据库，所述待同步数据中携带的目的数据库信息指向所述第二安全域的第二数据库。
在一种可能的设计中，每个所述安全域中包括：多个数据库，每个所述数据库与一边界前置机通信，每个所述边界前置机与一所述中心前置机通信。
在一种可能的设计中，每个所述安全域中包括：多个数据库，一中心节点和一边界前置机，每个所述数据库通过所述中心节点与所述边界前置机通信，所述边界前置机与一所述中心前置机通信。
在一种可能的设计中，所述待同步数据包括更改后的数据或者数据变化的操作信息。
在一种可能的设计中，所述中心节点，还用于接收所述第一安全域的多个数据库中的源端数据库发送的待同步数据，并将所述待同步数据发送给所述第一安全域的多个数据库中的目标端数据库，以使所述目标端数据库根据所述待同步数据实现与所述源端数据库的数据同步。
在一种可能的设计中，所述待同步数据为日志数据；
所述源端数据库，用于将数据变化的操作信息记载在日志数据中，通过捕获进程抓取所述日志数据，并通过第一传送进程将所述日志数据发送给所述中心节点；
所述中心节点，具体用于接收所述日志数据，并通过第二传送进程将所述日志数据发送给多个所述数据库中的目标端数据库；
所述目标端数据库，用于通过投递进程从所述日志数据中读取数据更改信息，根据所述数据更改信息创建标准语句，并执行所述标准语句，实现与所述源端数据库的数据同步。
在一种可能的设计中，所述标准语句为SQL语句。
第二方面，本发明实施例提供一种数据同步方法，应用于如上第一方面以及第一方面的可能的设计所述的数据处理中心，该方法包括：
第一数据库将待同步数据发送给第一边界前置机；
第一边界前置机将所述待同步数据发送给第一中心前置机；
第一中心前置机将所述待同步数据发送给安全域中心节点；
所述安全域中心节点将所述待同步数据发送给第二中心前置机；
所述第二中心前置机将所述待同步数据发送给第二数据库；所述待同步数据中携带的目的数据库信息指向所述第二安全域的第二数据库。
第三方面，本发明实施例提供一种数据处理中心，包括：安全域中心节点和多个中心前置机；多个所述中心前置机包括第一中心前置机和第二中心前置机；所述第一中心前置机与第一安全域的第一边界前置机通信，所述第二中心前置机与第二安全域的第二边界前置机通信；
所述安全域中心节点，用于从第一中心前置机接收所述第一边界前置机发送的来自所述第一安全域的第一数据库的待同步数据，并将所述待同步数据发送给所述第二中心前置机，以使所述第二中心前置机通过所述第二边界前置机将所述待同步数据发送给所述第二安全域的第二数据库，所述待同步数据中携带的目的数据库信息指向所述第二安全域的第二数据库。
第四方面，本发明实施例提供一种数据同步方法，应用于如上第三方面的设计所述的数据处理中心，包括：所述安全域中心节点从第一中心前置机接收所述第一边界前置机发送的来自所述第一安全域的第一数据库的待同步数据；
所述安全域中心节点将所述待同步数据发送给所述第二中心前置机，以使所述第二中心前置机通过所述第二边界前置机将所述待同步数据发送给所述第二安全域的第二数据库，所述待同步数据中携带的目的数据库信息指向所述第二安全域的第二数据库。
本实施例提供的数据同步系统及方法、数据处理中心，该系统包括：数据处理中心和多个安全域；多个所述安全域包括第一安全域和第二安全域；所述第一安全域包括第一数据库和第一边界前置机；所述第二安全域包括第二数据库和第二边界前置机；所述数据处理中心包括安全域中心节点和多个中心前置机；多个所述中心前置机包括第一中心前置机和第二中心前置机；所述第一中心前置机与所述第一边界前置机通信，所述第二中心前置机与所述第二边界前置机通信；所述安全域中心节点，用于从第一中心前置机接收所述第一边界前置机发送的来自所述第一安全域的第一数据库的待同步数据，并将所述待同步数据发送给所述第二中心前置机，以使所述第二中心前置机通过所述第二边界前置机将所述待同步数据发送给所述第二安全域的第二数据库，所述待同步数据中携带的目的数据库信息指向所述第二安全域的第二数据库。本实施例提供的数据处理系统通过设置数据处理中心，使得数据处理中心与各安全域形成星形连接，不同安全域之间进行数据同步时，均可以以数据处理中心为媒介，相对于现有技术中任两个安全域的数据库之间均需要单独配置前置机以及传送进程，能够大大减少前置机的设置以及传送进程的配置，减少了维护工作量，并且便于安全域的扩展。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中安全域间数据同步系统的示意图；
图2为本发明一实施例提供的数据同步系统的结构示意图；
图3为本发明又一实施例提供的数据同步系统的结构示意图；
图4为本发明又一实施例提供的数据同步系统的结构示意图；
图5为本发明一实施例提供的数据同步方法的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了安全管理需要，往往需要进行安全域划分：将所有相同安全等级、具有相同安全需求的数据库划入同一网段内，在网段的边界处进行访问控制。不同安全域之间的访问原则是不允许直接可达。
在业务流程中，经常需要在不同数据库之间进行数据同步，例如在新建话务业务时，前台将受理的用户资料存入了营业数据库，而在进行计费出账时，账务数据库也需要用到用户资料，所以需要将用户资料由营业数据库同步给账务数据库。若需要数据同步的两个数据库分属于不同的安全域的话，则需要跨安全域进行数据复制。
在现有技术中，可以通过在分属于两个安全域的数据库之间添置前置机，两个数据库通过各自连接的前置机来进行数据同步。图1为现有技术中安全域间数据同步系统的示意图，如图1所示，第一安全域10和第二安全域20分别包括4个数据库。第一安全域10内部的4个数据库之间可以进行直接的数据传输，但是为了保证数据安全，分属于不同安全域的数据库之间的数据传输需要通过部署前置机来进行。以第一安全域10内的数据库11为源端数据库、第二安全域20内的数据库21为目的端数据库为例，在进行跨安全域进行数据同步时，数据库11需连接前置机A1，并部署从数据库11到前置机A1的传送进程，数据库21需连接前置机B1，并部署前置机A1到前置机B1的传送进程，以及前置机B1到数据库21的传送进程。至此，能够实现数据库11至数据库21的数据传输。相应的，若以数据库11为源端数据库，以数据库22为目的端数据库，实现数据库11至数据库22的数据传输，则同样需要增加两台前置机，以及部署三个传送进程。也就是说，若要实现第一安全域中4个数据库到第二安全域中4个数据库的两两之间的数据传输，那么需要设置32个前置机，部署32*3＝96个传送进程。
由此可见，跨域进行数据库之间的数据同步，需要设置大量的前置机，以及部署大量的传送进程，导致维护工作量较大，且安全域数量增多的话，需要增设的前置机以及传送进程更是会大幅增长。基于此，本发明实施例提供一种数据同步系统，以提高数据同步的准确度。
在本实施例中，设置了数据处理中心。多个安全域与该数据处理中心呈星型连接。不同安全域之间进行数据同步时，均可以以数据处理中心为媒介，相对于现有技术中任两个安全域的数据库之间均需要单独配置前置机以及传送进程，能够大大减少前置机的设置以及传送进程的配置，减少了维护工作量，并且便于安全域的扩展。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图2为本发明一实施例提供的数据同步系统的结构示意图。如图2所示，该系统包括：
数据处理中心200和多个安全域。
多个所述安全域包括第一安全域110和第二安全域120；所述第一安全域110包括第一数据库和第一边界前置机；所述第二安全域120包括第二数据库和第二边界前置机。
所述数据处理中心200包括安全域中心节点和多个中心前置机；多个所述中心前置机包括第一中心前置机和第二中心前置机；所述第一中心前置机与所述第一边界前置机通信，所述第二中心前置机与所述第二边界前置机通信。
所述安全域中心节点，用于从第一中心前置机接收所述第一边界前置机发送的来自所述第一安全域110的第一数据库的待同步数据，并将所述待同步数据发送给所述第二中心前置机，以使所述第二中心前置机通过所述第二边界前置机将所述待同步数据发送给所述第二安全域120的第二数据库，所述待同步数据中携带的目的数据库信息指向所述第二安全域120的第二数据库。
可选地，所述待同步数据包括更改后的数据或者数据变化的操作信息。具体的，源数据库中的原始数据通过一系列增、删、改操作后得到更改后的数据，待同步数据可以为更改后的数据，还可以为该一系列的增、删、改的操作信息，也即数据变化的操作信息。
实际应用中，以第一安全域110中的一数据库为源端数据库，以第二安全域120中的一数据库为目的端数据库为例对该源端数据库与该目的端数据库之间的数据同步过程进行说明，源端数据库依次通过第一安全域110的第一边界前置机、数据处理中心200的第一中心前置机、数据处理中心200的安全域中心节点、数据处理中心200的第二中心前置机和第二安全域120的第二边界前置机，与第二安全域120的目的端数据库进行通信，具体的，可以部署源端数据库与第一边界前置机之间的传送进程，以及第一边界前置机与第一中心前置机之间的传送进程，第一中心前置机与安全域中心节点之间的传送进程，安全域中心节点与第二中心前置机之间的传送进程，第二中心前置机与第二边界前置机之间的传送进程，第二边界前置机与目的端数据库之间的传送进程，并通过上述部署的各传送进程将待同步数据从源端数据库发送目的端数据库，完成待同步数据的传递，并使得目的端数据库给待同步数据进行与源端数据库的数据同步。
本实施例提供的数据同步系统，通过设置数据处理中心200，使得数据处理中心200与各安全域形成星形连接，不同安全域之间进行数据同步时，均可以以数据处理中心200为媒介，相对于现有技术中任两个安全域的数据库之间均需要单独配置前置机以及传送进程，能够大大减少前置机的设置以及传送进程的配置，减少了维护工作量，并且便于安全域的扩展。
图3为本发明又一实施例提供的数据同步系统的结构示意图。如图3所示，在图2所示的实施例的基础上，本实施例中对于各安全域的内部架构进行了详细说明，每个安全域中包括：多个数据库，每个所述数据库与一边界前置机通信，每个所述边界前置机与一所述中心前置机通信。
实际应用中，针对每个安全域中的各数据库均分别配置边界前置机，相应的，数据处理中心200中需对应于安全域中每个边界前置机配置一中心前置机。下面以第一安全域110中的一数据库113为源端数据库，以第二安全域120中的一数据库123为目的端数据库为例对该源端数据库与该目的端数据库之间的数据同步过程进行说明，源端数据库依次通过第一安全域110的第一边界前置机112、数据处理中心200的第一中心前置机202、数据处理中心200的安全域中心节点201、数据处理中心200的第二中心前置机203和第二安全域120的第二边界前置机122，与第二安全域120的目的端数据库进行通信，具体的，可以部署源端数据库与第一边界前置机112之间的传送进程，以及第一边界前置机112与第一中心前置机202之间的传送进程，第一中心前置机202与安全域中心节点201之间的传送进程，安全域中心节点201与第二中心前置机203之间的传送进程，第二中心前置机203与第二边界前置机122之间的传送进程，第二边界前置机122与目的端数据库之间的传送进程，并通过上述部署的各传送进程将待同步数据从源端数据库发送目的端数据库，完成待同步数据的传递，并使得目的端数据库给待同步数据进行与源端数据库的数据同步。
总体来看，本实施例中由于数据处理中心200内的前置机以及前置机与中心节点之间的传送进程可以被复用，所以仅需要设置16个前置机以及24个传送进程。相对于图1所示的现有技术需要设置的32个前置机和部署96个传送进程来说，能够大大减少前置机的设置以及传送进程的部署，节约成本，减少工作量。并且在需要新增安全域时，需要增加的前置机也会相对于现有技术减少很多。
本实施例提供的数据同步系统，通过设置数据处理中心200，使得数据处理中心200与各安全域形成星形连接，不同安全域之间进行数据同步时，均可以以数据处理中心200为媒介，相对于现有技术中任两个安全域的数据库之间均需要单独配置前置机以及传送进程，能够大大减少前置机的设置以及传送进程的配置，减少了维护工作量，并且便于安全域的扩展。
图4为本发明又一实施例提供的数据同步系统的结构示意图。如图4所示，在图2所示的实施例的基础上，本实施例中对于各安全域的内部架构进行了详细说明，本实施例中，每个所述安全域中包括：多个数据库，一中心节点和一边界前置机，每个所述数据库通过所述中心节点与所述边界前置机通信，所述边界前置机与一所述中心前置机通信。
实际应用中，可以为每个安全域中的数据库配置中心节点，使得每个安全域中的中心节点与该安全域中的各数据库呈星型连接。下面以第一安全域110中的一数据库113为源端数据库，以第二安全域120中的一数据库123为目的端数据库为例对该源端数据库与该目的端数据库之间的数据同步过程进行说明，源端数据库依次通过第一安全域110的中心节点111、第一边界前置机112、数据处理中心200的第一中心前置机202、数据处理中心200的安全域中心节点201、数据处理中心200的第二中心前置机203和第二安全域120的第二边界前置机122、中心节点121，与第二安全域120的目的端数据库进行通信，具体的，可以部署源端数据库与中心节点111之间的传送进程，中心节点111与第一边界前置机112之间的传送进程，以及第一边界前置机112与第一中心前置机202之间的传送进程，第一中心前置机202与安全域中心节点201之间的传送进程，安全域中心节点201与第二中心前置机203之间的传送进程，第二中心前置机203与第二边界前置机122之间的传送进程，第二边界前置机122余中心节点121之间的传送进程，第二边界前置机122与目的端数据库之间的传送进程，并通过上述部署的各传送进程将待同步数据从源端数据库发送目的端数据库，完成待同步数据的传递，并使得目的端数据库给待同步数据进行与源端数据库的数据同步。
总体来看，本实施例中为每个安全域内配置中心节点，且将安全域内的各数据库与该中心节点呈星型连接的话，使得安全域内的前置机也可以复用，总共仅需要设置4个前置机以及14个传送进程。相对于图1所示的现有技术需要设置的32个前置机和部署96个传送进程来说，能够大大减少前置机的设置以及传送进程的部署，节约成本，减少工作量。并且在需要新增安全域时，需要增加的前置机也会相对于现有技术减少很多。
可选地，所述中心节点，还用于接收所述第一安全域110的多个数据库中的源端数据库发送的待同步数据，并将所述待同步数据发送给所述第一安全域110的多个数据库中的目标端数据库，以使所述目标端数据库根据所述待同步数据实现与所述源端数据库的数据同步。
可选地，所述待同步数据为日志数据；
所述源端数据库，用于将数据变化的操作信息记载在日志数据中，通过捕获进程抓取所述日志数据，并通过第一传送进程将所述日志数据发送给所述中心节点；
所述中心节点，具体用于接收所述日志数据，并通过第二传送进程将所述日志数据发送给多个所述数据库中的目标端数据库；
所述目标端数据库，用于通过投递进程从所述日志数据中读取数据更改信息，根据所述数据更改信息创建标准语句，并执行所述标准语句，实现与所述源端数据库的数据同步。
可选地，所述标准语句为SQL语句。
以待同步数据为日志数据为例，下面对数据同步过程进行说明。在具体实现过程中：
第一步、利用捕捉进程(Extract Process)在源端数据库端读取日志信息(例如联机重做日志Online Redo Log或归档Archive Log)，然后进行解析，只提取其中数据的变化如增、删、改操作，并将相关信息转换为OGG(Oracle GoldenGate，甲骨文数据库)自定义的中间格式存放在本地队列文件(local trail file)中。再利用传送进程(Pump Process)将队列文件通过TCP/IP传送到第一安全域110的中心节点。该队列文件相当于日志数据。
第二步、第一安全域110的中心节点接收数据变化缓存到远程队列文件(Remotetrail file)中，等待传送进程(Pump Process)读取数据。
第三步、传送进程(Pump Process)将队列文件通过TCP/IP传送到第一安全域110的边界前置机上。
第四步、第一安全域110的边界前置机接收数据变化缓存到远程队列文件(Remotetrail file)中，等待传送进程(Pump Process)读取数据。
第五步、传送进程(Pump Process)将队列文件通过TCP/IP传送到数据处理中心200与第一安全域110的边界前置机上。
第六步、数据处理中心200与第一安全域110的边界前置机接收数据变化缓存到远程队列文件(Remote trail file)中，等待传送进程(Pump Process)读取数据。
第七步、传送进程(Pump Process)将队列文件通过TCP/IP传送到数据处理中心200的安全域中心节点上。
第八步、数据处理中心200的安全域中心节点接收数据变化缓存到远程队列文件(Remote trail file)中，等待传送进程(Pump Process)读取数据。
第九步、传送进程(Pump Process)将队列文件通过TCP/IP传送到数据处理中心200与第二安全域120的边界前置机上。
第十步、数据处理中心200与第二安全域120的边界前置机接收数据变化缓存到远程队列文件(Remote trail file)中，等待传送进程(Pump Process)读取数据。
第十一步、传送进程(Pump Process)将队列文件通过TCP/IP传送到第二安全域120的边界前置机上。
第十二步、第二安全域120的边界前置机接收数据变化缓存到远程队列文件(Remote trail file)中，等待传送进程(Pump Process)读取数据。
第十三步、传送进程(Pump Process)将队列文件通过TCP/IP传送到第二安全域120的中心节点上。
第十四步、第二安全域120的中心节点接收数据变化缓存到远程队列文件(Remotetrail file)中，等待传送进程(Pump Process)读取数据。
第十五步、传送进程(Pump Process)将队列文件通过TCP/IP传送到第二安全域120的目的端数据库上。
第十六步、目的端数据库接收数据变化缓存到远程队列文件(Remote trailfile)中，等待投递进程(replicat process)读取数据。
第十七步、投递进程(replicat process)从队列中读取数据变化并创建对应的SQL语句，通过数据库的本地接口执行，提交到目的端数据库中。
本实施例提供的数据同步系统，通过在安全域中设置中心节点，使得中心节点与该安全域中的各数据库形成星形连接，不同数据库可以通过中心节点与该安全域的边界前置机通信，并在不同安全域之间进行数据同步时，均可以以数据处理中心200为媒介，相对于现有技术中任两个安全域的数据库之间均需要单独配置前置机以及传送进程，能够大大减少前置机的设置以及传送进程的配置，减少了维护工作量，并且便于安全域的扩展。
具体的，本实施例提供的数据同步系统具有以下优点：
第一、星型结构简单：网状结构又称作无规则节点之间的连接，是任意的、没规律的，网状拓朴主要优点是系统可靠性高，但结构复杂，管理和维护困难。星型结构指网络中所有数据库结点都连接在一个中心节点，所有数据的传送以及信息的交换都通过中心节点来完成，结构简单，连接方便，管理和维护都相对容易，而且扩展性强，可通过部署主备双中心节点保证系统的可靠性。
第二、网络访问控制策略维护工作量小：网状结构中新增节点需要增加新数据库增节点和原有所有节点的访问控制策略，新增量跟原有节点数N有关，即为2N条。星型结构中新增节点只需增加新增节点和中心节点之间的访问策略即可，新增量与原有节点数N无关，即仅为2条
第三、新增后台捕捉进程EP(Extract Process)小：网状结构中新增节点需要增加新增节点和原有所有节点的后台捕捉进程EP，新增量跟原有节点数N有关，即为2N个。星型结构中新增节点只需调整新增节点和中心节点之间的访问策略即可，新增量与原有节点数N无关，即仅为2个
第四、可实现跨安全域的数据复制：网状结构中节点间数据复制直接对接，由于跨安全域访问不允许直接可达，因此数据复制受到限制。在违背安全域分域管理的总体原则下，安全域内的数据复制采用星型结构，跨安全域间的数据复制采用中心节点+边界前置机的方式，采用以中心安全域为中心的全星型结构实现。
第五、系统暴露面小，便于集中做安全防护：网状结构中由于任意数据库两节点可相互访问，一旦一个节点遭受安全事件，可快速蔓延到其他节点上。星型结构中由于访问策略只有节点与中心节点可相互访问，集中防护好中心节点，可避免一个节点遭受安全事件，蔓延到其他节点上。
图5为本发明一实施例提供的数据同步方法的流程示意图。应用于图2至图4所示的数据同步系统，如图5所示，该方法包括：
501、第一数据库将待同步数据发送给第一边界前置机。
502、第一边界前置机将所述待同步数据发送给第一中心前置机。
503、第一中心前置机将所述待同步数据发送给安全域中心节点。
504、所述安全域中心节点将所述待同步数据发送给第二中心前置机。
505、所述第二中心前置机将所述待同步数据发送给第二数据库。所述待同步数据中携带的目的数据库信息指向所述第二安全域的第二数据库。
本实施例提供的数据同步方法，通过设置的数据处理中心各安全域形成星形连接，能够实现在不同安全域之间进行数据同步时，均可以以数据处理中心为媒介，相对于现有技术中任两个安全域的数据库之间均需要单独配置前置机以及传送进程，能够大大减少前置机的设置以及传送进程的配置，减少了维护工作量，并且便于安全域的扩展。
本发明实施例提供的数据同步方法，可应用于上述的数据同步系统实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
本发明实施例还提供一种数据处理中心，该数据处理中心，包括：安全域中心节点和多个中心前置机；多个所述中心前置机包括第一中心前置机和第二中心前置机；所述第一中心前置机与第一安全域的第一边界前置机通信，所述第二中心前置机与第二安全域的第二边界前置机通信。
所述安全域中心节点，用于从第一中心前置机接收所述第一边界前置机发送的来自所述第一安全域的第一数据库的待同步数据，并将所述待同步数据发送给所述第二中心前置机，以使所述第二中心前置机通过所述第二边界前置机将所述待同步数据发送给所述第二安全域的第二数据库，所述待同步数据中携带的目的数据库信息指向所述第二安全域的第二数据库。
本实施例提供的数据处理中心，与各安全域形成星形连接，不同安全域之间进行数据同步时，均可以以数据处理中心为媒介，相对于现有技术中任两个安全域的数据库之间均需要单独配置前置机以及传送进程，能够大大减少前置机的设置以及传送进程的配置，减少了维护工作量，并且便于安全域的扩展。
本发明实施例提供的数据处理中心，与上述的数据同步系统实施例中的数据处理中心，其实现原理和技术效果类似，本实施例此处不再赘述。
本发明实施例还提供一种数据同步方法，应用于上述实施例所述的数据处理中心，该方法包括：
所述安全域中心节点从第一中心前置机接收所述第一边界前置机发送的来自所述第一安全域的第一数据库的待同步数据。
所述安全域中心节点将所述待同步数据发送给所述第二中心前置机，以使所述第二中心前置机通过所述第二边界前置机将所述待同步数据发送给所述第二安全域的第二数据库，所述待同步数据中携带的目的数据库信息指向所述第二安全域的第二数据库。
本实施例提供的数据同步方法，通过设置的数据处理中心各安全域形成星形连接，能够实现在不同安全域之间进行数据同步时，均可以以数据处理中心为媒介，相对于现有技术中任两个安全域的数据库之间均需要单独配置前置机以及传送进程，能够大大减少前置机的设置以及传送进程的配置，减少了维护工作量，并且便于安全域的扩展。
本发明实施例提供的数据同步方法，可应用于上述的数据同步系统实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种数据同步系统，其特征在于，包括：数据处理中心和多个安全域；
多个所述安全域包括第一安全域和第二安全域；所述第一安全域包括第一数据库和第一边界前置机；所述第二安全域包括第二数据库和第二边界前置机；
所述数据处理中心包括安全域中心节点和多个中心前置机；多个所述中心前置机包括第一中心前置机和第二中心前置机；所述第一中心前置机与所述第一边界前置机通信，所述第二中心前置机与所述第二边界前置机通信；
所述安全域中心节点，用于从第一中心前置机接收所述第一边界前置机发送的来自所述第一安全域的第一数据库的待同步数据，并将所述待同步数据发送给所述第二中心前置机，以使所述第二中心前置机通过所述第二边界前置机将所述待同步数据发送给所述第二安全域的第二数据库，所述待同步数据中携带的目的数据库信息指向所述第二安全域的第二数据库。
2.根据权利要求1所述的数据同步系统，其特征在于，每个所述安全域中包括：多个数据库，每个所述数据库与一边界前置机通信，每个所述边界前置机与一所述中心前置机通信。
3.根据权利要求1所述的数据同步系统，其特征在于，每个所述安全域中包括：多个数据库，一中心节点和一边界前置机，每个所述数据库通过所述中心节点与所述边界前置机通信，所述边界前置机与一所述中心前置机通信。
4.根据权利要求1-3任一项所述的数据同步系统，其特征在于，所述待同步数据包括更改后的数据或者数据变化的操作信息。
5.根据权利要求3所述的数据同步系统，其特征在于，所述中心节点，还用于接收所述第一安全域的多个数据库中的源端数据库发送的待同步数据，并将所述待同步数据发送给所述第一安全域的多个数据库中的目标端数据库，以使所述目标端数据库根据所述待同步数据实现与所述源端数据库的数据同步。
6.根据权利要求5所述的数据同步系统，其特征在于，所述待同步数据为日志数据；
所述源端数据库，用于将数据变化的操作信息记载在日志数据中，通过捕获进程抓取所述日志数据，并通过第一传送进程将所述日志数据发送给所述中心节点；
所述中心节点，具体用于接收所述日志数据，并通过第二传送进程将所述日志数据发送给多个所述数据库中的目标端数据库；
所述目标端数据库，用于通过投递进程从所述日志数据中读取数据更改信息，根据所述数据更改信息创建标准语句，并执行所述标准语句，实现与所述源端数据库的数据同步。
7.根据权利要求6所述的数据同步系统，其特征在于，所述标准语句为SQL语句。
8.一种数据同步方法，其特征在于，应用于如权利要求1-7任一项所述的数据同步系统，该方法，包括：
第一数据库将待同步数据发送给第一边界前置机；
第一边界前置机将所述待同步数据发送给第一中心前置机；
第一中心前置机将所述待同步数据发送给安全域中心节点；
所述安全域中心节点将所述待同步数据发送给第二中心前置机；
所述第二中心前置机将所述待同步数据发送给第二数据库；所述待同步数据中携带的目的数据库信息指向所述第二安全域的第二数据库。
9.一种数据处理中心，其特征在于，包括：安全域中心节点和多个中心前置机；多个所述中心前置机包括第一中心前置机和第二中心前置机；所述第一中心前置机与第一安全域的第一边界前置机通信，所述第二中心前置机与第二安全域的第二边界前置机通信；
所述安全域中心节点，用于从第一中心前置机接收所述第一边界前置机发送的来自所述第一安全域的第一数据库的待同步数据，并将所述待同步数据发送给所述第二中心前置机，以使所述第二中心前置机通过所述第二边界前置机将所述待同步数据发送给所述第二安全域的第二数据库，所述待同步数据中携带的目的数据库信息指向所述第二安全域的第二数据库。
10.一种数据同步方法，其特征在于，应用于如权利要求9所述的数据处理中心，该方法包括：
所述安全域中心节点从第一中心前置机接收所述第一边界前置机发送的来自所述第一安全域的第一数据库的待同步数据；
所述安全域中心节点将所述待同步数据发送给所述第二中心前置机，以使所述第二中心前置机通过所述第二边界前置机将所述待同步数据发送给所述第二安全域的第二数据库，所述待同步数据中携带的目的数据库信息指向所述第二安全域的第二数据库。
CN202010625437.XA 2020-07-02 2020-07-02 数据同步系统及方法、数据处理中心 Active CN111797167B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010625437.XA CN111797167B (zh) 2020-07-02 2020-07-02 数据同步系统及方法、数据处理中心

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010625437.XA CN111797167B (zh) 2020-07-02 2020-07-02 数据同步系统及方法、数据处理中心

Publications (2)

Publication Number Publication Date
CN111797167A CN111797167A (zh) 2020-10-20
CN111797167B true CN111797167B (zh) 2023-05-16

Family

ID=72810982

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010625437.XA Active CN111797167B (zh) 2020-07-02 2020-07-02 数据同步系统及方法、数据处理中心

Country Status (1)

Country Link
CN (1) CN111797167B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1437810A (zh) * 2000-03-10 2003-08-20 黎明网络有限公司 信息交换机
CN101188599A (zh) * 2007-12-04 2008-05-28 四方电气(集团)有限公司 发电厂电气监控前置系统负荷均衡设计的实现方法
CN102663661A (zh) * 2012-04-10 2012-09-12 华为技术有限公司 卫生信息系统
CN103605698A (zh) * 2013-11-06 2014-02-26 广东电子工业研究院有限公司 一种用于分布异构数据资源整合的云数据库系统
CN108897641A (zh) * 2018-06-21 2018-11-27 武汉达梦数据库有限公司 一种数据库主备环境下的日志分析服务实时同步系统
CN109714325A (zh) * 2018-12-19 2019-05-03 北京奇安信科技有限公司 一种单向光闸数据传输方法、系统、电子设备和介质
CN110502915A (zh) * 2019-08-30 2019-11-26 恩亿科(北京)数据科技有限公司 一种数据处理的方法、装置及系统
CN110825797A (zh) * 2019-10-25 2020-02-21 烨链（上海）科技有限公司 数据交换方法和装置
CN111258780A (zh) * 2020-01-15 2020-06-09 深圳市华傲数据技术有限公司 基于前置机进行数据交换的系统及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1437810A (zh) * 2000-03-10 2003-08-20 黎明网络有限公司 信息交换机
CN101188599A (zh) * 2007-12-04 2008-05-28 四方电气(集团)有限公司 发电厂电气监控前置系统负荷均衡设计的实现方法
CN102663661A (zh) * 2012-04-10 2012-09-12 华为技术有限公司 卫生信息系统
CN103605698A (zh) * 2013-11-06 2014-02-26 广东电子工业研究院有限公司 一种用于分布异构数据资源整合的云数据库系统
CN108897641A (zh) * 2018-06-21 2018-11-27 武汉达梦数据库有限公司 一种数据库主备环境下的日志分析服务实时同步系统
CN109714325A (zh) * 2018-12-19 2019-05-03 北京奇安信科技有限公司 一种单向光闸数据传输方法、系统、电子设备和介质
CN110502915A (zh) * 2019-08-30 2019-11-26 恩亿科(北京)数据科技有限公司 一种数据处理的方法、装置及系统
CN110825797A (zh) * 2019-10-25 2020-02-21 烨链（上海）科技有限公司 数据交换方法和装置
CN111258780A (zh) * 2020-01-15 2020-06-09 深圳市华傲数据技术有限公司 基于前置机进行数据交换的系统及方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A security domain isolation and data exchange system based on VMM;G. Dong 等;《2009 3rd International Conference on Signal Processing and Communication Systems》;1-5 *
The Data Exchange Research of E-Government Application System Basing on Spatial Information;Y. Zhu 等;《2011 International Conference on Management and Service Science》;1-5 *
基于SOA的数据共享与交换平台分析与设计;金保华 等;《郑州轻工业学院学报(自然科学版)》;第26卷(第1期);102-106 *
数据交换平台信息安全问题研究与实现;张秀伟;《中国优秀硕士学位论文全文数据库 信息科技辑》(第（2007）6期);I138-72 *

Also Published As

Publication number Publication date
CN111797167A (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
Bravo et al. Saturn: A distributed metadata service for causal consistency
CN107590182B (zh) 一种分布式日志收集方法
CN103237046B (zh) 支持混合云存储应用的分布式文件系统及实现方法
US8892514B2 (en) Multi-path replication in databases
WO2021143462A1 (zh) 基于前置机进行数据交换的系统及方法
CN108833462A (zh) 一种面向微服务的自注册服务发现的系统及方法
CN101795222B (zh) 多级转发服务系统及方法
WO2020186807A1 (zh) 一种基于区块链技术的电力数据链接系统及方法
CN103634411B (zh) 一种具有状态一致性的市场数据实时广播系统及方法
CN112328406B (zh) 一种基于tcc的微服务分布式事务系统以及业务处理方法
CN101222490A (zh) 一种网络服务器系统及方法
CN109672712A (zh) 数据同步方法、装置、超级控制器、域控制器及存储介质
EP2954424A1 (en) Method, device, and system for peer-to-peer data replication and method, device, and system for master node switching
CN109977170A (zh) 一种政务内外网数据同步的方法及系统
CN110149375A (zh) 网络存储云手机间的数据共享方法、系统及存储介质
CN107124469A (zh) 一种集群节点通信方法及系统
CN208903299U (zh) 一种ai智能专用计算卡及其构成的边缘网络
CN111355658A (zh) 基于分布式服务框架的sdn跨域协作方法
WO2024221633A1 (zh) 一种微服务应用数据的共享方法、装置及设备
CN110177144B (zh) 一种基于私有云一键复制应用环境的方法
Hellani et al. Tangle the blockchain: Towards connecting blockchain and DAG
CN110113406B (zh) 基于分布式的计算服务集群系统
CN102375789A (zh) 一种通用网卡非缓存的零拷贝方法及零拷贝系统
CN110557432A (zh) 一种缓存池均衡优化方法、系统、终端及存储介质
CN111797167B (zh) 数据同步系统及方法、数据处理中心

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant