CN101309167A - 基于集群备份的容灾系统及方法 - Google Patents

Abstract

本发明涉及基于集群备份的容灾系统及容灾方法。该容灾系统包括：负载代理单元及负载服务单元，负载服务单元包括至少两个服务器节点，其中一与用户终端进行业务交互的主服务器节点，其余服务器节点为非主服务器节点；业务交互包括：当主服务器节点向主服务器节点中的本地数据库写数据时，向负载服务单元中的非主服务器节点中的本地数据库备份数据；负载代理单元包括与各服务器节点分别连接的负载调度器，当检测到主服务器节点的心跳停止时，对该主服务器节点执行失败转移操作，从非主服务器节点中选择一服务器节点作为主服务器节点与用户终端进行业务交互。本发明提高了单个服务器节点的利用率以及对等多服务器节点的整体利用率。

Description

基于集群备份的容灾系统及方法

技术领域

本发明属于网络系统领域，尤其是涉及网络系统中基于集群备份的容灾系统及方法。

背景技术

随着现代网络技术的飞速发展和用户数量的日益增长，网络的规模越来越大，因此对于网络中的服务器，无论是单机容量，还是服务器的数量都要同步提升以满足用户需求。同时，对服务器的可靠性和容灾能力的要求也越来越高。

为在导致服务器瘫痪的灾害发生后能够有一种可靠的容灾机制能在现有条件下尽最大努力恢复对用户的服务响应，必须对服务器数据进行冗余备份。由于单机运行已经远远不能达到要求，所以重要的数据必须采用主用机和备用机的备份的主备用方式，即备对主实现系统及数据文件的同步。这种设立独立的备份机来对主用机进行备份的方法我们称之为独立冗余备份机制。现有的容灾技术方案主要是进行双机冗余备份或者多机冗余备份等基于独立冗余备份机制的容灾方法。

双机冗余备份是指在系统运行过程中有两台机器通过通信电缆保持系统和数据同步的过程，备用机不断检测当前工作的主用机镜像文件及系统的变化情况并对变化数据进行备份。主用机和备份机采取一对一冗余备份的策略。专利号为200410002153.6的发明专利《一种网管双机容灾备份的实现方法》记载了一种现有的双机备份方法，是通过正常状态下在运行服务器上运行系统，并实时的将系统中的数据复制到容灾的备份服务器上，至少在所述备份服务器上运行第一监控程序，该第一监控程序与所述运行服务器建立连接以检测运行服务器的工作状态，并在检测到所述运行服务器由于灾难导致瘫痪时自动在备份服务器上启动网管系统进行容灾恢复。

多机冗余备份是指将多台主用机和备份机进行合理规划后的一种一对多或者多对多冗余备份的策略。200510034607.2的发明专利《多机备份的方法》记载了一种多机备份的方法，其中任一主用机连接一台或多台备用机，任一备用机连接一台或多台主用机，每台备用机的配置文件中均记载有与其连接的主用机的IP地址和备份周期，每台主用机的配置文件中均记载有与其连接的备用机的IP地址或机器名称。这种多机备份提高了备份的灵活性，一台主用机能够响应多台备用机的备份请求，一台备用机也能向多台主用机提出备份请求；实现备用机定期请求，主用机不需要实时检测镜像文件的变化情况，有效降低镜像软件对于主用机的性能影响。

但这种基于独立冗余备份机制的方法无论是双机冗余备份还是多机冗余备份，都需要使用独立的备用机来对主用机进行备份，在主用机工作正常的时候备用机大部分时间处于静默状态，只是进行信号检测和数据更新的时候执行检测和备份操作，无论是一对一、一对多，还是多对多的备份方式，其机器冗余度都很大，单机利用率非常低下，例如一对五的备份方式，如果网络中有10台主用机，那么需要使用2台备用机，这2台备用机由于单机利用效率低造成资源上很大的浪费，也增加了硬件上的成本；而且在进行容灾恢复的时候，并没有对多个对等的正常工作的独立服务器资源进行整体上的合理规划和分调，整体利用率在某些情况下也非常低。

发明内容

本发明的目的是针对上述基于独立冗余备份的容灾技术的缺陷，提供了一种基于集群备份的容灾系统及方法。

为实现上述目的，本发明提供了一种基于集群备份的容灾系统，包括：负载代理单元及负载服务单元，负载服务单元包括至少两个服务器节点，每一服务器节点包括一本地数据库，各服务器节点之间相互连接；负载服务单元包括一与用户终端进行业务交互的主服务器节点，其余服务器节点为非主服务器节点；所述业务交互包括：主服务器节点向主服务器节点中的本地数据库读数据和/或写数据；当主服务器节点向主服务器节点中的本地数据库写数据时还包括：主服务器节点向负载服务单元中的非主服务器节点中的本地数据库备份所述数据；

负载代理单元包括负载调度器，所述负载调度器与负载服务单元中的各服务器节点分别连接，当检测到主服务器节点的心跳停止时，对该主服务器节点执行失败转移操作，从非主服务器节点中选择一服务器节点作为主服务器节点与用户终端进行业务交互。

为实现上述目的，本发明还提供了一种基于集群备份的容灾方法，包括：

主服务器节点与用户终端进行业务交互；所述业务交互包括：主服务器节点向主服务器节点中的本地数据库读数据和/或写数据；当主服务器节点向主服务器节点中的本地数据库写数据时还包括：主服务器节点向负载服务单元中的非主服务器节点中的本地数据库备份所述数据；

负载代理单元当负载代理单元检测到当前主服务节点的心跳停止时，从非主服务器节点中选择一服务器节点作为主服务器节点与用户终端进行业务交互。

本发明基于集群备份的容灾系统及方法，通过引入集群备份机制，将传统备用服务器节点改造为与主服务器节点对等的服务器节点，使得集群中任意两服务器节点互为备份，当一台服务器节点失效时候，由于集群内其他的服务器节点均有该服务器节点的数据备份，故增加了备份的冗余度。同时，由于本发明无需为服务器节点设置独立的备份服务器节点，从而提高了单机利用率以及对等的多个服务器节点的整体利用率。

附图说明

图1为本发明一种基于集群备份的容灾系统实施例一的结构示意图；

图2为本发明一种基于集群备份的容灾系统实施例二的结构示意图；

图3为本发明一种基于集群备份的容灾系统实施例三的结构示意图；

图4为本发明一种基于集群备份的容灾系统实施例四的结构示意图；

图5为本发明一种基于集群备份的容灾方法实施例的一流程图；

图6为本发明一种基于集群备份的容灾方法中初始化选举过程流程图；

图7为本发明一种基于集群备份的容灾方法中负载分配过程流程图；

图8为本发明一种基于集群备份的容灾方法中集群备份过程流程图；

图9为本发明一种基于集群备份的容灾方法中负载失败转移过程流程图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

图1为本发明一种基于集群备份的容灾系统实施例一的结构示意图。如图1所示，该实施例中的基于集群备份的容灾系统包括：负载代理单元LoadProxy 100及负载服务单元LoadServer 200。

负载服务单元元LoadServer 200包括服务器节点ServerNode 210，该实施例中以S-Node1，S-Node2，S-Node3，S-Node4及S-Node5五个服务器节点ServerNode 210为例，每一服务器节点中包括一本地数据库Database 220。服务器节点S-Node1，S-Node2，S-Node3，S-Node4及S-Node5分别包括本地数据库Data1，Data2，Data3，Data4及Data5各服务器节点之间相互连接。该实施例中包括用户终端User_1，User_2，User_3，…，User_n。负载服务单元包括一与用户终端User_n进行业务交互的主服务器节点，该实施例以S-Node5为用户终端User_n的主服务器节点，其他服务器节点S-Node1，S-Node2，S-Node3及S-Node4为非主服务器节点。其中用户终端User_n与主服务器节点S-Node5之间的业务交互包括：主服务器节点S-Node5向主服务器节点S-Node5中的本地数据库Data读数据和/或写数据；当主服务器节点S-Node5向主服务器节点S-Node5中的本地数据库Data5写数据时还包括：主服务器节点S-Node5向负载服务单元200中的非主服务器节点中的本地数据库Data1，Data2，Data3及Data4备份所述数据。

负载代理单元LoadProxy100包括负载调度器LoadDispatcher110。负载调度器LoadDispatcher 110与负载服务单元LoadServer 200中的服务器节点S-Node1，S-Node2，S-Node3，S-Node4及S-Node5分别连接，当检测到主服务器节点S-Node5的心跳停止时，对主服务器节点S-Node5执行失败转移操作，从非主服务器节点中选择一服务器节点作为主服务器节点与用户终端进行业务交互。

该实施例中，负载代理单元LoadProxy用于用户终端首次接入时进行集群负载分流，将用户终端分配到一个合适的服务器节点，此后只要该服务器节点工作正常，该用户终端的所有服务器请求将定向到该服务器节点，并由该服务器节点提供相应服务。负载代理统筹和优化后端的负载服务单元中的服务器节点资源，使之能高效对用户终端提供服务，能有效的控制负载服务单元流量，在灾难发生时候利用负载服务单元的集群备份优势进行容灾。

同时该实施例中，负载服务单元LoadServer是用户终端的用户数据实现全冗余备份的对等服务器节点的集群，是对用户提供真正服务的实体。将提供相同服务的后端多个对等服务器节点采用集群技术组成一个具有域概念的簇。在每个簇中通过选举算法选出一个簇首作为主服务器节点和若干个非主服务器节点。其中若干个非主服务器节点中，若干个副簇首作为候选主服务器节点，其余的成员作为从服务器节点。主服务器保证簇内用户终端的用户数据的一致性维护。对于簇中所有的服务器节点，其中的任意两个服务器节点互为用户终端的用户数据的冗余备份。主从服务器在配备的功能上完全对等，没有区别，都是一般的服务器节点ServerNode。整个簇通过IP隧道的负载均衡集群方式使用负载调度器LoadDispatcher的接入地址AccessIP统一对簇外用户终端提供首次服务入口。这里的首次服务最常见的情形就是用户终端注册。当负载调度器LoadDispatcher检测到簇中任意一个或者几个服务器节点心跳停止，即出现故障，如宕机时，可以调度正常工作的服务器节点接替其进行服务而实现容灾。

图2为本发明一种基于集群备份的容灾系统实施例二的结构示意图。如图2所示，该实施例中的负载调度器LoadDispatch 110包括：

心跳检测模块HBDetecter 111，与负载服务单元LoadServer 200中的每一服务器节点保持心跳连接，用于检测各服务器节点的心跳信息。心跳信息中可以包括服务器节点的性能荷数(Capability and Load Number，简称CLN)。CLN是指对服务器节点的性能和负荷等方面的指标按照加权性荷数算法得到的一个分数，可以作为评判服务器节点的心跳能力的参考标准。CLN一般通过心跳信息定期向负载调度器LoadDispatcher 110进行汇报。心跳检测模块HBDetecter 111一般用于定期检测服务器节点的心跳信息，当检测到某服务器节点发送的心跳信息超时时，即可认为该服务器节点出现故障，负载调度器LoadDispatch 110就要启动失败转移操作。

选举模块ElectionBox 112，与所述心跳检测模块HBDetecter 111连接，用于定期接收心跳检测模块HBDetecter 111检测到的各服务器节点的心跳信息，周期性维护服务器节点的心跳信息列表。选举模块ElectionBox 112是负载调度器LoadDispatcher 110的数据维护模块。当心跳信息中包括CLN时，选举模块ElectionBox 112可以定期接收服务器节点的打分票据CLNTicket，并周期性维护服务器节点的打分列表，选举出主服务器，候选主服务器和从服务器。打分票据CLNTicket字段一般构成如下：服务器节点的主从标识符W/M/S，该服务器节点的硬件地址标识符LSID，该服务器节点性能荷数CLN。调度策略模块DispatchStrategy 113，与所述选举模块ElectionB ox 112连接，用于根据心跳信息列表决策出代理转发的主服务器节点的IP地址或检测出需要进行失败转移的主服务器节点的IP地址。调度策略模块DispatchStrategy 113主要对非主服务器节点上收集的信息为进行负载的分发和失败转移采用相应的算法策略决策。负载分发和失败转移都使用最小统计加权性荷数算法。调度策略模块DispatchStrategy 113主要对选举模块ElectionBox 112中的数据进行处理后决策出一个代理转发的主服务器节点LoadServer的IP或者是一个检测出宕机需要进行失败转移的主服务器节点的IP，并交给重定向转发模块Redirector 114进行处理。

重定向转发器模块Redirector 114，与所述调度策略模块DispatchStrategy113连接，用于根据从所述调度策略模块DispatchStrategy 113获得的代理转发的主服务器节点的IP地址重定向转发用户终端User n的注册服务请求或指示需要进行失败转移的主服务器节点的IP地址。

图3为本发明一种基于集群备份的容灾系统实施例三的结构示意图。如图3所示，该实施例中的负载代理单元LoadProxy 100还包括：一冗余备份器Baker 120；所述负载调度器LoadDispatch 110还包括一广告模块Ads 115，与冗余备份器Baker 120连接。

广告模块Ads 115用于定期向冗余备份器发送负载调度器的广告信息，所述广告信息包括心跳信息，冗余备份器Baker 120接收到负载调度器的广告信息，根据广告信息中的心跳信息可以同步更新冗余备份器Baker 120中的心跳信息列表。

冗余备份器Baker 120是负载调度器LoadDispatcher 110进行双机冗余热备份的IP服务备份机，可以使用LINUX中通用地址冗余协议实现。由于负载调度器LoadDispatcher110在整个容灾系统中起着重要的作用，冗余备份器Baker 120的作用是当接收负载调度器LoadDi spatcher 110的广告信息超时时候认为负载调度器LoadDispatcher 110出现故障，便可启动虚拟IP地址服务，将冗余备份器的工作状态转换成负载调度器，使冗余备份器Baker 120接续原负载调度器LoadDispatcher 110的工作，使原负载调度器LoadDispatcher 110工作持续进行。随后进行通用地址冗余协议使用测试，保证负载调度器LoadDispatcher 110的IP服务对用户请求不间断进行。冗余备份器Baker 120是负载调度器LoadDispatcher 120功能复制体，定期接收负载调度器LoadDispatcher 120的广告信息，以保持与选举模块ElectionBox 112中的心跳信息的同步更新。

该实施例中，通过在负载代理单元LoadProxy中设置冗余备份器Baker，对负载调度器LoadDispatch实行IP冗余热备份，保障其健壮性，降低负载代理单元的单点故障风险，进一步提高了容灾系统的容灾能力。

图4为本发明一种基于集群备份的容灾系统实施例四的结构示意图。如图4所示，该实施例中的服务器节点ServerNode 210包括：

IP配置器模块IPConfiger 211，当该IP配置模块IPConfiger 211所属的服务器节点ServerNode 210为重新确定的主服务器节点时，用于响应负载调度器LoadDispatcher 110发出的冗余IP地址配置命令，并将该IP配置模块IPConfiger 211所属的服务器节点ServerNode 210的IP地址配置为原主服务器节点的IP地址，使该服务器节点接续原主服务器节点进行工作。

打分模块TicketMarker 212，用于周期性收集该服务器节点的性能和/或负荷指标，计算该服务器节点的性能荷数CLN。

心跳模块HeartBeat 213，与负载调度器LoadDispatcher 110保持心跳连接，定期将所述性能荷数CLN携带在心跳信息中发送至负载调度器LoadDispatcher 110。

事件通知模块Informer 214，事件通知分为上行事件通知(Uplink Notice)和下行事件通知(Downlink Notice)。上行事件通知由从服务器执行，向主服务器发送修改相关数据的通知请求；下行事件通知由主服务器执行，向从服务器发送数据同步更新的命令。主服务器默认可对本地数据进行直接读操作和直接写操作；从服务器默认只可对本地数据直接读操作，仅当收到主服务器的下行事件通知时候才可进行直接写操作。

当该事件通知模块214所属的服务器节点ServerNode 210为主服务器节点时，主服务器节点通过事件通知模块Informer214执行上行事件通知UplinkNotice，通知负载服务单元LoadServer 200中的非主服务器节点发送数据同步更新的命令；当该事件通知模块Informer 214所属的服务器节点ServerNode210为非主服务器节点时，主服务器节点通过事件通知模块Informer 214接受下行事件通知Downlink Notice，接收负载服务单元LoadServer 200中的主服务器节点发送的数据同步更新的命令。

数据读/写操作模块DataWriter/Reader，用于对本地数据库读数据和/或写数据，写操作时写入和更新数据，读操作读出数据，读操作都为直接读操作，写操作又分为直接写操作和间接写操作。数据读/写操作模块DataWriter/Reade包括数据读操作模块Data Reader 2151及数据写操作模块Data Wirter 2152。直接写操作Direct Read是对本地数据库Database进行直接读操作Direct Read，直接写操作Direct Write是直接对本地数据库进行写操作。间接写操作IndirectWrite是指从服务器不直接对本地数据库进行写操作，而是通过事件通知的方式由主服务器节点对主服务器节点的本地数据库的直接写操作Direct Write后，再由主服务器节点发送数据同步更新指令使非主服务器节点启动各自的本地数据库的直接写操作Direct Write。间接写操作Direct Write又称为备份操作，该实施例中，数据写操作模块Data Wirter 2152与事件通知模块Informer214连接，当对本地数据库Database写数据时，用于通过事件通知模块Informer214对负载服务单元LoadServer 200中的非主服务器节点中的本地数据库备份所述数据。

图5为本发明基于集群备份的容灾方法的一流程图。如图5所示，该实施例中的容灾方法包括：

步骤10、主服务器节点与用户终端进行业务交互；所述业务交互包括：主服务器节点向主服务器节点中的本地数据库读数据和/或写数据；当主服务器节点向主服务器节点中的本地数据库写数据时还包括：主服务器节点向负载服务单元中的非主服务器节点中的本地数据库备份所述数据。

步骤20、负载代理单元当负载代理单元检测到当前主服务节点的心跳停止时，从非主服务器节点中选择一服务器节点作为主服务器节点与用户终端进行业务交互。所述主服务器节点向负载服务单元中的非主服务器节点中的本地数据库写所述数据包括；主服务器节点向负载服务单元中的非主服务器节点发送数据同步更新指令，向负载服务单元中的非主服务器节点中的本地数据库备份所述数据。

以下结合基于集群备份的容灾系统说明本发明基于集群备份的容灾方法的具体流程。本发明基于集群备份的容灾方法可以包括四个阶段：

第一阶段、选举过程。基于集群的容灾系统启动后进行选举，各个服务器节点LoadServer周期性进行性能负荷数CLN的打分，并将CLNTicket发送到负载代理单元LoadProxy中的选举模块。负载调度器DispatchStrategy会使得选举模块中诞生两种角色ROLE：主服务器节点(Master Node，简称M-Node)，非主服务器节点。根据设计需求或习惯，非主服务器节点又可以分为侯选主服务器节点(Candidate Node，简称C-Node)和从服务器节点(SlaveNode，简称S-Node)。各个服务器将节点根据自身的主从角色进行数据库的配置。候选主服务器节点只是负载代理单元LoadProxy对其进行区分，在物理上候选主服务器节点配置成从服务器节点。其中主服务器节点拥有用户终端的用户数据的直接读写权限；候选主服务器节点和从服务器节点拥有用户终端的用户数据的直接读权限和间接写权限。负载代理单元LoadProxy可以决策在候选主服务器节点中选择新的主服务器节点。

第二阶段、负载分配过程。当用户终端的服务注册请求到达负载代理单元LoadProxy时，负载代理单元LoadProxy根据选举模块中的服务器性能负荷数列表决策出一个拥有最小统计加权性荷数的服务器节点LoadServer，并转发用户请求。此过程保证集群中负载的最优分配，避免产生因服务器节点流量不均导致某些服务器节点过载的灾难。

第三阶段、集群备份过程。当用户终端的服务注册请求到达服务器节点LoadServer时候，服务器节点LoadServer启动用户终端的用户信息数据的集群备份过程，使得集群中任意两个服务器节点LoadServer互为备份。只有当集群备份过程完成后才返回用户注册请求的响应，此时用户终端注册完成，并且此后用户终端可以向服务器节点发起业务服务请求。在业务服务中的写操作也都必须进行集群备份过程。

第四阶段、负载失败转移过程。当负载代理单元LoadProxy检测到某个服务器节点LoadServer1的心跳停止时候，便发起负载失败转移过程。将某台性能负荷数较小并且保持心跳的服务器节点LoadServer2配置服务器节点LoadServer1的IP，使用用户备份数据对用户提供持续服务。主服务器节点的失败转移还要进行选举过程。

以下对本发明提出的基于集群备份的容灾方法四个阶段进行具体描述。

第一阶段、选举过程。

该基于集群备份的容灾系统启动时候就开始执行选举过程。负载代理单元LoadProxy拥有双网卡配置，其中接入IP地址(AccessIP)用于集群服务入口，用于接收用户终端的注册服务请求，代理IP地址(ProxyIP)用于和后端的负载服务单元中的服务器节点集群通信。选举过程保证负载代理单元LoadProxy先于服务器节点LoadServer初始化。每台服务器节点LoadServer的配置文件中有负载代理单元LoadProxy的IP地址，新加入的服务器节点LoadServer必须向负载代理单元LoadProxy发送心跳加入集群。负载代理单元LoadProxy在以下两种情况下可以发起选举：一、系统初始化时；二、主服务器节点心跳停止，即发生故障，如宕机时。二者选举过程相似，其中过程启动条件有所差别，前者是系统启动时候由负载代理单元LoadProxy发起，后者是在选举单元中发现心跳信息列表中主服务器节点的心跳超时时由负载代理单元LoadProxy发起。以初始化选举过程为例如图6，包括如下步骤：

步骤A1、LoadProxy初始化，启动各个模块。对LoadDispatcher和冗余备份器Baker使用通用地址冗余协议进行配置后，先启动Baker的负载代理单元LoadProxy进程，并将ElectionBox线程设置较高优先级，HBDetecter，DispatchStrategy，Redirector等3个模块线程处于低优先级，在Baker作为冗余备份机期间这3个线程一直处于静默状态。Baker的LoadProxy进程不启动Ads模块线程。再启动LoadDispatcher上的LoadProxy进程，依次启动ElectionBox，HBDetecter，DispatchStrategy，Redirector和Ads等5个模块线程。

步骤A2、LoadServer初始化，启动各个模块。ServerNode上运行LoadServer进程，并依次启动TicketMarker，HeartBeat，DataWriter，DataReader，IPConfiger和Informer等6个线程模块。

步骤A3、LoadServer获取LoadProxy的ProxyIP。LoadServer读取本地配置文件ls.cfg，从中获得LoadProxy的ProxyIP，LoadDispatcher和Baker的MAC地址等信息。

步骤A4、LoadServer向LoadProxy发送心跳，周期为T。获得ProxyIP后，LoadServer以T为周期向LoadProxy发送心跳消息。心跳消息为UDP数据报，主要由心跳消息的消息标识符MID，CLNTicket字段标识符TFlag和CLNTicket字段三个部分组成。如果TFlag为FALSE，LoadProxy识别为普通心跳消息，不关心后面字段；如果为TRUE，则需要解析后面的CLNTicket字段。CLNTicket字段构成如下：

本机主从标识符W/M/S，本机硬件地址标识符LSID，本机性荷数CLN。

M表示主，S表示从(C表示候选主)，W用于下新的LoadServer节点加入集群时候还未指定角色的情形，在主节点正常工作时候，该节点会被指定为S；

LSID可用LoadServer的MAC地址；

CLN为加权性荷数，是对本机性能和负载指标综合衡量的加权参数。性荷数和最小加权性荷数算法定义如下：

假设某集群内有一组服务器S＝{S0，S1，□，Sn-1}，U(Si)表示服务器Si的CPU利用率，M(Si)表示服务器Si的当前内存利用率，D(Si)表示服务器Si的当前硬盘利用率，C(Si)表示服务器Si的当前连接数，那么Si的性荷数为：

CLN(Si)＝{C(Si)*[0.45*U(Si)+0.45*M(Si)+0.1*D(Si)]}；

性荷数越大，该服务器可服务性越差。

当前的新连接请求会被送到服务器Sm，当

且仅当服务器Sm满足以下条件：

CLN(Sm)＝min{CLN(Si)}，0≤i≤n-1。

若CLN为一段时间内的统计值，则称该算法为最小统计加权性荷数算法。

步骤A5、LoadProxy创建心跳信息列表。

LoadProxy的心跳检测模块检测到心跳消息后将提取出各个服务器的IP地址并以此为关键字建立心跳信息列表，表项有IP地址(记为IP)，服务器状态(记为State)，MAC地址(记为MAC)，角色标识(记为ROLE)，角色确认标识(记为Confirm)，CLN的统计值(记为StatCLN)，CLN算术平均值(记为Average CLN)，历史分流负荷数(记为HistoryLN)，并对该表初始化。心跳信息列表一个可能的例子如下：

表1心跳信息列表

注：State字段，ALIVE表示心跳存在，DEAD表示心跳停止。ROLE字段，C表示侯选主服务器节点，S表示从服务器节点，M表示主服务器节点，W表示服务器节点的角色尚未指定。Confirm字段，T表示已经完成角色确认，F表示未完成角色确认。

步骤A6、TicketMarker使用步骤A4中的加权性荷数算法计算CLN。

步骤A7、LoadServer利用心跳消息发送CLNTicket。LoadServer收集到CLNTicket字段的相关内容后，以周期为10T(T为心跳周期，前面系数可为适当经验值，这里以10为例)向LoadProxy发送心跳，即心跳消息中的TFlag字段每隔10T的时间填写一次TRUE，在普通的心跳消息中填写FALSE；

步骤A8、LoadProxy接收到CLNTicket后将其放入投票箱。LoadProxy的投票箱收到CLNTicket后将CLN填入心跳信息列表的CLN统计值中。

步骤A9、ElectionBox对心跳信息列表的性荷数进行统计。当CLN统计值数目到达一个阈值后计算出算术平均CLN作为在统计时间内该LoadServer的性能负荷指标的衡量参数；在没有产生算术平均CLN时候都使用默认值。

步骤A10、DispatchStrategy根据投票箱中统计性荷数进行主从选举。DispatchStrategy根据步骤A4中所述最小统计加权性荷数算法对投票箱中统计性荷数进行排序，最小的作为主节点，较小的3-5个作为候选主节点(依据总节点数决定)，其他为从节点，在心跳信息列表中进行标识。

步骤A11、ElectionBox根据心跳信息列表向LoadServer发送角色指示命令。

步骤A12、LoadServer根据进行角色配置，并在后续CLNTicket中进行确认。主节点将MySQL配置为主，从节点配置为从，这样在后面的集群备份中主从数据复制的进行就可以利用MySQL的功能实现。完成配置后在CLNTicket中将本机角色W修改为对应值M或者S。

步骤A13、LoadProxy检查在后续的CLNTicket中主从标识字段。标识正确LoadProxy将心跳信息列表中的角色确认标识更新为TRUE；标识不正确则重发角色指示命令直到标识正确。

步骤A14、LoadProxy检查心跳信息列表中所有角色确认标识。所有标识均为TRUE时候认为角色指示成功，选举过程结束，可以启动负载分配过程。

第二阶段、负载分配过程。

当用户的注册服务请求发送到LoadProxy的AccessIP时，LoadProxy将根据心跳服务器资源使用最小统计加权性荷数算法进行负载分配。负载分配过程如图7所示，包括如下步骤：

步骤B1、用户终端向拥有AccessIP的LoadProxy发送注册服务请求。

步骤B2、DispatchStrategy根据一定算法决策出一个负载服务器IP。

心跳服务器列表中具有动态维护的LoadServer的算术平均CLN值，依据CLN最小值分配原则决策出一个LoadServer进行服务。如果决策出的LoadServer是主节点，为保证主节点进行集群备份时候有足够资源进行开销，设定一个负载阈值，如果超过该负载阈值则应分配给次小的LoadServer。

步骤B3、更新ElectionBox对应表项的HistoryLN。

HistoryLN是LoadProxy对后端LoadServer负载情况的粗略统计，显示了该节点历史上上的用户流量，该数据一定程度上反映了流量满载服务这种最坏情况下各个节点的负荷状况，也是对负载分配的一个重要参考数据，但是ElectionBox中的统计性荷数更能反映这种实时的节点负荷状况。可综合考虑这两个参数进行负载分配。

步骤B4、Redirector将用户的注册服务请求转发到决策出的LoadServer。

Redirector在负载分配过程中仅起到转发用户请求到决策出的节点，实际上是将用户请求重定向到实际服务节点的过程。

步骤B5、该LoadServer启动集群备份，具体过程详细参见以下的集群备份过程。

步骤B6、完成集群备份后直接向用户返回用户服务注册请求ACK。

完成集群备份后LoadServer并不经过LoadProxy而是直接根据用户IP向该用户发送ACK信息，指示用户注册已经完成，可以进行服务请求。

第三阶段、集群备份过程。

集群备份过程可以发生在注册或者更新用户信息的时候。LoadServer在服务过程中，如果用户只进行存储数据的读操作，无论为其服务的是主节点还是从节点，都在该节点上调用DataReader模块进行本地数据的直接读操作。集群备份过程如图8所示，包括如下步骤：

步骤C1、写操作请求。

写操作请求是指管理员或者用户因为业务需要将修改更新信息数据，如用户的帐号信息，权限信息等。

步骤C2、DataWriter进行响应。

任何写操作由DataWriter模块进行响应，任何读操作由DataReader模块进行响应。DataWriter将负责保证集群备份的执行。

步骤C3、将对应用户信息设置为写模式。

该用户信息处于写模式时候不允许进行对该用户的任何读操作。当这次写操作完成后迅速将用户信息改为读模式。

步骤C4、判断本LoadServer角色

如果角色是W则转步骤C5。这意味着该节点还没有进行主从的指定，所以该服务暂时将被拒绝，这种情况可能发生在某节点并非在系统初始化时加入集群，而是刚加入集群，已经向LoadProxy发送了心跳并被受理，但还没有指定该节点的角色。

如果角色是S则转步骤C7；

如果角色为M则转步骤C10。

步骤C5、缓存用户请求。

由于该服务器未指派角色，为不影响集群备份过程，此时服务器应该将用户请求在本地缓存等候进一步处理。

步骤C6、等待LoadProxy角色指示命令到达后进行处理。

由于LoadServer会向LoadProxy发送心跳和CLNTicket，LoadProxy发现该服务器没有指派角色时候会发送角色指示命令，待该命令到达LoadServer时候，LoadServer可从缓存中取出用户请求进行服务响应。转步骤C2。

步骤C7、启动间接写过程。

间接写过程不直接修改本地数据信息，而是由主节点修改后再进行本地数据的更新，以保证集群备份数据的一致性。

步骤C8、Informer向主节点发送上行链路通知。

上行链路通知是指从节点向主节点通知某用户信息需要更新，Informer会在Uplink Notice中指示需要更新的用户和数据元。

步骤C9、主节点收到通知后将用户信息改为写模式，之后进行直接写操作。

主节点收到Uplink Notice会将本地用户数据改为写模式，并直接更新本地的用户数据。主节点的数据的时间戳始终是集群最新的，也是集群中每份备份的源头。

步骤C10、启动直接写操作。

步骤C11、主节点写操作完成后，Informer向集群中每个从节点发送下行链路通知，并修改用户信息为读模式。

主节点更新本地数据后将通过Informer模块向集群中每以个节点发送下行链路通知，Downlink Notice中也包含更新的用户和数据元。由于本地数据已经更新，可将用户的信息修改为读模式。

步骤C12、每个从节点收到通知后进行直接写操作。

集群中每个节点Downlink Notice获得更新信息后直接修改本地数据，成为主节点最新数据的备份。从节点在进行直接写操作时候如果用户数据为读模式，也需要将用户数据修改成写模式。

步骤C13、直接写操作完成后修改用户信息为读模式。

从节点修改本地数据后，同样需要将用户信息还原为读模式。当所有备份都还原为读模式后，每个从节点成为主节点的最新备份，从而形成集群备份。

步骤C14、服务节点可进行用户服务响应。

当用户写操作完成后服务节点就可以对用户服务进行响应，指示此次写操作成功，用户之后业务服务可使用更新后数据或者管理员的配置数据已经完成写入和集群备份。

第四阶段、负载失败转移过程。

根据出现故障的服务器节点的角色不同，负载失败转移的过程也不相同。负载失败转移过程如图9所示，包括如下步骤：

步骤D1、HBDetecter监测到某台服务器心跳超时。

当HBDetecter检测到某服务器在约定时限内没有心跳消息到达，启动宕机判定定时器，该定时器超时后可判定该服务器停止心跳，LoadProxy认为其宕机，需要进行负载失败转移。

步骤D2、ElectionBox中标识该服务器宕机，将该服务器IP设置为需要TakeoverIP。

步骤D3、判断该LoadServer角色，如果为W，转步骤D4；如果为S，转步骤D5；如果为M，转步骤D8；

步骤D4、TakeoverIP清零，不进行负载失败转移，负载转移过程结束。

步骤D5、DispatchStrategy模块根据最小统计加权性荷数算法决策出新的LoadServer的IP。

由于ElectionBox中动态存储了后端LoadServer的统计加权性荷数，DispatchStrategy可决策出一个新的LoadServer接替宕机服务器进行服务。

步骤D6、Redirector向新的LoadServer发送TakeoverIP。

新的LoadServer需要使用TakeoverIP将宕机服务器的用户定向至此，从而接续其进行用户的服务。该过程保证灾难发生后每个用户都仍然有一个可用服务器对其进行服务。

步骤D7、新的LoadServer使用IPConfiger进行TakeoverIP的配置。

IPConfiger在本地网卡上配置TakeoverIP，用户服务请求将被透明的转移到新的LoadServer，之后该LoadServer对其进行服务，转m；

步骤D8、LoadProxy指示所有节点将标志参数置1强制服务器处于读模式。

由于主节点宕机，整个服务器集群的数据备份不能顺利进行，这时候不能对用户的写操作相应，但是不影响用户的读操作。但整个集群服务将在以后的操作中自行恢复。

步骤D9、DispatchStrategy从候选主服务器中根据最小统计性荷数算法决策出新的主节点和负载转移节点

为保证能迅速产生新的主节点，DispatchStrategy只从候选主服务器中决策出新的主节点，提高响应速度。由于宕机的主节点也需要进行负载转移，新的负载转移节点也在该过程中产生。新的主节点和负载转移节点应尽量不是同一服务器。

步骤D10、向新的主节点发送角色指示命令，向负载转移节点发送TakeoverIP。

LoadProxy决策出新的主节点后一方面向该节点发出角色指示命令，该主节点收到主节点后迅速进行新的角色配置；另一方面向负载转移节点发送TakeoverIP，使之接续原主节点的用户服务。

步骤D11、新的主节点响应后Redirector向从节点指示新的主节点IP。

新的主节点配置成主后迅速向LoadProxy响应，Redirector再向各个从节点指示新的主节点IP，从节点进行配置修改。

步骤D12、标志参数清零，恢复集群服务。

由于主从节点均已完成配置，此时可将强制读模式的标志参数清零，整个集群重新恢复正常服务。负载失败转移过程结束。综上所述，本发明基于集群备份的容灾系统及方法具有以下有益效果：

(1)、极大的节约了硬件成本。集群中每个节点，既是服务的主用机，又是其他服务器的备份机，不需要增加新的备份机来实现备份，通过提高集群备份的复杂度达到节约成本的目的。在具有相同服务吞吐量的情况下，集群备份的容灾方法能使用更少的服务器达到目的。

(2)、提高了单机利用率和对等多服务器的整体利用率。集群备份的容灾方法实质上将传统备用机改造为与主用机对等的服务器，将原备用机大部分时间的静默状态开销充分利用起来进行服务和集群备份，提高了原备用机的单机利用率，在服务器数量相等的情况下，集群后具有更高的服务吞吐量，即使整个集群具有更高的整体利用率。

(3)、集群中任意两台服务器互为备份，提高了备份的冗余度。当一台服务器失效时候，由于集群内其他的服务器均有其数据的备份，故备份的冗余度大大增加。系统中单节点甚至多节点出现故障时，集群中有多分数据备份可供选择。

(4)、可统筹整个集群内的服务器情况进行失败转移(Failover)，极大提高了容灾能力。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (14)

1、一种基于集群备份的容灾系统，其特征在于，包括：负载代理单元及负载服务单元；

负载服务单元包括至少两个服务器节点，每一服务器节点包括一本地数据库，各服务器节点之间相互连接；负载服务单元包括一与用户终端进行业务交互的主服务器节点，其余服务器节点为非主服务器节点；所述业务交互包括：主服务器节点向主服务器节点中的本地数据库读数据和/或写数据；当主服务器节点向主服务器节点中的本地数据库写数据时还包括：主服务器节点向负载服务单元中的非主服务器节点中的本地数据库备份所述数据；

负载代理单元包括负载调度器，所述负载调度器与负载服务单元中的各服务器节点分别连接，当检测到主服务器节点的心跳停止时，对该主服务器节点执行失败转移操作，从非主服务器节点中选择一服务器节点作为主服务器节点与用户终端进行业务交互。

2、根据权利要求1所述的容灾系统，其特征在于，所述主服务器节点向负载服务单元中的非主服务器节点中的本地数据库备份所述数据包括：

主服务器节点向负载服务单元中的非主服务器节点发送数据同步更新指令，向非主服务器节点中的本地数据库备份数据。

3、根据权利要求1或2所述的容灾系统，其特征在于，所述负载调度器包括：

心跳检测模块，与负载服务单元中的每一服务器节点保持心跳连接，用于检测各服务器节点的心跳信息；

选举模块，与所述心跳检测模块连接，用于定期接收心跳检测模块检测到的各服务器节点的心跳信息，周期性维护服务器节点的心跳信息列表；

调度策略模块，与所述选举模块连接，用于根据心跳信息列表决策出代理转发的主服务器节点的IP地址或检测出需要进行失败转移的主服务器节点的IP地址；

重定向转发器模块，与所述调度策略模块连接，用于根据从所述调度策略模块获得的代理转发的主服务器节点的IP地址重定向转发用户终端的注册服务请求或指示需要进行失败转移的主服务器节点的IP地址。

4、根据权利要求3所述的容灾系统，其特征在于，所述负载代理单元还包括一冗余备份器；所述负载调度器还包括一广告模块，与所述冗余备份器连接，用于定期向冗余备份器发送负载调度器的广告信息，所述广告信息包括心跳信息；所述冗余备份器用于当接收负载调度器的广告信息超时时，启动虚拟IP地址服务，将冗余备份器的工作状态转换成负载调度器。

5、根据权利要求1或2所述的容灾系统，其特征在于，所述服务器节点包括：

IP配置器模块，当该IP配置模块所属的服务器节点为重新确定的主服务器节点时，用于响应负载调度器发出的冗余IP地址配置命令，并将该IP配置模块所属的服务器节点的IP地址配置为原主服务器节点的IP地址。

6、根据权利要求1或2所述的容灾系统，其特征在于，所述服务器节点包括：

打分模块，用于周期性收集该服务器节点的性能和/或负荷指标，计算该服务器节点的性能荷数；

心跳模块，与负载调度器保持心跳连接，定期将所述性能荷数携带在心跳信息中发送至负载调度器。

7、根据权利要求1或2所述的容灾系统，其特征在于，包括：

事件通知模块，当该事件通知模块所属的服务器节点为主服务器节点时，主服务器节点通过事件通知模块通知负载服务单元中的非主服务器节点发送数据同步更新的命令；当该事件通知模块所属的服务器节点为非主服务器节点时，主服务器节点通过事件通知模块接收负载服务单元中的主服务器节点发送的数据同步更新的命令。

数据读/写操作模块，用于对本地数据库读数据和/或写数据；与事件通知模块连接，当对本地数据库写数据时，用于通过事件通知模块对负载服务单元中的非主服务器节点中的本地数据库备份所述数据。

8、一种基于集群备份的容灾方法，其特征在于，包括：

主服务器节点与用户终端进行业务交互；所述业务交互包括：主服务器节点向主服务器节点中的本地数据库读数据和/或写数据；当主服务器节点向主服务器节点中的本地数据库写数据时还包括：主服务器节点向负载服务单元中的非主服务器节点中的本地数据库备份所述数据；

负载代理单元当负载代理单元检测到当前主服务节点的心跳停止时，从非主服务器节点中选择一服务器节点作为主服务器节点与用户终端进行业务交互。

9、根据权利要求8所述的容灾方法，其特征在于，所述主服务器节点向负载服务单元中的非主服务器节点中的本地数据库写所述数据包括；

主服务器节点向负载服务单元中的非主服务器节点发送数据同步更新指令，向负载服务单元中的非主服务器节点中的本地数据库备份所述数据。

10、根据权利要求8或9所述的容灾方法，其特征在于，主服务器节点与用户终端进行业务交互之前还包括：

用户终端首次向负载代理单元发出注册服务请求，所述注册服务请求中包括用户终端的用户信息；

负载代理单元根据收集的心跳信息调度一个服务器节点作为主服务器节点为该用户终端服务，并将所述注册服务请求转发给该主服务器节点；

该主服务器节点存储用户终端的用户信息，并将所述注册服务请求在非主服务器节点上备份后，向用户终端反馈注册服务响应，所述注册服务响应中包括主服务器节点的IP地址。

11、根据权利要求10所述的容灾方法，其特征在于，还包括：

负载代理单元定期接收心跳检测模块检测到的各服务器节点的心跳信息，周期性维护服务器节点的心跳信息列表。

12、根据权利要求11所述的容灾方法，其特征在于，所述从非主服务器节点中选择一服务器节点作为主服务器节点包括：

负载代理单元根据负载代理单元中的心跳信息列表重新确定主服务器节点，并向该重新确定的主服务器节点发出冗余网络地址配置命令，将该重新确定的主服务器节点的IP地址配置为原主服务器节点的IP地址。

13、根据权利要求11或12所述的容灾方法，其特征在于，还包括：负载代理单元备份心跳信息列表，并定期更新所述心跳信息列表。

14、根据权利要求10所述的容灾方法，其特征在于，所述心跳信息中包括服务器节点的性能荷数。

Images