CN110188007A - 分布式数据修复方法、装置、网络节点及存储介质 - Google Patents

Abstract

本发明公开了一种分布式数据修复方法，应用于存储有副本的第一网络节点中，所述第一网络节点与至少一个存储有副本的第二网络节点和至少一个未存储有副本的第三网络节点通讯，所述方法包括：侦测所述副本的数量是否减少；当所述副本的数量减少时，从所述至少一个第三网络节点中筛选出目标网络节点；根据预设修复规则将所述副本发送至所述目标网络节点进行存储以完成所述副本的修复。本发明还公开了一种分布式数据修复装置、网络节点及存储介质。本发明能够在副本数量减少时，快速的对副本进行修复，维持副本数量的平衡，从而保证无中心的分布式数据的可靠性。

Description

分布式数据修复方法、装置、网络节点及存储介质

技术领域

本发明涉及分布式技术领域，尤其涉及一种分布式数据修复方法、装置、网络节点及存储介质。

背景技术

分布式存储系统，一般采用多副本的分布存储策略，通过多副本冗余存储来保证数据的可靠性。例如，可以采用3份副本存储，即将原始数据存储在其中一个数据节点上，而将另外2份副本存储在其他数据节点上。

但是，当磁盘发生故障或节点发生故障导致副本丢失后，需要依赖后续用户读操作触发修复，无法及时对故障副本进行修复。当丢失的数据并非用户经常访问的热数据的情况下，则这个数据将长期保持副本不足的状态。而在这段较长的时间内，若其他节点或磁盘故障导致另外的副本丢失，则将导致数据丢失无法访问，因而数据的可靠性就无法得到保证。

因此，有必要提供一种新的策略，来解决无中心的分布式存储系统中副本丢失无法快速修复的技术问题。

发明内容

本发明的主要目的在于提供一种分布式数据修复方法、装置、网络节点及存储介质，旨在解决无中心的分布式存储系统中副本丢失无法快速修复的技术问题，以便副本数量减少时，能够快速的对副本进行修复，维持副本的数量平衡，从而保证无中心的分布式数据的可靠性。

为实现上述目的，本发明的第一方面提供一种分布式数据修复方法，应用于存储有副本的第一网络节点中，所述第一网络节点与至少一个存储有副本的第二网络节点和至少一个未存储有副本的第三网络节点通讯，所述方法包括：

侦测所述副本的数量是否减少；

当所述副本的数量减少时，从所述至少一个第三网络节点中筛选出目标网络节点；

根据预设修复规则将所述副本发送至所述目标网络节点进行存储以完成所述副本的修复。

根据本发明的一个优选实施例，所述侦测所述副本的数量是否减少包括：

定期查询所述至少一个第二网络节点中的副本的第一数量；

判断所述第一数量是否小于预设数量阈值；

当所述第一数量小于或等于所述预设数量阈值时，确定所述副本的数量减少；

当所述第一数量大于预设数量阈值时，确定所述副本的数量没有减少。

根据本发明的一个优选实施例，所述从所述至少一个第三网络节点中筛选出目标网络节点包括：

获取预先存储的路由表中的网络拓扑和链路长度；

根据所述网络拓扑和链路长度采用预设路由选择算法计算所述第一网络节点与所述至少一个第三网络节点的路径；

筛选出所述路径中的最短路径对应的第三网络节点作为目标网络节点。

根据本发明的一个优选实施例，所述根据所述预设修复规则将所述副本发送至所述目标网络节点包括：

对所述第一网络节点及所述第二网络节点中未发生副本丢失的网络节点进行排序；

判断所述第一网络节点是否为排序在最前面的网络节点；

当确定所述第一网络节点为排序在最前面的网络节点时，将所述副本发送至所述目标网络节点；

当确定所述第一网络节点不为排序在最前面的网络节点时，停止等待轮询周期。

根据本发明的一个优选实施例，在所述停止等待轮询周期之后，所述方法还包括：

侦测所述目标网络节点中是否已存储有所述副本；

当所述目标网络节点中未存储有所述副本时，将所述副本发送至所述目标网络节点。

根据本发明的一个优选实施例，所述轮询周期是通过下列方式确定的：

计算排序在所述第一网络节点之前的网络节点的第二数量；

根据数量与时长的对应关系确定所述第二数量对应的第一目标时长；

将所述第一目标时长作为轮询周期。

根据本发明的一个优选实施例，在当确定所述第一网络节点为排序在最前面的网络节点时，将所述副本发送至所述目标网络节点之后，所述方法还包括：

计算所述第二网络节点中未发生副本丢失的网络节点的第三数量；

根据数量与时长的对应关系确定所述第三数量对应的第二目标时长；

侦测所述第二目标时长之后所述目标网络节点中是否已存储所述副本；

当所述目标网络节点中未存储有所述副本时，将所述副本再次发送至所述目标网络节点。

为实现上述目的，本发明的第二方面提供一种分布式数据修复装置，运行于存储有副本的第一网络节点中，所述第一网络节点与至少一个存储有副本的第二网络节点和至少一个未存储有副本的第三网络节点通讯，所述装置包括：

侦测模块，用于侦测所述副本的数量是否减少；

筛选模块，用于当所述副本的数量减少时，从所述至少一个第三网络节点中筛选出目标网络节点；

发送模块，用于根据预设修复规则将所述副本发送至所述目标网络节点进行存储以完成所述副本的修复。

为实现上述目的，本发明的第三方面提供一种网络节点，所述网络节点包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的分布式数据修复的下载程序，所述分布式数据修复的下载程序被所述处理器执行时实现所述的分布式数据修复方法。

为实现上述目的，本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有分布式数据修复的下载程序，所述分布式数据修复的下载程序可被一个或者多个处理器执行以实现所述的分布式数据修复方法。

本发明实施例所述的分布式数据修复方法、装置、网络节点及存储介质，通过实时侦测副本的数量减少时，从至少一个未存储有副本的第三网络节点中筛选出目标网络节点；根据预设修复规则将所述副本发送至所述目标网络节点进行存储以完成所述副本的修复。基于DHT网络完全去中心化的特性，使得某一个网络节点发生故障导致副本丢失时，能够快速的将副本发送至其他网络节点进行存储，以维持DHT网络中副本数量的平衡，从而保证无中心的分布式数据的可靠性；此外，由于所述分布式数据修复的技术方案完全去中心化，不需要部署中心服务器，极大的节省了服务器资源，进一步降低了无中心的分布式系统的维护成本。

附图说明

图1为本发明第一实施例的分布式数据修复方法的流程示意图；

图2为本发明实施例的DHT网络结构示意图；

图3为本发明第二实施例的分布式数据修复装置的结构示意图；

图4为本发明第三实施例揭露的网络节点的内部结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

实施例一

如图1所示，为本发明实施例一提供的分布式数据修复方法的流程图。

所述分布式数据修复方法应用于存储有副本的第一网络节点中，具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。

S11，侦测副本的数量是否减少。

本实施例中的网络节点是指分布式哈希表(Distributed Hash Table，DHT)网络中的节点。所述网络节点可以是客户端，也可以是服务器，在此不做任何限制。

所述DHT是一种分布式存储方法，在不需要部署中心服务器的情况下，每个网络节点负责一个小范围的路由，并负责存储一小部分数据，从而实现整个DHT网络的寻址和存储。加入DHT网络中的所有网络节点之间能够相互通讯，任何一个网络节点都可以发现DHT网络中新加入的网络节点，也可以发现DHT网络中的原有的网络节点是否发生故障等。为了保证数据的可靠性，DHT网络中的多个网络节点中都存储有副本，即将数据以多个副本的形式存储在多个网络节点中，如此可保证当某一个网络节点发生故障导致存储在该网络节点中的副本发生丢失或者损坏时，可以通过存储有副本的其他网络节点对故障副本进行修复。

需要说明的是，为了便于后续描述的简洁和清楚，将DHT网络中存储有副本的网络节点称之为第一网络节点，而将第一网络节点中的任意一个网络节点作为本发明实施例所述的分布式数据修复方法的执行主体，除此之外的存储有副本的其他网络节点则称之为第二网络节点，将未存储有副本的网络节点称之为第三网络节点。

参阅图2所示的DHT网络，加入DHT网络中的网络节点有：网络节点A、网络节点B、网络节点C、网络节点D、网络节点E、网络节点F。其中，网络节点A、网络节点B和网络节点F中均存储有副本。DHT网络中的任何一个网络节点均能获知哪些网络节点中存储有副本。

在一个可选的实施例中，所述侦测副本的数量是否减少包括：

定期查询所述至少一个第二网络节点中的副本的第一数量；

判断所述第一数量是否小于预设数量阈值；

当所述第一数量小于或等于所述预设数量阈值时，确定所述副本的数量减少；

当所述第一数量大于预设数量阈值时，确定所述副本的数量没有减少。

本实施例中，由于第一网络节点能够获知DHT网络中的其他网络节点的信息，例如，哪些网络节点存储有副本，哪些网络节点未存储有副本，存储有副本的网络节点的数量等。第一网络节点可以定期查询所述第二网络节点中的副本的第一数量，而在副本修复的过程中，副本的数量又会增加，因而通过判断第一数量是否小于预设数量阈值即可确定副本的数量是否减少。

S12，当所述副本的数量减少时，从至少一个第三网络节点中筛选出目标网络节点。

本实施例中，当所述副本的数量减少时，可能至少有一个第二网络节点中的副本丢失了，从未存储有副本的第三网络节点中筛选出一个目标网络节点，基于所述目标网络节点进行副本的修复，从而维持DHT网络中的副本数量的平衡。示例性的，假设网络节点B发生故障，例如掉线，导致网络节点B中的副本丢失时，其他网络节点(A、C、D、E及F)均能获知网络节点B中的副本丢失，且获知DHT网络中的副本数量变为2。

在一个可选的实施例中，所述从所述至少一个第三网络节点中筛选出目标网络节点包括：

获取预先存储的路由表中的网络拓扑和链路长度；

根据所述网络拓扑和链路长度采用预设路由选择算法计算所述第一网络节点与所述至少一个第三网络节点的路径；

筛选出所述路径中的最短路径对应的第三网络节点作为目标网络节点。

在计算机网络中，路由表(routing table)或称路由信息库(RoutingInformation Base，RIB)，是一个存储在路由器或者联网计算机中的电子表格(文件)或类数据库。路由表存储着指向特定网络地址的路径(在有些情况下，还记录有路径的路由度量值)。路由表中含有网络周边的拓扑信息。路由表建立的主要目标是为了实现路由协议和静态路由选择。所述路由表中可以包括网络拓扑和链路长度，例如目的网络地址、相关网络节点、对某条路径满意程度、预期路径信息、目的网络、掩码、度量值、管理距离、地址等。

所述预设路由选择算法可以为Bellman-Ford算法或者Dijkstra算法或者其他任何计算路径的算法，本发明在此不做任何限制。

通过预设路由选择算法计算出第一网络节点与DHT网络中的第三网络节点之间的路径后，即可确定距离第一网络节点最短路径的第三网络节点，并将所确定出的第三网络节点作为目标网络节点。

S13，根据预设修复规则将副本发送至所述目标网络节点进行存储以完成所述副本的修复。

本实施例中，在从至少一个第三网络节点中筛选出了一个目标网络节点之后，第一网络节点可以将副本发送给目标网络节点。所述目标网络节点接收到所述副本后进行存储，以对丢失的副本进行修复，从而保证了DHT网络中的副本数量保持不变。

在一个可选的实施例中，所述根据所述预设修复规则将所述副本发送至所述目标网络节点包括：

对所述第一网络节点及所述第二网络节点中未发生副本丢失的网络节点进行排序；

判断所述第一网络节点是否为排序在最前面的网络节点；

当确定所述第一网络节点为排序在最前面的网络节点时，将所述副本发送至所述目标网络节点；

当确定所述第一网络节点不为排序在最前面的网络节点时，停止等待轮询周期。

如果网络节点A和网络节点F同时补片，那么会造成副本变多或者副本维护混乱。此时需要对网络节点A和网络节点F进行协调以错开时间段发送副本至其他未存储有副本的网络节点。但是网络节点A和网络节点F通过相互发消息协调会造成效率降低，尤其是当大量网络节点需要进行协调时效率更低，甚至造成较大的带宽开销。此时，可以基于网络节点的标识建立修复规则，根据所建立的修复规则发送副本。

可以根据预先设置的排序规则对所述第一网络节点及所述第二网络节点中未发生副本丢失的网络节点进行排序，例如，根据节点标识进行排序。示例性的，假设网络节点A的第一标识为a，网络节点B的第一标识为b，网络节点C的第一标识为c，网络节点D的第一标识为d，网络节点E的第一标识为e，网络节点F的第一标识为f，其中标识的大小顺序为：a<b<c<d<e<f，存储有副本的网络节点为网络节点A、网络节点B、网络节点F，筛选出的目标网络节点为网络节点E。假如网络节点A发现网络节点B中的副本丢失时，由于网络节点A的标识最小，则网络节点A将存储在自身的副本发送给网络节点E。假如网络节点F发现网络节点B中的副本丢失时，由于网络节点F的标识不是最小，则网络节点F需要等待一个轮询周期后将存储在自身的副本发送给网络节点E。

进一步，在所述停止等待轮询周期之后，所述方法还包括：

侦测所述目标网络节点中是否已存储有所述副本；

当所述目标网络节点中未存储有所述副本时，将所述副本发送至所述目标网络节点。

在第一网络节点等待一个轮询周期后，在将存储在自身的副本发送给目标网络节点之前，需要先判断所述目标网络节点中是否已经存储有副本了。当所述目标网络节点中已存储有副本，表明已经有其他网络节点将存储在自身的副本发送给了目标网络节点且所述目标网络节点已成功存储，DHT网络中的副本已经达到了平衡，则第一网络节点无需再次发送副本至目标网络节点，否则会导致DHT网络中的副本数量变多。当所述目标网络节点中未存储有副本，表明有其他网络节点没有将存储在自身的副本发送给目标网络节点，或者其他网络节点虽然将存储在自身的副本发送给了目标网络节点但所述目标网络节点未成功存储，则第一网络节点需要发送副本至目标网络节点，以此保证DHT网络中的副本达到平衡。

在一个可选的实施例中，所述轮询周期是通过下列方式确定的：

计算排序在所述第一网络节点之前的网络节点的第二数量；

根据数量与时长的对应关系确定所述第二数量对应的第一目标时长；

将所述第一目标时长作为轮询周期。

本实施例中，为了避免无谓的等待，可以根据网络节点中的标识计算出等待时间以进行轮询。标识越小，其具有越高的优先级发送副本至目标网络节点，标识越大，其具有越低的优先级发送副本至目标网络节点。

预先设置了数量与时长之间的对应关系，数量越大，对应的时长越长，数量越小，对应的时长越短。当确定出排序在第一网络节点之前的第二网络节点的数量时，即可确定出轮询周期，以等待其他存储有副本的网络节点先发送副本至目标网络节点。

更进一步的，在当确定所述第一网络节点为排序在最前面的网络节点时，将所述副本发送至所述目标网络节点之后，所述方法还包括：

计算所述第二网络节点中未发生副本丢失的网络节点的第三数量；

根据数量与时长的对应关系确定所述第三数量对应的第二目标时长；

侦测所述第二目标时长之后所述目标网络节点中是否已存储所述副本；

当所述目标网络节点中未存储有所述副本时，将所述副本再次发送至所述目标网络节点。

本实施例中，由于第一网络节点排序在最前面(例如，对应的第一标识为最小的标识)，所述第一网络节点具有最高的优先级将存储的副本发送至所述目标网络节点，但是也有可能存在所述目标网络节点接收不到副本的情况或者所述目标网络节点接收到副本但未成功存储所述副本的情况，此时在等待所有存储有副本的第二网络节点将副本发送至所述目标网络节点之后，再次判断所述目标网络节点中是否已存储有副本。

需要说明的是，上述实施例的技术方案主要适用于一个第二网络节点中的副本发生丢失的情况，当有多个第二网络节点的副本同时发生丢失时，无需DHT网络中的网络节点之间进行协调，采用本发明的轮询思想，按照一定的策略为每一个发生副本丢失的第二网络节点分配副本修复时间，降低了DHT网络中的网络节点之间的协调成本，节省了带宽，也防止了多节点之间副本修复时出现乱象的现象。

综上所述，本发明实施例所述的分布式数据修复方法，通过实时侦测副本的数量减少时，从至少一个未存储有副本的第三网络节点中筛选出目标网络节点；根据预设修复规则将所述副本发送至所述目标网络节点进行存储以完成所述副本的修复。基于DHT网络完全去中心化的特性，使得某一个网络节点发生故障导致副本丢失时，能够快速的将副本发送至其他网络节点进行存储，以维持DHT网络中副本数量的平衡，从而保证无中心的分布式数据的可靠性；此外，由于所述分布式数据修复的技术方案完全去中心化，不需要部署中心服务器，极大的节省了服务器资源，进一步降低了无中心的分布式系统的维护成本。

实施例二

参阅图3所示，为本发明实施例揭露的分布式数据修复装置的功能模块示意图。

在一些实施例中，所述分布式数据修复装置30运行于网络节点中。所述分布式数据修复装置30可以包括多个由程序代码段所组成的功能模块。所述分布式数据修复装置30中的各个程序段的程序代码可以存储于网络节点的存储器中，并由所述至少一个处理器所执行，以执行(详见图1描述)对分布式数据的修复。

本实施例中，所述分布式数据修复装置30根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：侦测模块301、筛选模块302、发送模块303及计算模块304。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各模块的功能将在后续的实施例中详述。

侦测模块301，用于侦测副本的数量是否减少。

本实施例中的网络节点是指分布式哈希表(Distributed Hash Table，DHT)网络中的节点。所述网络节点可以是客户端，也可以是服务器，在此不做任何限制。

所述DHT是一种分布式存储方法，在不需要部署中心服务器的情况下，每个网络节点负责一个小范围的路由，并负责存储一小部分数据，从而实现整个DHT网络的寻址和存储。加入DHT网络中的所有网络节点之间能够相互通讯，任何一个网络节点都可以发现DHT网络中新加入的网络节点，也可以发现DHT网络中的原有的网络节点是否发生故障等。为了保证数据的可靠性，DHT网络中的多个网络节点中都存储有副本，即将数据以多个副本的形式存储在多个网络节点中，如此可保证当某一个网络节点发生故障导致存储在该网络节点中的副本发生丢失或者损坏时，可以通过存储有副本的其他网络节点对故障副本进行修复。

需要说明的是，为了便于后续描述的简洁和清楚，将DHT网络中存储有副本的网络节点称之为第一网络节点，而将第一网络节点中的任意一个网络节点作为本发明实施例所述的分布式数据修复方法的执行主体，除此之外的存储有副本的其他网络节点则称之为第二网络节点，将未存储有副本的网络节点称之为第三网络节点。

参阅图2所示的DHT网络，加入DHT网络中的网络节点有：网络节点A、网络节点B、网络节点C、网络节点D、网络节点E、网络节点F。其中，网络节点A、网络节点B和网络节点F中均存储有副本。DHT网络中的任何一个网络节点均能获知哪些网络节点中存储有副本。

在一个可选的实施例中，所述侦测模块301侦测副本的数量是否减少包括：

定期查询所述至少一个第二网络节点中的副本的第一数量；

判断所述第一数量是否小于预设数量阈值；

当所述第一数量小于或等于所述预设数量阈值时，确定所述副本的数量减少；

当所述第一数量大于预设数量阈值时，确定所述副本的数量没有减少。

本实施例中，由于第一网络节点能够获知DHT网络中的其他网络节点的信息，例如，哪些网络节点存储有副本，哪些网络节点未存储有副本，存储有副本的网络节点的数量等。第一网络节点可以定期查询所述第二网络节点中的副本的第一数量，而在副本修复的过程中，副本的数量又会增加，因而通过判断第一数量是否小于预设数量阈值即可确定副本的数量是否减少。

筛选模块302，用于当所述副本的数量减少时，从至少一个第三网络节点中筛选出目标网络节点。

本实施例中，当所述副本的数量减少时，可能至少有一个第二网络节点中的副本丢失了，从未存储有副本的第三网络节点中筛选出一个目标网络节点，基于所述目标网络节点进行副本的修复，从而维持DHT网络中的副本数量的平衡。示例性的，假设网络节点B发生故障，例如掉线，导致网络节点B中的副本丢失时，其他网络节点(A、C、D、E及F)均能获知网络节点B中的副本丢失，且获知DHT网络中的副本数量变为2。

在一个可选的实施例中，所述筛选模块302从所述至少一个第三网络节点中筛选出目标网络节点包括：

获取预先存储的路由表中的网络拓扑和链路长度；

根据所述网络拓扑和链路长度采用预设路由选择算法计算所述第一网络节点与所述至少一个第三网络节点的路径；

筛选出所述路径中的最短路径对应的第三网络节点作为目标网络节点。

在计算机网络中，路由表(routing table)或称路由信息库(RoutingInformation Base，RIB)，是一个存储在路由器或者联网计算机中的电子表格(文件)或类数据库。路由表存储着指向特定网络地址的路径(在有些情况下，还记录有路径的路由度量值)。路由表中含有网络周边的拓扑信息。路由表建立的主要目标是为了实现路由协议和静态路由选择。所述路由表中可以包括网络拓扑和链路长度，例如目的网络地址、相关网络节点、对某条路径满意程度、预期路径信息、目的网络、掩码、度量值、管理距离、地址等。

所述预设路由选择算法可以为Bellman-Ford算法或者Dijkstra算法或者其他任何计算路径的算法，本发明在此不做任何限制。

通过预设路由选择算法计算出第一网络节点与DHT网络中的第三网络节点之间的路径后，即可确定距离第一网络节点最短路径的第三网络节点，并将所确定出的第三网络节点作为目标网络节点。

发送模块303，用于根据预设修复规则将副本发送至所述目标网络节点进行存储以完成所述副本的修复。

本实施例中，在从至少一个第三网络节点中筛选出了一个目标网络节点之后，第一网络节点可以将副本发送给目标网络节点。所述目标网络节点接收到所述副本后进行存储，以对丢失的副本进行修复，从而保证了DHT网络中的副本数量保持不变。

在一个可选的实施例中，所述发送模块303根据所述预设修复规则将所述副本发送至所述目标网络节点包括：

对所述第一网络节点及所述第二网络节点中未发生副本丢失的网络节点进行排序；

判断所述第一网络节点是否为排序在最前面的网络节点；

当确定所述第一网络节点为排序在最前面的网络节点时，将所述副本发送至所述目标网络节点；

当确定所述第一网络节点不为排序在最前面的网络节点时，停止等待轮询周期。

如果网络节点A和网络节点F同时补片，那么会造成副本变多或者副本维护混乱。此时需要对网络节点A和网络节点F进行协调以错开时间段发送副本至其他未存储有副本的网络节点。但是网络节点A和网络节点F通过相互发消息协调会造成效率降低，尤其是当大量网络节点需要进行协调时效率更低，甚至造成较大的带宽开销。此时，可以基于网络节点的标识建立修复规则，根据所建立的修复规则发送副本。

可以根据预先设置的排序规则对所述第一网络节点及所述第二网络节点中未发生副本丢失的网络节点进行排序，例如，根据节点标识进行排序。示例性的，假设网络节点A的第一标识为a，网络节点B的第一标识为b，网络节点C的第一标识为c，网络节点D的第一标识为d，网络节点E的第一标识为e，网络节点F的第一标识为f，其中标识的大小顺序为：a<b<c<d<e<f，存储有副本的网络节点为网络节点A、网络节点B、网络节点F，筛选出的目标网络节点为网络节点E。假如网络节点A发现网络节点B中的副本丢失时，由于网络节点A的标识最小，则网络节点A将存储在自身的副本发送给网络节点E。假如网络节点F发现网络节点B中的副本丢失时，由于网络节点F的标识不是最小，则网络节点F需要等待一个轮询周期后将存储在自身的副本发送给网络节点E。

进一步，在所述停止等待轮询周期之后，所述侦测模块301还用于侦测所述目标网络节点中是否已存储有所述副本；

所述发送模块303，还用于当所述目标网络节点中未存储有所述副本时，将所述副本发送至所述目标网络节点。

在第一网络节点等待一个轮询周期后，在将存储在自身的副本发送给目标网络节点之前，需要先判断所述目标网络节点中是否已经存储有副本了。当所述目标网络节点中已存储有副本，表明已经有其他网络节点将存储在自身的副本发送给了目标网络节点且所述目标网络节点已成功存储，DHT网络中的副本已经达到了平衡，则第一网络节点无需再次发送副本至目标网络节点，否则会导致DHT网络中的副本数量变多。当所述目标网络节点中未存储有副本，表明有其他网络节点没有将存储在自身的副本发送给目标网络节点，或者其他网络节点虽然将存储在自身的副本发送给了目标网络节点但所述目标网络节点未成功存储，则第一网络节点需要发送副本至目标网络节点，以此保证DHT网络中的副本达到平衡。

在一个可选的实施例中，所述轮询周期是通过下列方式确定的：

计算排序在所述第一网络节点之前的网络节点的第二数量；

根据数量与时长的对应关系确定所述第二数量对应的第一目标时长；

将所述第一目标时长作为轮询周期。

本实施例中，为了避免无谓的等待，可以根据网络节点中的标识计算出等待时间以进行轮询。标识越小，其具有越高的优先级发送副本至目标网络节点，标识越大，其具有越低的优先级发送副本至目标网络节点。

预先设置了数量与时长之间的对应关系，数量越大，对应的时长越长，数量越小，对应的时长越短。当确定出排序在第一网络节点之前的第二网络节点的数量时，即可确定出轮询周期，以等待其他存储有副本的网络节点先发送副本至目标网络节点。

更进一步的，在当确定所述第一网络节点为排序在最前面的网络节点时，将所述副本发送至所述目标网络节点之后，所述装置还包括：

计算模块304，用于计算所述第二网络节点中未发生副本丢失的网络节点的第三数量；根据数量与时长的对应关系确定所述第三数量对应的第二目标时长；

所述侦测模块301，还用于侦测所述第二目标时长之后所述目标网络节点中是否已存储所述副本；

所述发送模块303，还用于当所述目标网络节点中未存储有所述副本时，将所述副本再次发送至所述目标网络节点。

本实施例中，由于第一网络节点排序在最前面(例如，对应的第一标识为最小的标识)，所述第一网络节点具有最高的优先级将存储的副本发送至所述目标网络节点，但是也有可能存在所述目标网络节点接收不到副本的情况或者所述目标网络节点接收到副本但未成功存储所述副本的情况，此时在等待所有存储有副本的第二网络节点将副本发送至所述目标网络节点之后，再次判断所述目标网络节点中是否已存储有副本。

需要说明的是，上述实施例的技术方案主要适用于一个第二网络节点中的副本发生丢失的情况，当有多个第二网络节点的副本同时发生丢失时，无需DHT网络中的网络节点之间进行协调，采用本发明的轮询思想，按照一定的策略为每一个发生副本丢失的第二网络节点分配副本修复时间，降低了DHT网络中的网络节点之间的协调成本，节省了带宽，也防止了多节点之间副本修复时出现乱象的现象。

综上所述，本发明实施例所述的分布式数据修复装置，通过实时侦测副本的数量减少时，从至少一个未存储有副本的第三网络节点中筛选出目标网络节点；根据预设修复规则将所述副本发送至所述目标网络节点进行存储以完成所述副本的修复。基于DHT网络完全去中心化的特性，使得某一个网络节点发生故障导致副本丢失时，能够快速的将副本发送至其他网络节点进行存储，以维持DHT网络中副本数量的平衡，从而保证无中心的分布式数据的可靠性；此外，由于所述分布式数据修复的技术方案完全去中心化，不需要部署中心服务器，极大的节省了服务器资源，进一步降低了无中心的分布式系统的维护成本。

实施例三

图4为本发明实施例揭露的网络节点的内部结构示意图。

在本实施例中，网络节点4可以是客户端，也可以是服务器，还可以是其他电子设备。

所述网络节点4可以包括存储器41、处理器42和总线43。

其中，存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器41在一些实施例中可以是所述网络节点4的内部存储单元，例如所述网络节点4的硬盘。存储器41在另一些实施例中也可以是所述网络节点4的外部存储设备，例如所述网络节点4上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器41还可以既包括所述网络节点4的内部存储单元也包括外部存储设备。存储器41不仅可以用于存储安装于所述网络节点4的应用应用程序及各类数据，例如分布式数据修复装置30的代码等及各个模块，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器42在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器41中存储的下载程序或处理数据。

该总线43可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

进一步地，所述网络节点4还可以包括网络接口，网络接口可选的可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该网络节点4与其他网络节点之间建立通信连接。

可选地，该网络节点4还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在所述网络节点中处理的消息以及用于显示可视化的用户界面。

图4仅示出了具有组件41-43的所述网络节点4，本领域技术人员可以理解的是，图4示出的结构并不构成对所述网络节点4的限定，既可以是总线型结构，也可以是星形结构，所述网络节点4还可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。其他现有的或今后可能出现的电子产品如可适应于本发明，也应包含在本发明的保护范围以内，并以引用方式包含于此。

在上述实施例中，可以全部或部分地通过应用程序、硬件、固件或者其任意组合来实现。当使用应用程序实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用应用程序功能单元的形式实现。

所述集成的单元如果以应用程序功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以应用程序产品的形式体现出来，该计算机应用程序产品存储在一个存储介质中，包括若干指令用以使得一台网络节点(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种分布式数据修复方法，应用于存储有副本的第一网络节点中，所述第一网络节点与至少一个存储有副本的第二网络节点和至少一个未存储有副本的第三网络节点通讯，其特征在于，所述方法包括：

侦测所述副本的数量是否减少；

当所述副本的数量减少时，从所述至少一个第三网络节点中筛选出目标网络节点；

根据预设修复规则将所述副本发送至所述目标网络节点进行存储以完成所述副本的修复。

2.如权利要求1所述的方法，其特征在于，所述侦测所述副本的数量是否减少包括：

定期查询所述至少一个第二网络节点中的副本的第一数量；

判断所述第一数量是否小于预设数量阈值；

当所述第一数量小于或等于所述预设数量阈值时，确定所述副本的数量减少；

当所述第一数量大于预设数量阈值时，确定所述副本的数量没有减少。

3.如权利要求1所述的方法，其特征在于，所述从所述至少一个第三网络节点中筛选出目标网络节点包括：

获取预先存储的路由表中的网络拓扑和链路长度；

根据所述网络拓扑和链路长度采用预设路由选择算法计算所述第一网络节点与所述至少一个第三网络节点的路径；

筛选出所述路径中的最短路径对应的第三网络节点作为目标网络节点。

4.如权利要求1所述的方法，其特征在于，所述根据所述预设修复规则将所述副本发送至所述目标网络节点包括：

对所述第一网络节点及所述第二网络节点中未发生副本丢失的网络节点进行排序；

判断所述第一网络节点是否为排序在最前面的网络节点；

当确定所述第一网络节点为排序在最前面的网络节点时，将所述副本发送至所述目标网络节点；

当确定所述第一网络节点不为排序在最前面的网络节点时，停止等待轮询周期。

5.如权利要求4所述的方法，其特征在于，在所述停止等待轮询周期之后，所述方法还包括：

侦测所述目标网络节点中是否已存储有所述副本；

当所述目标网络节点中未存储有所述副本时，将所述副本发送至所述目标网络节点。

6.如权利要求4或5所述的方法，其特征在于，所述轮询周期是通过下列方式确定的：

计算排序在所述第一网络节点之前的网络节点的第二数量；

根据数量与时长的对应关系确定所述第二数量对应的第一目标时长；

将所述第一目标时长作为轮询周期。

7.如权利要求4所述的方法，其特征在于，在当确定所述第一网络节点为排序在最前面的网络节点时，将所述副本发送至所述目标网络节点之后，所述方法还包括：

计算所述第二网络节点中未发生副本丢失的网络节点的第三数量；

根据数量与时长的对应关系确定所述第三数量对应的第二目标时长；

侦测所述第二目标时长之后所述目标网络节点中是否已存储所述副本；

当所述目标网络节点中未存储有所述副本时，将所述副本再次发送至所述目标网络节点。

8.一种分布式数据修复装置，运行于存储有副本的第一网络节点中，所述第一网络节点与至少一个存储有副本的第二网络节点和至少一个未存储有副本的第三网络节点通讯，其特征在于，所述装置包括：

侦测模块，用于侦测所述副本的数量是否减少；

筛选模块，用于当所述副本的数量减少时，从所述至少一个第三网络节点中筛选出目标网络节点；

发送模块，用于根据预设修复规则将所述副本发送至所述目标网络节点进行存储以完成所述副本的修复。

9.一种网络节点，其特征在于，所述网络节点包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的分布式数据修复的下载程序，所述分布式数据修复的下载程序被所述处理器执行时实现如权利要求1至7中任意一项所述的分布式数据修复方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有分布式数据修复的下载程序，所述分布式数据修复的下载程序可被一个或者多个处理器执行以实现如权利要求1至7中任一项所述的分布式数据修复方法。