CN111857603B - 数据处理方法及相关装置 - Google Patents

Abstract

本发明涉及分布式存储技术领域，提供了一种数据处理方法及相关装置，所述方法包括：接收客户端发送的写数据请求；若第一目标存储块与最近一次写数据请求写入的存储块相同，且第一目标存储单元和最近一次写数据请求写入的第二目标存储单元位置相邻，则将第一目标存储单元合并入第二目标存储单元对应的第一目标存储段；将第一目标存储单元的版本号递增；若递增后的第一目标存储单元的版本号大于第一目标存储段的版本号，则用递增后的第一目标存储单元的版本号更新第一目标存储段的版本号并将更新后的第一目标存储段的版本号发送至元数据节点进行存储。本发明能够极大地减少版本号占用的存储空间，提高了元数据节点存储空间的利用效率。

Description

数据处理方法及相关装置

技术领域

本发明涉及分布式存储技术领域，具体而言，涉及一种数据处理方法及相关装置。

背景技术

现有的分布式存储系统中，存储节点通常包括多个存储块，每一存储块包括多个存储单元，待存储的数据首先按照纠删码进行编码，得到多个数据块和至少一个校验块，然后将多个数据块和校验块发送至不同的存储节点，由存储节点将收到的数据块或者校验块存储至本地的存储块中的存储单元中，为了便于对存储块中的存储单元进行管理，现有技术利用元数据节点为每一存储单元存储对应的版本号，当存储单元中的数据发生变化时，将该存储单元的版本号递增，当存储节点包括的存储单元的数量很大时，记录存储单元的版本号占用的存储空间也会随之膨胀，从而降低了元数据节点存储空间的利用效率。

发明内容

本发明的目的在于提供了一种数据处理方法及相关装置，其能够在写数据时将位置相邻的存储单元合并为一个存储段，并为每个存储段记录一个版本号，从而可以极大地减少版本号占用的存储空间，提高了元数据节点存储空间的利用效率。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明提供一种数据处理方法，应用于分布式存储系统中的存储节点，存储节点包括多个存储块，每一存储块包括多个存储单元，分布式存储系统还包括客户端和元数据节点，存储节点与客户端及元数据节点均通信连接，所述方法包括：接收客户端发送的写数据请求，其中，写数据请求中携带有待写地址，待写地址用于表征待写数据应写入的第一目标存储块及在第一目标存储块中的第一目标存储单元；若第一目标存储块与最近一次写数据请求写入的存储块相同，且第一目标存储单元和最近一次写数据请求写入的第二目标存储单元位置相邻，则将第一目标存储单元合并入第二目标存储单元对应的第一目标存储段；将第一目标存储单元的版本号递增；若递增后的第一目标存储单元的版本号大于第一目标存储段的版本号，则用递增后的第一目标存储单元的版本号更新第一目标存储段的版本号并将更新后的第一目标存储段的版本号发送至元数据节点进行存储。

第二方面，本发明提供一种数据处理方法，应用于分布式存储系统中的元数据节点，元数据节点与存储节点通信连接，所述方法还包括：当检测到对应同一组纠删码编码数据的多个存储节点中的第二目标存储段的版本号不一致时，将其中版本号最小的存储节点确定为待恢复节点，其中，第二目标存储段包括多个位置相邻的存储单元，元数据节点存储第二目标存储段的版本号；向待恢复节点发送恢复信息，以使待恢复节点依据恢复信息从除待恢复节点之外的存储节点中读取第二目标存储段中的数据、并根据读取的数据将待恢复节点中的数据恢复，其中，恢复信息包括多个存储节点中除待恢复节点之外的存储节点的信息、第二目标存储段的版本号、第二目标存储段的起始位置、及第二目标存储段的长度。

第三方面，本发明提供一种数据处理装置，应用于分布式存储系统中的存储节点，存储节点包括多个存储块，每一存储块包括多个存储单元，分布式存储系统还包括客户端和元数据节点，存储节点与客户端及元数据节点均通信连接，所述装置包括：接收模块，用于接收客户端发送的写数据请求，其中，写数据请求中携带有待写地址，待写地址用于表征待写数据应写入的第一目标存储块及在第一目标存储块中的第一目标存储单元；处理模块，用于若第一目标存储块与最近一次写数据请求写入的存储块相同，且第一目标存储单元和最近一次写数据请求写入的第二目标存储单元位置相邻，则将第一目标存储单元合并入第二目标存储单元对应的第一目标存储段；将第一目标存储单元的版本号递增；若递增后的第一目标存储单元的版本号大于第一目标存储段的版本号，则用递增后的第一目标存储单元的版本号更新第一目标存储段的版本号并将更新后的第一目标存储段的版本号发送至元数据节点进行存储。

第四方面，本发明提供一种数据处理装置，应用于分布式存储系统中的元数据节点，元数据节点与存储节点通信连接，所述装置包括：检测模块，用于当检测到对应同一组纠删码编码数据的多个存储节点中的第二目标存储段的版本号不一致时，将其中版本号最小的存储节点确定为待恢复节点，其中，第二目标存储段包括多个位置相邻的存储单元，元数据节点存储第二目标存储段的版本号；恢复模块，用于向待恢复节点发送恢复信息，以使待恢复节点依据恢复信息从除待恢复节点之外的存储节点中读取第二目标存储段中的数据、并根据读取的数据将待恢复节点中的数据恢复，其中，恢复信息包括多个存储节点中除待恢复节点之外的存储节点的信息、第二目标存储段的版本号、第二目标存储段的起始位置、及第二目标存储段的长度。

第五方面，本发明提供一种分布式存储系统，分布式存储系统包括存储节点、客户端及元数据节点，存储节点与客户端及元数据节点均通信连接，客户端与元数据节点通信连接，分布式存储系统用于实现上述应用于存储节点的数据处理方法，或者实现上述应用于元数据节点的数据处理方法。

第六方面，本发明提供一种计算机设备，所述计算机设备包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述应用于存储节点的数据处理方法，或者实现上述应用于元数据节点的数据处理方法。

第七方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述应用于存储节点的数据处理方法，或者实现上述应用于元数据节点的数据处理方法。

相对于现有技术，本发明能够在写数据时将位置相邻的存储单元合并为一个存储段，并为每个存储段记录一个版本号，从而可以极大地减少版本号占用的存储空间，提高了元数据节点存储空间的利用效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的分布式存储系统的架构图。

图2示出了本发明实施例提供的计算机设备的方框示意图。

图3示出了本发明实施例提供的一种数据处理方法的流程图。

图4示出了本发明实施例提供的存储单元位置相邻的示意图。

图5示出了本发明实施例提供的另一种数据处理方法的流程图。

图6示出了本发明实施例提供的另一种数据处理方法的流程图。

图7示出了本发明实施例提供的另一种数据处理方法的流程图。

图8示出了本发明实施例提供应用于存储节点的数据处理装置的方框示意图。

图9示出了本发明实施例提供应用于元数据节点的数据处理装置的方框示意图。

图标：10-计算机设备；11-处理器；12-存储器；13-总线；14-通信接口；20-存储节点；30-元数据节点；40-客户端；100-应用于存储节点的数据处理装置；110-接收模块；120-处理模块；200-应用于元数据节点的数据处理装置；210-检测模块；220-恢复模块；230-读取模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。

现有技术的分布式存储系统通常包括多个存储节点、至少一个元数据节点及至少一个客户端，请参考图1，图1示出了本发明实施例提供的分布式存储系统的架构图，图1中，分布式存储系统包括多个存储节点20、一个元数据节点30及一个客户端40，存储节点20与元数据节点30和客户端40均通信连接，客户端40与存储节点20及元数据节点30均通信连接。

存储节点20用于存储用户需要存储的数据，存储节点20包括多个存储块，每一存储块包括多个存储单元，每一存储单元对应一个版本号，当向任一存储单元写入数据时，该存储单元的版本号就会递增。

元数据节点30用于存储管理存储节点的元数据。例如，客户端40在向存储节点发送待写数据时，需要首先向元数据节点30申请用于存储待写数据的存储空间的权限，元数据节点30向客户端40返回写入待写数据的存储节点20的列表及在存储节点20中的存储块的存储单元。存储单元的版本号存储在元数据节点30。

客户端40接收外部发送的用户需要存储的数据，并将接收的数据进行分段，对于每一段数据进行纠删码编码后得到一组编码后的多片数据，一组数据中包括的片的个数根据预设的纠删码编码规则确定，例如，若采用(5，3)的纠删码编码规则，即每一片原始数据被分成5个数据块，校验块为3个，客户端40将这8个块分别存储至不同的存储节点20上，当其中任意的3块出错(包括数据块和校验块)时，均可以通过对应的重构算法恢复出原来的5块，由此，实现了数据的冗余存储，提高了数据的可靠性。

存储节点20可以为用于存储数据的存储服务器，或者是多个存储服务器组成的存储服务器组。

元数据节点30可以为一个主机或服务器等实体的计算机，也可以是多个主机组成的主机组，或者是多个服务器组成的服务器组，还可以是能够实现与实体的计算机具有相同功能的虚拟主机或者虚拟服务器、或者虚拟主机组或者虚拟服务器组。元数据节点30可以是独立的硬件，也可以是运行在存储节点上的应用程序。

客户端40可以为一个主机或服务器等实体的计算机，也可以是多个主机组成的主机组，或者是多个服务器组成的服务器组，还可以是能够实现与实体的计算机具有相同功能的虚拟主机或者虚拟服务器、或者虚拟主机组或者虚拟服务器组。客户端40可以是独立的硬件，也可以是运行在存储节点20或者元数据节点30上的应用程序。

由于现有技术中，元数据节点30为每一存储单元记录一个版本号，分布式存储系统的存储容量越大，则存储单元的数量也随之剧增，存储单元的版本号占用的元数据节点30的存储空间也随之膨胀，极大地影响了元数据节点30的存储空间的有效利用。

针对此问题，现有常规的做法是通过增加快照数量，减少存储块的存储单元的版本信息，但是增加快照数量会导致快照数据链的拉长，进一步导致数据读性能的下降。

发明人对应用于视频监控领域的分布式存储系统中数据存储的特点进行了仔细研究发现，视频监控需要存储的数据量大，写数据比读数据的频率高，且通常是顺序写入，即多个写请求写入的数据是连续的，故而在存储节点20中存储的存储位置也是连续的，即两个写请求写入的存储单元为位置相邻的存储单元，发明人进一步发现，对于连续写入的多个存储单元，其版本号通常是一样的，因此没有必要每一个存储单元记录一个版本号，可以将连续写入的多个存储单元合并为一个存储段，为每一个存储段记录一个版本号，处于同一个存储段的存储单元共用该存储段的版本号，由于在视频监控领域，大部分数据是连续写入的，因此，多个写请求写数据时，要写的存储单元通常是位置相邻的，因此可以合并为一个存储段，由此可以大大减少需要存储的版本号的数量，同时又无需增加快照数量，避免了快照数据链的拉长导致的数据读性能的下降。

发明人基于上述发现，提供了一种应用于图1所示的分布式存储系统的数据处理方法及相关装置，下面将对此进行详细描述。

请参照图2，图2提供了一种计算机设备10，计算机设备10可以是图1中的存储节点20，也可以是图1中的元数据节点30。计算机设备10包括处理器11、存储器12、总线13、通信接口14。处理器11、存储器12通过总线13连接，当计算机设备10为存储节点20时，处理器11通过不同的通信接口14与元数据节点30及客户端40通信连接。当计算机设备10为元数据节点30时，处理器11通过不同的通信接口14与存储节点20及客户端40通信连接。

处理器11可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器11中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器11可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

存储器12用于存储程序，例如上述的应用于存储节点20的数据处理装置或者应用于元数据节点30的数据处理装置，数据处理装置包括至少一个可以软件或固件(firmware)的形式存储于存储器12中的软件功能模块，当存储程序为应用于存储节点20的数据处理装置时，处理器11在接收到执行指令后，执行所述程序以实现上述应用于存储节点20的数据处理方法，当存储程序为应用于元数据节点30的数据处理装置时，处理器11在接收到执行指令后，执行所述程序以实现上述应用于元数据节点30的数据处理方法。

存储器12可能包括高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非易失存储器(non-volatile memory)，例如至少一个磁盘存储器。可选地，存储器12可以是内置于处理器11中的存储装置，也可以是独立于处理器11的存储装置。

总线13可以是ISA总线、PCI总线或EISA总线等。图2仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

在图1和图2的基础上，本发明实施例提供一种数据处理方法，该数据处理方法可以应用于图1的存储节点20，请参照图3，图3示出了本发明实施例提供的一种数据处理方法的流程图，该方法包括以下步骤：

步骤S100，接收客户端发送的写数据请求，其中，写数据请求中携带有待写地址，待写地址用于表征待写数据应写入的第一目标存储块及在第一目标存储块中的第一目标存储单元。

在本实施例中，存储节点20包括多个存储块，存储块的大小可以根据需要预先进行设置，例如，存储块的大小设置为64MB，每一存储块包括多个存储单元，第一目标存储块为多个存储块中待写数据应写入的存储块，第一目标存储单元为第一目标存储块中多个存储单元中待写数据应写入的存储单元，例如，存储节点20包括5000个存储块，每个存储块包括100个存储单元，待写地址为：存储块500，存储单元50，则存储块500为第一目标存储块，存储单元50为第一目标存储单元。

在本实施例中，客户端40在接收到用户写数据的请求后，首先向元数据节点30申请存储空间及对该存储空间进行写的写权限，然后，将用户需要写的数据进行分片，对每一分片的数据进行纠删码编码，得到该分片对应的一组纠删码数据，一组纠删码数据包括多个数据块和至少一个校验块，同一组纠删码数据的每一数据块和每一校验块均分布于不同的存储节点20。例如，客户端40收到用户要写的数据a，首先将a进行分片，分成a1、a2、a3，然后对a1、a2、a3分别进行纠删码编码，以(3，2)纠删码为例，即数据块的个数为3，校验块的个数为2，得到a1的纠删码数据：a11、a12、a13、b11、b12，a2的纠删码数据，其中，a11、a12、a13为数据块，b11、b12为校验块；类似地，a2的纠删码数据：a21、a22、a23、b21、b22，a3的纠删码数据：a3的纠删码数据：a31、a32、a33、b31、b32。客户端40向元数据节点30申请b组存储空间，其中，每一组存储空间对应一组纠删码数据，以存储单元的大小为4KB为例，一组存储空间的大小为：5*4KB＝20KB，以b为10为例，客户端40向元数据节点30申请b组存储空间，其大小为20KB*10＝200KB，元数据节点30同时会返回该b组存储空间对应的存储节点的信息，该信息包括b组存储空间对应的存储节点、在存储节点中的存储块及在存储块中的存储单元，以存储节点为存储节点1～存储节点5、客户端40每次同时向存储节点1～存储节点5发送k*4KB大小的数据(k<＝b，b通常为k的整数倍)，以b为2为例，对于存储节点1，客户端40向存储节点1发送a11中前4KB数据，其待写地址为：存储块500、存储单元10，则a11中前4KB数据写入存储块500中的存储单元10和存储单元11，其余数据的存储与之类似，此处不再赘述。

需要说明的是，作为一种具体实施方式，客户端40在检测到本次申请的存储空间即将用完时，会预先向元数据节点30再申请b组存储空间，以供后续数据的写入。

步骤S110，若第一目标存储块与最近一次写数据请求写入的存储块相同，且第一目标存储单元和最近一次写数据请求写入的第二目标存储单元位置相邻，则将第一目标存储单元合并入第二目标存储单元对应的第一目标存储段。

在本实施例中，最近一次写数据请求可以是与本次写数据请求时间上相邻的上一次写数据请求，作为一种实施方式，同一个存储块的两个存储单元位置相邻可以是一个存储单元结束地址与另一个存储单元的起始地址相邻，作为另一种实施方式，若存储单元预先按照地址依次进行编号，则编号相邻的两个存储单元其位置也一定相邻，此时，可以按照编号相邻判定两个存储单元位置相邻。请参照图4，图4示出了本发明实施例提供的存储单元位置相邻的示意图。图4(a)为以地址为例的位置相邻，1#存储单元起始地址为0KB，存储单元的大小为4KB，1#存储单元的结束地址为4KB-1，2#存储单元的启示地址为4KB，则1#存储单元和2#存储单元位置相邻，同理，2#存储单元和3#存储单元也是位置相邻，图4(b)为以编号为例的位置相邻，按照地址分别为1#存储单元、2#存储单元及3#存储单元设置编号为1、2、3，则编号1的存储单元和编号2的存储单元为位置相邻、编号2的存储单元和编号3的存储单元为位置相邻。

在本实施例中，一个存储段包括至少一个存储单元，当向任一存储单元写数据时，若本次写入的存储单元与上次写入的存储单元位置不相邻，则将本次写入的存储单元作为一个存储段，若本次写入的存储单元与上次写入的存储单元位置相邻，则将本次写入的存储单元合并入上次写入的存储单元对应的存储段。

在本实施例中，第一目标存储段是多个存储段中与第二目标存储单元对应的存储段。以按照地址对存储单元编号为例，例如，第二目标存储单元的编号为10，第二目标存储单元对应1#存储段，1#存储段包括存储单元5～10，第一目标存储单元的编号为11，则第一目标存储单元与第二目标存储单元位置相邻，则将第一目标存储单元合并入1#存储段，此时，1#存储段包括存储单元5～11。

步骤S120，将第一目标存储单元的版本号递增。

在本实施例中，每一存储单元对应一个版本号，该存储单元中的数据发生变化时，其版本号就会递增，如果该存储单元存在对应的存储段，则对应的存储段的版本号也会更新，最终保存的为该存储段的版本号，且该存储单元的版本号就是其对应的存储段的版本号，作为一种具体实施方式，存储段的版本号可以表示为：(存储单元的标识，k，版本号)，存储单元的标识表示该存储段起始存储单元的标识，k表示该存储段包括的存储单元的个数。如果该存储单元不存在对应的存储段，最终保存的是该存储单元的版本号。

步骤S130，若递增后的第一目标存储单元的版本号大于第一目标存储段的版本号，则用递增后的第一目标存储单元的版本号更新第一目标存储段的版本号并将更新后的第一目标存储段的版本号发送至元数据节点进行存储。

在本实施例中，若第一目标存储段的版本号为5，递增后的第一目标存储单元的版本号为6，则将第一目标存储段的版本号更新为6。

需要说明的是，作为一种具体实施方式，向第一目标存储单元写入数据时，先为第一目标存储块创建一个快照，然后将待写数据写入快照，将第一目标存储段的版本号作为该快照的元数据记录在元数据节点30，在第一目标存储块尾部保存第一目标存储单元的位置，存储节点20定时将快照中的数据合并至第一目标存储块中的第一目标存储单元中。

本发明实施例提供的上述数据处理方法，能够在写数据时将位置相邻的存储单元合并为一个存储段，并为每个存储段记录一个版本号，从而可以极大地减少版本号占用的存储空间，提高了元数据节点存储空间的利用效率。

在本实施例中，为了在第一目标存储单元与第二目标存储单元位置不相邻时仍然可以对第一目标存储单元进行管理，且为当下一个请求要写入的存储单元与第一目标存储单元位置相邻时便于合并，本发明实施例还提供了此场景下对第一目标存储单元的版本号进行更新的方法，请参照图5，图5示出了本发明实施例提供的另一种数据处理方法的流程图，该方法还包括以下步骤：

步骤S140，若第一目标存储单元和第二目标存储单元位置不相邻，则将第一目标存储单元作为一个新的存储段，并将第一目标存储单元的版本号进行递增。

步骤S150，将递增后的第一目标存储单元的版本号作为新的存储段的版本号并发送至元数据节点进行存储。

在本实施例中，当下一个写请求写入的存储单元与第一目标存储单元属于同一个存储块、且与第一目标存储单元位置相邻时，可以将下一个写请求写入的存储单元合并入第一目标存储单元对应的存储段。

本发明实施例提供的上述数据处理方法，在第一目标存储单元与第二目标存储单元位置不相邻时仍然可以对第一目标存储单元进行管理，且为当下一个请求要写入的存储单元与第一目标存储单元位置相邻时便于合并提前做好准备。

基于与上述实施例相同的发明思路，本发明实施例还提供了一种应用于分布式存储系统中的元数据节点的数据处理方法，请参照图6，图6示出了本发明实施例提供的另一种数据处理方法的流程图，该方法包括以下步骤：

步骤S200，当检测到对应同一组纠删码编码数据的多个存储节点中的第二目标存储段的版本号不一致时，将其中版本号最小的存储节点确定为待恢复节点，其中，第二目标存储段包括多个位置相邻的存储单元，元数据节点存储第二目标存储段的版本号。

在本实施例中，元数据节点30存储了每一存储段的版本号及该存储段的信息，当任一存储节点20中的任一存储段中的存储单元中的数据发生变化时，对应的存储段的版本号也会随之更新，存储节点20会将更新后的存储段的版本号同步至元数据节点30。

在本实施例中，对于分布式存储系统存储的多组纠删码编码数据，元数据节点30会周期性地检测每一组纠删码编码数据的多个存储节点中的存储段的版本号是否一致，若一致，证明该组纠删码编码数据存储正常，否则，则该组纠删码编码数据存储异常，但是，该组纠删码编码数据中的异常数据可以通过该组中的其他正常数据进行恢复，此时，元数据节点30启动恢复流程。作为一种具体实施方式，当数据存储异常时，元数据节点30可以将异常数据对应的存储段中的存储单元标记为recover状态，元数据节点30创建一个独立的线程，对标记为recover状态的存储单元启动恢复流程，此时将recover状态修改为recovering状态。

在本实施例中，同一组纠删码编码数据中，版本号最小的存储节点20属于该组纠删码编码数据存储异常的待恢复节点，即该存储节点20上的数据需要恢复。例如，同一组纠删码编码数据分布式在存储节点1～存储节点5上，对应的版本号分别为5、4、5、5、4，则存储节点2和存储节点5为待恢复节点。

在本实施例中，多个存储节点20的第二目标存储段为同一组纠删码编码数据。

步骤S210，向待恢复节点发送恢复信息，以使待恢复节点依据恢复信息从除待恢复节点之外的存储节点中读取第二目标存储段中的数据、并根据读取的数据将待恢复节点中的数据恢复，其中，恢复信息包括多个存储节点中除待恢复节点之外的存储节点的信息、第二目标存储段的版本号、第二目标存储段的起始位置、及第二目标存储段的长度。

在本实施例中，待恢复节点上的数据可以根据除待恢复节点之外的其余存储节点20上的数据恢复，元数据节点30将恢复信息发送至存储节点20，存储节点10根据恢复信息可以将除待恢复节点之外的其余存储节点20上的数据读出，然后再将读出的数据按照纠删码的编码原则，生成恢复节点上需要恢复的数据。

在本实施例中，恢复信息可以表示为：(存储节点id列表；第二目标存储段的起始位置；第二目标存储段的长度；第二目标存储段的版本号)，例如，恢复信息为：(1，3，5；128KB，100，5)，该恢复信息表示，需要从存储节点1、3、5的第128KB的位置开始读取版本号为5的100个存储单元的数据。

本发明实施例提供的上述数据处理方法，元数据节点30根据同一组纠删码编码数据在多个存储节点20的存储段的版本号及时发现存储异常的数据，并对存储异常的数据进行恢复，提高了分布式存储系统数据的可靠性。

在本实施例中，为了将分布式存储系统中存储的数据快速、准确地读出，本发明实施例还提供了一种读取数据的方法，请参照图7，图7示出了本发明实施例提供的另一种数据处理方法的流程图，该方法包括以下步骤：

步骤S300，接收客户端发送的待读地址。

在本实施例中，客户端向存储节点20读数据前，首先向元数据节点30申请读权限及确定待读地址对应的存储节点及在对应的存储节点中的位置。

在本实施例中，为了确保读取的数据正确，若待读地址对应的存储单元正在被写入，此时不允许读取该存储单元中的数据，必须等到该存储单元写完成后才能读取其中的数据。

步骤S310，依据地址映射关系确定与待读地址对应的目标存储节点及在目标存储节点的多个存储单元中的第三目标存储单元。

在本实施例中，地址映射关系用于表征分布式存储系统中存储空间的地址与存储节点及在对应存储节点的存储单元之间的映射关系。

在本实施例中，目标存储节点为待读地址对应的存储节点，第三目标存储单元为存储节点中多个存储单元中与待读地址对应的存储单元，例如，地址映射关系如表1：

表1

地址100KB的存储空间分布于存储节点1的存储块1的数据单元100、存储节点2的存储块1的数据单元110、存储节点3的存储块1的数据单元120、存储节点4的存储块1的数据单元110、存储节点5的存储块1的数据单元120。

作为一种具体实施方式，地址映射关系可以包括预设个数关键地址与存储节点，目标存储单元之间的对应关系，任意地址可以根据地址映射关系、存储块的大小、存储单元的大小的计算得到。

步骤S320，获取第三目标存储单元的版本号。

在本实施例中，作为一种具体实现方式，获取版本号的方法可以是：

若第三目标存储单元存在对应的第三目标存储段，则将第三目标存储段的版本号作为第三目标存储单元的版本号。

在本实施例中，若第三目标存储单元不存在对应的存储段，则可以直接获取第三目标存储单元的版本号。

步骤S330，若第三目标存储单元的版本号中最大版本号的个数大于预设值，则将最大版本号的目标存储节点作为待读存储节点。

在本实施例中，预设值与采用的纠删码的策略相关，例如，采用的纠删码策略为(n，k)即按照该纠删码策略编码后，得到n个数据块和k个校验块，此时，预设值为n，即同一组纠删码编码数据中，任意k个块的数据可以由其余n个块的数据按照相同的纠删码编码策略计算得到。

在本实施例中，最大版本号的第三目标存储单元中的数据为正确、且最新的数据。

步骤S340，将待读存储节点的第三目标存储单元反馈至客户端以使客户端根据从待读存储节点中的第三目标存储单元中读取的数据得到待读数据。

在本实施例中，对于同一组纠删码编码数据，当待读存储节点的第三目标存储单元存储的都是数据块时，可以直接从中读取待读数据，当待读存储节点的第三目标存储单元存储的既有数据块又有校验块时，需要从中读取数据块和校验块，根据数据块和校验块将待读数据计算出来。例如，目标存储节点为存储节点1～存储节点5，存储节点1～存储节点3存储的数据块，存储节点4～存储节点5存储的校验块，待读存储节点为存储节点1，3，5，即存储节点1、3中存储的是数据块、存储节点5中存储的是校验块，则需要根据存储节点1、3中的数据块和存储节点5中的校验块，将存储节点2中的待读数据计算出来，最后客户端40将存储节点1、2、3中的数据块拼起来返回用户。

本发明实施例提供的上述数据处理方法，从大于预设值的版本号最大的待读存储节点中读数据，根据读到的数据可以快速、准确地得到待读数据。

为了执行上述实施例及各个可能的实施方式中的相应步骤，下面给出一种应用于存储节点的数据处理装置100的实现方式。请参照图8，图8示出了本发明实施例提供的应用于存储节点的数据处理装置100的方框示意图。需要说明的是，本实施例所提供的应用于存储节点的数据处理装置100，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及指出。

应用于存储节点的数据处理装置100包括接收模块110和处理模块120。

接收模块110，用于接收客户端发送的写数据请求，其中，写数据请求中携带有待写地址，待写地址用于表征待写数据应写入的第一目标存储块及在第一目标存储块中的第一目标存储单元。

处理模块120，用于若第一目标存储块与最近一次写数据请求写入的存储块相同，且第一目标存储单元和最近一次写数据请求写入的第二目标存储单元位置相邻，则将第一目标存储单元合并入第二目标存储单元对应的第一目标存储段；将第一目标存储单元的版本号递增；若递增后的第一目标存储单元的版本号大于第一目标存储段的版本号，则用递增后的第一目标存储单元的版本号更新第一目标存储段的版本号并将更新后的第一目标存储段的版本号发送至元数据节点进行存储。

作为一种具体实施方式，处理模块120还用于：若第一目标存储单元和第二目标存储单元位置不相邻，则将第一目标存储单元作为一个新的存储段，并将第一目标存储单元的版本号进行递增；将递增后的第一目标存储单元的版本号作为新的存储段的版本号并发送至元数据节点进行存储。

为了执行上述实施例及各个可能的实施方式中的相应步骤，下面给出一种应用于元数据节点的数据处理装置200的实现方式。请参照图9，图9示出了本发明实施例提供的应用于元数据节点的数据处理装置200的方框示意图。需要说明的是，本实施例所提供应用于元数据节点的数据处理装置200，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及指出。

应用于元数据节点的数据处理装置200包括检测模块210，恢复模块220，读取模块230。

检测模块210，用于当检测到对应同一组纠删码编码数据的多个存储节点中的第二目标存储段的版本号不一致时，将其中版本号最小的存储节点确定为待恢复节点，其中，第二目标存储段包括多个位置相邻的存储单元，元数据节点存储第二目标存储段的版本号。

恢复模块220，用于向待恢复节点发送恢复信息，以使待恢复节点依据恢复信息从除待恢复节点之外的存储节点中读取第二目标存储段中的数据、并根据读取的数据将待恢复节点中的数据恢复，其中，恢复信息包括多个存储节点中除待恢复节点之外的存储节点的信息、第二目标存储段的版本号、第二目标存储段的起始位置、及第二目标存储段的长度。

读取模块230，用于接收客户端发送的待读地址；依据地址映射关系确定与待读地址对应的目标存储节点及在目标存储节点的多个存储单元中的第三目标存储单元；获取第三目标存储单元的版本号；若第三目标存储单元的版本号中最大版本号的个数大于预设值，则将最大版本号的目标存储节点作为待读存储节点；将待读存储节点的第三目标存储单元反馈至客户端以使客户端根据从待读存储节点中的第三目标存储单元中读取的数据得到待读数据。

作为一种具体实施方式，读取模块230具体用于：若第三目标存储单元存在对应的第三目标存储段，则将第三目标存储段的版本号作为第三目标存储单元的版本号。

本发明实施例还提供一种分布式存储系统，分布式存储系统包括存储节点20、客户端40及元数据节点30，存储节点20与客户端40及元数据节点30均通信连接，客户端40与元数据节点30通信连接，分布式存储系统中的存储节点20、客户端40及元数据节点30相互配合，用于实现上述应用于存储节点20的数据处理方法，或者用于实现应用于元数据节点30的数据处理方法，当分布式存储系统存储数据时，客户端40及元数据节点30配合存储节点20实现上述步骤S100-S150中的任一实施例的方法和步骤，当分布式存储系统恢复数据时，存储节点20及客户端40配合元数据节点30实现上述步骤S200-S210中的任一实施例的方法和步骤，当分布式存储系统读取数据时，存储节点20及客户端40配合元数据节点30实现上述步骤S300-S340中的任一实施例的方法和步骤。

本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述应用于存储节点的数据处理方法，或者实现上述应用于元数据节点的数据处理方法。

综上所述，本发明实施例提供了一种数据处理方法及相关装置，应用于分布式存储系统中的存储节点，存储节点包括多个存储块，每一存储块包括多个存储单元，分布式存储系统还包括客户端和元数据节点，存储节点与客户端及元数据节点均通信连接，所述方法包括：接收客户端发送的写数据请求，其中，写数据请求中携带有待写地址，待写地址用于表征待写数据应写入的第一目标存储块及在第一目标存储块中的第一目标存储单元；若第一目标存储块与最近一次写数据请求写入的存储块相同，且第一目标存储单元和最近一次写数据请求写入的第二目标存储单元位置相邻，则将第一目标存储单元合并入第二目标存储单元对应的第一目标存储段；将第一目标存储单元的版本号递增；若递增后的第一目标存储单元的版本号大于第一目标存储段的版本号，则用递增后的第一目标存储单元的版本号更新第一目标存储段的版本号并将更新后的第一目标存储段的版本号发送至元数据节点进行存储。与现有技术相比，本发明实施例能够在写数据时将位置相邻的存储单元合并为一个存储段，并为每个存储段记录一个版本号，从而可以极大地减少版本号占用的存储空间，提高了元数据节点存储空间的利用效率。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种数据处理方法，其特征在于，应用于分布式存储系统中的存储节点，所述存储节点包括多个存储块，每一所述存储块包括多个存储单元，所述分布式存储系统还包括客户端和元数据节点，所述存储节点与所述客户端及所述元数据节点均通信连接，所述方法包括：

接收所述客户端发送的写数据请求，其中，所述写数据请求中携带有待写地址，所述待写地址用于表征待写数据应写入的第一目标存储块及在所述第一目标存储块中的第一目标存储单元；

若所述第一目标存储块与最近一次写数据请求写入的存储块相同，且所述第一目标存储单元和最近一次写数据请求写入的第二目标存储单元位置相邻，则将所述第一目标存储单元合并入所述第二目标存储单元对应的第一目标存储段；

将所述第一目标存储单元的版本号递增；

若递增后的所述第一目标存储单元的版本号大于所述第一目标存储段的版本号，则用所述递增后的所述第一目标存储单元的版本号更新所述第一目标存储段的版本号并将更新后的所述第一目标存储段的版本号发送至所述元数据节点进行存储；

若所述第一目标存储单元和所述第二目标存储单元位置不相邻，则将所述第一目标存储单元作为一个新的存储段，并将所述第一目标存储单元的版本号进行递增；

将所述递增后的所述第一目标存储单元的版本号作为所述新的存储段的版本号并发送至所述元数据节点进行存储。

2.一种数据处理方法，其特征在于，应用于分布式存储系统中的元数据节点，所述元数据节点与存储节点通信连接，所述分布式存储系统还包括客户端，所述方法还包括：

当检测到对应同一组纠删码编码数据的多个存储节点中的第二目标存储段的版本号不一致时，将其中版本号最小的存储节点确定为待恢复节点，其中，所述第二目标存储段包括多个位置相邻的存储单元，所述元数据节点存储所述第二目标存储段的版本号；

向所述待恢复节点发送恢复信息，以使所述待恢复节点依据所述恢复信息从除所述待恢复节点之外的存储节点中读取所述第二目标存储段中的数据、并根据读取的数据将所述待恢复节点中的数据恢复，其中，所述恢复信息包括所述多个存储节点中除所述待恢复节点之外的存储节点的信息、所述第二目标存储段的版本号、所述第二目标存储段的起始位置、及所述第二目标存储段的长度，其中，所述第二目标存储段为所述客户端写数据请求时的第一目标存储段，向第一目标存储段写入数据的方式为：

接收所述客户端发送的写数据请求，其中，所述写数据请求中携带有待写地址，所述待写地址用于表征待写数据应写入的第一目标存储块及在所述第一目标存储块中的第一目标存储单元；

若所述第一目标存储块与最近一次写数据请求写入的存储块相同，且所述第一目标存储单元和最近一次写数据请求写入的第二目标存储单元位置相邻，则将所述第一目标存储单元合并入所述第二目标存储单元对应的第一目标存储段；

将所述第一目标存储单元的版本号递增；

若递增后的所述第一目标存储单元的版本号大于所述第一目标存储段的版本号，则用所述递增后的所述第一目标存储单元的版本号更新所述第一目标存储段的版本号并将更新后的所述第一目标存储段的版本号发送至所述元数据节点进行存储。

3.如权利要求2所述的数据处理方法，其特征在于，所述元数据节点还与客户端通信连接，所述元数据节点预先存储有地址与存储节点及在对应存储节点的存储单元之间的地址映射关系，所述方法包括：

接收所述客户端发送的待读地址；

依据所述地址映射关系确定与所述待读地址对应的目标存储节点及在所述目标存储节点的多个存储单元中的第三目标存储单元；

获取所述第三目标存储单元的版本号；

若所述第三目标存储单元的版本号中最大版本号的个数大于预设值，则将最大版本号的所述目标存储节点作为待读存储节点；

将所述待读存储节点的第三目标存储单元反馈至所述客户端以使所述客户端根据从所述待读存储节点中的第三目标存储单元中读取的数据得到待读数据。

4.如权利要求3所述的数据处理方法，其特征在于，所述获取所述第三目标存储单元的版本号的步骤包括：

若所述第三目标存储单元存在对应的第三目标存储段，则将所述第三目标存储段的版本号作为所述第三目标存储单元的版本号。

5.一种数据处理装置，其特征在于，应用于分布式存储系统中的存储节点，所述存储节点包括多个存储块，每一所述存储块包括多个存储单元，所述分布式存储系统还包括客户端和元数据节点，所述存储节点与所述客户端及所述元数据节点均通信连接，所述装置包括：

接收模块，用于接收所述客户端发送的写数据请求，其中，所述写数据请求中携带有待写地址，所述待写地址用于表征待写数据应写入的第一目标存储块及在所述第一目标存储块中的第一目标存储单元；

处理模块，用于：若所述第一目标存储块与最近一次写数据请求写入的存储块相同，且所述第一目标存储单元和最近一次写数据请求写入的第二目标存储单元位置相邻，则将所述第一目标存储单元合并入所述第二目标存储单元对应的第一目标存储段；将所述第一目标存储单元的版本号递增；若递增后的所述第一目标存储单元的版本号大于所述第一目标存储段的版本号，则用所述递增后的所述第一目标存储单元的版本号更新所述第一目标存储段的版本号并将更新后的所述第一目标存储段的版本号发送至所述元数据节点进行存储；

所述处理模块，还用于：若所述第一目标存储单元和所述第二目标存储单元位置不相邻，则将所述第一目标存储单元作为一个新的存储段，并将所述第一目标存储单元的版本号进行递增；将所述递增后的所述第一目标存储单元的版本号作为所述新的存储段的版本号并发送至所述元数据节点进行存储。

6.一种数据处理装置，其特征在于，应用于分布式存储系统中的元数据节点，所述元数据节点与存储节点通信连接，所述分布式存储系统还包括客户端，所述装置包括：

检测模块，用于当检测到对应同一组纠删码编码数据的多个存储节点中的第二目标存储段的版本号不一致时，将其中版本号最小的存储节点确定为待恢复节点，其中，所述第二目标存储段包括多个位置相邻的存储单元，所述元数据节点存储所述第二目标存储段的版本号；

恢复模块，用于向所述待恢复节点发送恢复信息，以使所述待恢复节点依据所述恢复信息从除所述待恢复节点之外的存储节点中读取所述第二目标存储段中的数据、并根据读取的数据将所述待恢复节点中的数据恢复，其中，所述恢复信息包括所述多个存储节点中除所述待恢复节点之外的存储节点的信息、所述第二目标存储段的版本号、所述第二目标存储段的起始位置、及所述第二目标存储段的长度，其中，所述第二目标存储段为所述客户端写数据请求时的第一目标存储段，向第一目标存储段写入数据的方式为：

接收所述客户端发送的写数据请求，其中，所述写数据请求中携带有待写地址，所述待写地址用于表征待写数据应写入的第一目标存储块及在所述第一目标存储块中的第一目标存储单元；

若所述第一目标存储块与最近一次写数据请求写入的存储块相同，且所述第一目标存储单元和最近一次写数据请求写入的第二目标存储单元位置相邻，则将所述第一目标存储单元合并入所述第二目标存储单元对应的第一目标存储段；

将所述第一目标存储单元的版本号递增；

若递增后的所述第一目标存储单元的版本号大于所述第一目标存储段的版本号，则用所述递增后的所述第一目标存储单元的版本号更新所述第一目标存储段的版本号并将更新后的所述第一目标存储段的版本号发送至所述元数据节点进行存储。

7.一种分布式存储系统，其特征在于，所述分布式存储系统包括存储节点、客户端及元数据节点，所述存储节点与客户端及所述元数据节点均通信连接，所述客户端与所述元数据节点通信连接，所述分布式存储系统用于实现如权利要求1所述的数据处理方法，或者用于实现如权利要求2-4中任一项所述的数据处理方法。

8.一种计算机设备，其特征在于，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1所述的数据处理方法，或者用于实现如权利要求2-4中任一项所述的数据处理方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1所述的数据处理方法，或者用于实现如权利要求2-4中任一项所述的数据处理方法。

Images