CN117076200B - 一种基于元数据的遥感数据恢复方法、设备和存储介质 - Google Patents

Abstract

本发明提供了一种基于元数据的遥感数据恢复方法、设备和存储介质，包括：获取目标遥感数据列表，根据目标遥感数据列表获取第一中间文件列表，并获取到关键归档信息列表，当接收到恢复目标遥感数据的请求时，通过读取一条信息恢复全部目标遥感数据，从而提高了工作效率。

Description

一种基于元数据的遥感数据恢复方法、设备和存储介质

技术领域

本发明涉及数据处理领域，特别是涉及一种基于元数据的遥感数据恢复方法、设备和存储介质。

背景技术

随着信息技术的发展，计算机存储信息量不断增长，数据备份和灾难恢复成为了炙手可热的话题。数据是极为宝贵的财富，要保证信息系统持续性运作和成功，就要保护基于计算机的信息，人为的错误、硬盘的损毁、电脑病毒、自然灾害等都有可能造成数据的丢失，造成无可估量的损失。系统数据丢失会导致系统文件、交易资料、用户资料、技术文件、财务账目的丢失，业务将难以正常进行，因此在实际工作中需要对重要数据进行随时备份。

在海量数据存储领域，根据数据的重要性，需要对实体数据文件、数据库信息同时进行备份，以防止在灾难发生的情况下快速进行数据重构，满足生产系统的处理需求。

目前现有的技术通常采用数据库备份软件对数据库信息进行全量备份或增量备份，通过数据归档软件对实体数据文件进行备份，需要采用两个不同的软件进行备份，对数据进行恢复时步骤较为繁琐，工作效率较低。

发明内容

针对上述技术问题，本发明采用的技术方案为：

一种基于元数据的遥感数据恢复方法，方法包括如下步骤：

S1，获取目标遥感数据列表H＝{H₁，H₂，……，H_x，……，H_p}，H_x是指第x个目标遥感数据，x＝1……p，p为目标遥感数据的总个数；

S2，根据H，获取H对应的第一中间文件列表H0＝{H0₁，H0₂，……，H0_x，……，H0_p}，H0_x是指H_x对应的第一中间文件；

S21，获取H_x对应的目标归档信息列表C_x＝{C_x ¹，C_x ²，……，C_x ⁱ，……C_x ⁿ}， 是指H_x中第i个目标帧数据对应的元数据中起始字节位置，是指H_x中第i个目标帧数据对应的元数据中帧长度，是指H_x中第i个目标帧数据对应的元数据中归档标识；

其中其中，a是帧头长度，b是指H_x对应的起始帧位置；

S22，将(C₁，C₂……C_x)写入关键文件中且将关键文件作为H0_x，可以理解为：所述关键文件是指用于存储目标遥感数据对应的元数据的文件；

S3，根据H和H0，获取到H对应的关键归档信息列表G＝{G₁，G₂，……，G_x，……，G_p},G_x＝{H_x，H0_x，G0_x}，G0_x为H_x对应的目标磁带的标识；

S4，将G_x按照顺序写入至目标磁带的存储区域，生成U＝{H₁，H0₁，G0₁，……，H_x，H0_x，G0_x，……，H_p，H0_p，G0_p}；

S5，当接收到恢复目标遥感数据的请求时，对U中H0_p对应的SQL语句进行解析，恢复目标遥感数据。

本发明至少具有以下有益效果：

H0_x包括前x个文件中的所有的第一中间文件，当后续需要对目标遥感数据进行恢复时，仅需要对U中的H0_p进行读取，即可获取到H中所有目标遥感数据的对应的元数据的起始字节位置、帧长度以及归档标识，并根据前述信息进行恢复，减少了对数据进行恢复时的工作量，提高了工作效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于元数据的遥感数据恢复方法的流程图；

图2为本发明实施例提供的另一流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例提供了一种基于元数据的遥感数据恢复方法，所述方法包括如下步骤，如图1所示：

S100，当接收到目标遥感数据的归档指令时，将目标遥感数据归档于目标磁带中。

具体的，所述目标遥感数据是指存储于在线存储介质中的长条带数据；可以理解为：长条带数据是通过遥感卫星在进行遥感观测时获取到的数据。

具体的，所述归档指令是指将目标遥感数据从在线存储介质中归档至磁带中的指令。

具体的，在S100步骤中还包括如下步骤：

S101，获取所述目标遥感数据对应的目标归档信息列表A＝{A₁，A₂，……，A_i，……A_n}，Ai＝{A_i ¹，A_i ²，A_i ³}，A_i ¹是指所述目标遥感数据中第i个目标帧数据对应的元数据中起始字节位置，A_i ²是指所述目标遥感数据中第i个目标帧数据对应的元数据中帧长度，A_i ³是指所述目标遥感数据中第i个目标帧数据对应的元数据中归档标识，i＝1……n，n为目标遥感数据中目标帧数据的总帧数。

进一步的，A_i ¹符合如下条件：

A_i ¹＝a+(b_i-1)*A_i ²，其中，a是指帧头长度，b_i是指目标遥感数据中第i个目标帧数据的起始帧在长条带数据中的位置。

具体的，所述A_i ²均相等。

上述，当将目标遥感数据从在线存储介质归档到磁带中时，同时获取目标遥感数据对应的目标归档信息列表A，A_i中目标遥感数据第i个目标帧对应的元数据的起始字节位置、元数据的帧长度以及对应的归档标识。当需要对磁带中的目标遥感数据进行恢复时，通过读取目标归档信息列表，可获知每个目标帧数据对应元数据的起始字节位置和帧长度，从而便于对目标帧数据对应的元数据进行恢复。

进一步的，所述归档标识的类型是哈希值，本领域技术人员知晓现有技术中任一获取数据哈希值的方法，均落入到本发明的保护范围，在此不再赘述；其中获取数据哈希值的方法可采用MD5化方法。

S102，将A_i存入至第一中间文件中，可以理解为：所述第一中间文件是指用于存储目标帧数据对应的元数据的文件。

进一步的，所述第一中间文件的格式为xml格式。

S103，当A_i对应的目标帧数据作为待帧数据时，从A中获取待帧数据对应的中间归档信息列表A0＝{A₁，A₂，……，A_r，……，A_i-1}，A_r是指第r个中间归档信息，所述中间归档信息是指待帧数据对应的归档信息。

S104，当A_r ³＝A_i ³时，A_r对应的指针信息归档于目标磁带中。

S105，当A_r ³≠A_i ³时，将A_i对应的第一中间文件归档于目标磁带中。

上述，哈希值能够通过算法将长度较长的数据转化成长度较短、固定且不易重复的字符串，当将A_i存入至第一中间文件中时，首先判断A_i的归档标识是否与之前的目标帧对应的元数据的归档标识相同。若该归档标识与前述任一元数据的归档标识相同，则只将该元数据对应的指针信息存入到目标磁带中，无需将全部信息存入至目标磁带，从而减少了对目标磁带空间的占用。当需要对该目标帧数据对应的元数据进行恢复时，从过读取指针信息便可寻找到与A_i相同的A_r，不会对A_i的恢复产生影响。

S200，当接收到目标遥感数据的提取指令时，从所述目标磁带中提取目标数据。

具体的，所述提取指令是指将从磁带中提取出用户需求的遥感数据的指令。

具体的，在S200步骤中还包括如下步骤：

S201，获取待提取数据ID和待提取数据ID对应的提取信息B＝{B₁，B₂，B₃}，其中，B₁是指待提取数据ID对应的起始帧的位置，B₂是指待提取数据ID对应的结束帧的位置，B₃是指待提取数据ID对应的帧长度。

进一步的，所述待提取数据ID是指待提取数据的唯一标识，其中，所述待提取数据是指用户需提取的遥感数据，例如，所述待提取数据ID为待提取数据名称。

S202，当目标遥感数据的存储状态为离线存储时，获取目标磁带中每一存储块的存储容量D₀。

S203，根据D₀，获取所述待提取数据ID对应的中间提取信息D＝{D₁，D₂，D₃}，D₁是指待提取数据ID对应的起始存储块位置，D₂是指待提取数据ID对应的存储块偏移量，D₃是指待提取数据ID对应的提取数据长度。

进一步的，D₁符合如下条件：

c为B₁处于目标磁带中的存储块位置。

进一步的，D2符合如下条件：

mod((((B₁-1)*B₃+a0+1)+c*D₀+D₀)，D₀)，mod()为取余函数。

进一步的，D₃符合如下条件：

D₃＝(B₂-B₁+1)*B₃。

S204，从所述目标磁带中提取符合D₁、D₂和D₃的遥感数据作为目标数据。

上述，磁带是按照存储块进行顺序存储和读取的存储介质，因此从目标磁带上提取目标数据时需要考虑到存储块的大小。本实施例中目标磁带的存储块的大小为D₀，指一个存储块中能够存储的字节总数为D₀。当需要对目标磁带进行切取时，首先计算出待提取数据ID对应的数据的起始帧在目标磁带中的存储块的位置D₁，之后计算得到待提取数据ID对应的数据的起始帧在起始存储块内的位置，接着计算得到待提取数据ID对应的数据的数据长度D₃。最后根据D₁、D₂、D₃对目标磁带上的数据进行提取，得到目标数据，从而实现目标数据的精确提取，无需将目标磁带上的数据全部恢复之后再对目标数据进行提取，从而减少了工作步骤，提高了工作效率。

S205，当目标遥感数据的存储状态为在线存储时，根据B₁和B₃，确定出所述待提取数据ID对应的起始字节位置B₀以及待提取数据ID对应的数据长度B₄。

进一步的，B₀符合如下条件：

B₀＝a0+1+(B₁-1)*B₃，其中，a0是指待提取数据ID对应的帧头长度。

进一步的，B₄符合如下条件：

B₄＝(B₂-B₁+1)*B₃。

S206，从所述目标磁带中提取符合B0和B₄的遥感数据作为目标数据。

上述，当目标遥感数据的存储状态为在线存储时，从B₀的字节位置处切取B₄长度的数据作为目标数据。

具体的，本领域技术人员知晓现有技术中任意一种确定遥感数据的存储状态的方法均属于本发明的保护范围，在此不在赘述，其中，例如，采用遥感数据扩展属性进行确定存储状态。

在一个具体的实施例中，S200步骤之后还包括如下步骤：

S300，将所述目标数据存储于预先设置的存储区域上，其中，目标数据的存储方式为分布式存储方式、对象存储方式或者本地存储方式中一种。

S400，当所述目标数据存储于预先设置的存储区域时，将目标数据的第一元数据(B₀、B₁、B₂、B₃和B₄)或者目标数据的第二元数据(D₀，D₁，D₂，D₃)存储于第二中间文件中，可以理解为：所述第二中间文件是指用于存储目标数据对应的元数据的文件。

具体的，所述第二中间文件的格式为xml格式。

S500，将所述第二中间文件存储于所述预先设置的存储区域。

上述，第二中间文件对目标数据对应的元数据进行存储，当后续需要对目标数据进行恢复时，通过读取第二中间文件，即可获取目标数据的第一元数据或第二元数据，便于对目标数据进行恢复。

在另一个具体的实施例中，当所述计算机程序被处理器执行时，还实现以下步骤，如图2所示：

S1，获取目标遥感数据列表H＝{H₁，H₂，……，H_x，……，H_p}，H_x是指第x个目标遥感数据，x＝1……p，p为目标遥感数据的总个数。

S2，根据H，获取H对应的第一中间文件列表H0＝{H0₁，H0₂，……，H0_x，……，H0_p}，H0_x是指H_x对应的第一中间文件。

具体的，所述第一中间文件的格式为xml格式。

具体的，在S2步骤中还包括如下步骤获取H0_x：

S21，获取H_x对应的目标归档信息列表C_x＝{C_x ¹，C_x ²，……，C_x ⁱ，……C_x ⁿ}， 是指H_x中第i个目标帧数据对应的元数据中起始字节位置，是指H_x中第i个目标帧数据对应的元数据中帧长度，是指H_x中第i个目标帧数据对应的元数据中归档标识。

进一步的，符合如下条件：

其中，a是帧头长度，b是指H_x对应的起始帧位置。

上述，获取目标遥感数据列表H时，同时获取第一中间文件列表H0，根据H_x得到C_x，获取到H_x中第i个目标帧数据对应的元数据的起始字节位置、帧长度以及归档标识，便于后续对目标遥感数据进行恢复时，通过H0对H进行恢复。

进一步的，所述归档标识的类型是哈希值，本领域技术人员知晓现有技术中任一获取数据哈希值的方法，均落入到本发明的保护范围，在此不再赘述；其中获取数据哈希值的方法可采用MD5化方法。

S22，将(C₁，C₂……C_x)写入关键文件中且将关键文件作为H0_x，可以理解为：所述关键文件是指用于存储目标遥感数据对应的元数据的文件。

进一步的，所述第一中间文件的格式为xml格式。

进一步的，C₁至C_x写入关键文件中采用SQL语句。

S3，根据H和H0，获取到H对应的关键归档信息列表G＝{G₁，G₂，……，G_x，……，G_p},G_x＝{H_x，H0_x，G0_x}，G0_x为H_x对应的目标磁带的标识。

S4，将G_x按照顺序写入至目标磁带的存储区域，生成U＝{H₁，H0₁，G0₁，……，H_x，H0_x，G0_x，……，H_p，H0_p，G0_p}。

S5，当接收到恢复目标遥感数据的请求时，对U中H0_p对应的SQL语句进行解析，恢复目标遥感数据；本领域技术人员知晓任意一种解析SQL语句的方法均属于本发明的保护范围，在此不在赘述。

上述，H0_x包括前x个文件中的所有的第一中间文件，当后续需要对目标遥感数据进行恢复时，仅需要对U中的H0_p进行读取，即可获取到H中所有目标遥感数据的对应的元数据的起始字节位置、帧长度以及归档标识，并根据前述信息进行恢复，减少了对数据进行恢复时的工作量，提高了工作效率。

本发明的实施例还提供了一种非瞬时性计算机可读存储介质，该存储介质可设置于电子设备之中以保存用于实现方法实施例中一种方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述实施例提供的方法。

本发明的实施例还提供了一种电子设备，包括处理器和前述的非瞬时性计算机可读存储介质。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明开的范围由所附权利要求来限定。

Claims (9)

1.一种基于元数据的遥感数据恢复方法，其特征在于，所述方法包括如下步骤：

S1，获取目标遥感数据列表H＝{H₁，H₂，……，H_x，……，H_p}，H_x是指第x个目标遥感数据，x＝1……p，p为目标遥感数据的总个数；

S2，根据H，获取H对应的第一中间文件列表H0＝{H0₁，H0₂，……，H0_x，……，H0_p}，H0_x是指H_x对应的第一中间文件；

S21，获取H_x对应的目标归档信息列表C_x＝{C_x ¹，C_x ²，……，C_x ⁱ，……C_x ⁿ}，C_x ⁱ＝{C_x ⁱ ₁，C_x ⁱ ₂，C_x ⁱ ₃}，C_x ⁱ ₁是指H_x中第i个目标帧数据对应的元数据中起始字节位置，C_x ⁱ ₂是指H_x中第i个目标帧数据对应的元数据中帧长度，C_x ⁱ ₃是指H_x中第i个目标帧数据对应的元数据中归档标识，i＝1……n，n为目标遥感数据中目标帧数据的总帧数；

其中C_x ⁱ ₁＝a+1+(b_x-1)*C_x ⁱ ₂；其中，a是帧头长度，b_x是指H_x对应的起始帧位置；

S22，将(C₁，C₂……C_x)写入关键文件中且将关键文件作为H0_x，所述关键文件是指用于存储目标遥感数据对应的元数据的文件；

S3，根据H和H0，获取到H对应的关键归档信息列表G＝{G₁，G₂，……，G_x，……，G_p},G_x＝{H_x，H0_x，G0_x}，G0_x为H_x对应的目标磁带的标识；

S4，将G_x按照顺序写入至目标磁带的存储区域，生成U＝{H₁，H0₁，G0₁，……，H_x，H0_x，G0_x，……，H_p，H0_p，G0_p}；

S5，当接收到恢复目标遥感数据的请求时，对U中H0_p对应的语句进行解析，恢复目标遥感数据。

2.根据权利要求1所述的方法，其特征在于，所述方法在S1前还包括：

S100，当接收到目标遥感数据的归档指令时，将目标遥感数据归档于目标磁带中；

S200，当接收到目标遥感数据的提取指令时，从所述目标磁带中提取目标遥感数据；

S200步骤中还包括如下步骤：

S201，获取待提取数据ID和待提取数据ID对应的提取信息B＝{B₁，B₂，B₃}，其中，B₁是指待提取数据ID对应的起始帧的位置，B₂是指待提取数据ID对应的结束帧的位置，B₃是指待提取数据ID对应的帧长度；

S202，当目标遥感数据的存储状态为离线存储时，获取目标磁带中每一存储块的存储容量D₀；

S203，根据D₀，获取所述待提取数据ID对应的中间提取信息D＝{D₁，D₂，D₃}，D₁是指待提取数据ID对应的起始存储块位置，D₂是指待提取数据ID对应的存储块偏移量，D₃是指待提取数据ID对应的提取数据长度；

其中，D₁符合如下条件：

其中，a0是指待提取数据ID对应的帧头长度，c为B₁处于目标磁带中的存储块位置；

进一步的，D2符合如下条件：

mod((((B₁-1)*B₃+a0+1)+c*D₀+D₀)，D₀)，mod()为取余函数；

进一步的，D₃符合如下条件：

D₃＝(B₂-B₁+1)*B₃；

S204，从所述目标磁带中提取符合D₁、D₂和D₃的遥感数据作为目标遥感数据。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括以下步骤：

S205，当目标遥感数据的存储状态为在线存储时，根据B₁和B₃，确定出所述待提取数据ID对应的起始字节位置B₀以及待提取数据ID对应的数据长度B₄；

进一步的，B₀符合如下条件：

B₀＝a0+1+(B₁-1)*B₃；

进一步的，B₄符合如下条件：

B₄＝(B₂-B₁+1)*B₃；

S206，从所述目标磁带中提取符合B0和B₄的遥感数据作为目标遥感数据。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括如下步骤：

S300，将所述目标遥感数据存储于预先设置的存储区域上，其中，目标遥感数据的存储方式为分布式存储方式、对象存储方式或者本地存储方式中一种。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括以下步骤：

S400，当所述目标遥感数据存储于预先设置的存储区域时，将目标遥感数据的第一元数据(B₀，B₁，B₂，B₃，B₄)或者目标遥感数据的第二元数据(D₀，D₁，D₂，D₃)存储于第二中间文件中，所述第二中间文件是指用于存储目标遥感数据对应的元数据的文件；

S500，将所述第二中间文件存储于所述预先设置的存储区域。

6.根据权利要求1所述的方法，其特征在于，所述第一中间文件的格式为xml格式。

7.根据权利要求2所述的方法，其特征在于，所述S100步骤还包括以下步骤：

S101，获取所述目标遥感数据对应的目标归档信息列表A＝{A₁，A₂，……，A_i，……A_n}，A_i＝{A_i ¹，A_i ²，A_i ³}，A_i ¹是指所述目标遥感数据中第i个目标帧数据对应的元数据中起始字节位置，A_i ²是指所述目标遥感数据中第i个目标帧数据对应的元数据中帧长度，A_i ³是指所述目标遥感数据中第i个目标帧数据对应的元数据中归档标识；

进一步的，A_i ¹符合如下条件：

A_i ¹＝a+(b_i-1)*A_i ²，其中，a是指帧头长度，b_i是指目标遥感数据中第i个目标帧数据的起始帧在长条带数据中的位置；

S102，将A_i存入至第一中间文件中，所述第一中间文件是指用于存储目标帧数据对应的元数据的文件；

S103，当A_i对应的目标帧数据作为待帧数据时，从A中获取待帧数据对应的中间归档信息列表A0＝{A₁，A₂，……，A_r，……，A_i-1}，A_r是指第r个中间归档信息，所述中间归档信息是指待帧数据对应的归档信息；

S104，当A_r ³＝A_i ³时，A_r对应的指针信息归档于目标磁带中；

S105，当A_r ³≠A_i ³时，将A_i对应的第一中间文件归档于目标磁带中。

8.一种非瞬时性计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-7中任意一项的所述方法。

9.一种电子设备，其特征在于，包括处理器和权利要求8中所述的非瞬时性计算机可读存储介质。