CN114911890A - 一种基于数据资源目录构建的地球物理数据服务方法 - Google Patents

Abstract

本发明公开了一种基于数据资源目录构建的地球物理数据服务方法，包括：获取需要从源数据库中采集的地球物理数据的预设元数据；根据预设元数据，从源数据库中采集地球物理数据并进行存储；根据业务需求对地球物理数据进行处理，并生成数据资源目录；利用数据资源目录，将地球物理数据中各类学科数据、业务数据提供服务至用户。本发明通过采用统一的标准对采集到的地球物理数据按业务描述，以目录技术、元数据技术和网络环境为支撑，建立地球物理数据资源目录体系，从而为用户提供高效的地球物理数据资源的检索及定位服务，加快地球物理数据资源整合与服务，有力推进地球物理数据资源跨部门共享和服务，更好地发挥地震科学数据的社会价值和效益。

Description

一种基于数据资源目录构建的地球物理数据服务方法

技术领域

本发明属于数据处理技术领域，具体涉及一种基于数据资源目录构建的地球物理数据服务方法。

背景技术

地震科学数据是防震减灾业务和地震科学研究的重要基础，也是各行各业防灾减灾的重要资源。地球物理数据具有多学科和历史积累性等特点，数据量及数据种类均不断增长，年产出量巨大，因此成为重要的战略及科研资源。因此，数据服务方式将直接影响到后续数据挖掘及应用的效果。

然而，随着数据采集范围的不断增加，地球物理数据的管理与服务问题日益突出，严重制约了信息化建设的进一步发展。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于数据资源目录构建的地球物理数据服务方法。本发明要解决的技术问题通过以下技术方案实现：

本发明提供一种基于数据资源目录构建的地球物理数据服务方法，包括：

获取需要从源数据库中采集的地球物理数据的预设元数据；

根据所述预设元数据，从源数据库中采集地球物理数据并进行存储；

根据业务需求对所述地球物理数据进行处理，并生成数据资源目录；

利用所述数据资源目录，将所述地球物理数据中各类学科数据、业务数据提供服务至用户。

在本发明的一个实施例中，所述数据资源目录包括：预设元数据、资源目录、服务主题、主题目录和共享目录。

在本发明的一个实施例中，所述根据所述预设元数据，从源数据库中采集地球物理数据并进行存储的步骤，包括：

根据所述预设元数据，利用数据库采集的方法从源数据库中采集地球物理数据；

构建多种类型的数据库；

将采集到的地球物理数据按照预设规则存储至所述多种类型的数据库。

在本发明的一个实施例中，所述不同类型的数据库包括：关系型数据库Mysql、内存数据库Redis和时序数据库Clickhouse。

在本发明的一个实施例中，所述将采集到的地球物理数据按照预设规则存储至所述多种类型的数据库的步骤，包括：

判断所述采集到的地球物理数据类型是否为观测数据；若是，则将采集到的地球物理数据存储至所述时序数据库；

判断采集到的地球物理数据间是否存在关联，并在采集到的地球物理数据间存在关联时，将采集到的地球物理数据存储至所述关系型数据库；

判断采集到的地球物理数据的访问频次是否达到预设值，并在采集到的地球物理数据的访问频次达到预设值时，将采集到的地球物理数据存储至所述内存数据库；

将所述学科数据中的观测数据按类型和特征存储至相应的时序数据库、关系型数据库及内存数据库。

在本发明的一个实施例中，所述数据库采集方式中的交换处理机制包括：轮询方式或数据库触发器方式。

在本发明的一个实施例中，所述获取需要从源数据库中采集的地球物理数据的预设元数据的步骤之前，还包括：

对所述地球物理数据进行数据统计、重复记录去除、数据截取以及数据主题预处理。

在本发明的一个实施例中，所述获取需要从源数据库中采集的地球物理数据的预设元数据的步骤之后，包括：

将采集的所述预设元数据按日统计同步数据量、错误数据量以及数据同步任务执行情况。

在本发明的一个实施例中，所述根据业务需求对所述地球物理数据进行处理，并生成数据资源目录的步骤，包括：

根据所述同步数据量，按时间维度和台站维度生成台站质量主题；

根据地震事件，归集各类学科观测数据生成地震事件主题。

与现有技术相比，本发明的有益效果在于：

本发明通过采用统一的标准对采集到的地球物理数据按业务描述，以目录技术、元数据技术和网络环境为支撑，建立地球物理数据资源目录体系，从而为用户提供高效的地球物理数据资源的检索及定位服务，加快地球物理数据资源整合与服务，有力推进地球物理数据资源跨部门共享和服务，更好地发挥地震科学数据的社会价值和效益。

以下将结合附图及实施例对本发明做进一步详细说明。

附图说明

图1是本发明实施例提供的基于数据资源目录构建的地球物理数据服务方法的一种流程图；

图2是本发明实施例提供的基于数据资源目录构建的地球物理数据服务方法的一种架构图；

图3是本发明实施例提供的基于数据资源目录构建的地球物理数据服务方法中数据资源目录的一种架构图；

图4是本发明实施例提供的基于数据资源目录构建的地球物理数据服务方法中采集地球物理数据的一种流程图；

图5是本发明实施例提供的电子设备的一种结构示意图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

图1是本发明实施例提供的基于数据资源目录构建的地球物理数据服务方法的一种流程图，图2是本发明实施例提供的基于数据资源目录构建的地球物理数据服务方法的一种架构图。如图1-2所示，本发明实施例提供一种基于数据资源目录构建的地球物理数据服务方法，包括：

S1、获取需要从源数据库中采集的地球物理数据的预设元数据；

S2、根据预设元数据，从源数据库中采集地球物理数据并进行存储；

S3、根据业务需求对地球物理数据进行处理，并生成数据资源目录；

S4、利用数据资源目录，将地球物理数据中各类学科数据、业务数据提供服务至用户。

需要说明的是，在获取预设元数据之前，可以先对地球物理数据进行数据统计、重复记录去除、数据截取和数据主题预处理，而在获取需要从源数据库中采集的地球物理数据的预设元数据的步骤之后，进一步将同步的预设元数据按日统计同步数据量、错误数据量以及数据同步任务执行情况。

图3是本发明实施例提供的基于数据资源目录构建的地球物理数据服务方法中数据资源目录的一种架构图。可选地，如图3所示，数据资源目录包括：预设元数据、资源目录、服务主题、主题目录和共享目录。

应当理解，数据资源目录梳理整合数据资源，为数据汇聚、数据服务以及数据应用提供基础支撑，根据使用场景、业务分类和业务来源，本实施例中数据资源目录可以包括：预设元数据、资源目录、服务主题、主题目录和共享目录。具体地，预设元数据包括管理技术元数据和管理元数据，资源目录下存放着从各个台网和业务中同步过来的原始数据，服务目录为管理员根据用户的数据需求，利用原始数据制作得到的数据集；主题目录为根据定义好的数据主题，系统自动生成的数据目录；共享目录通过网站在线查询、FTP下载和开放API接口等共享方式向全行业提供地球物理观测数据数据共享服务，能够满足高校、科研院所工作人员及相关科研人员的实际需求。

可选地，上述步骤S2中，所述根据所述预设元数据，从源数据库中采集地球物理数据并进行存储的步骤，包括：

S201、根据所述预设元数据，利用数据库采集的方法从源数据库中采集地球物理数据；

S202、构建多种类型的数据库；

S203、将采集到的地球物理数据按照预设规则存储至所述多种类型的数据库。

图4是本发明实施例提供的基于数据资源目录构建的地球物理数据服务方法中采集地球物理数据的一种流程图。请参见图4，在上述步骤S201中，首先根据预设元数据从源数据库中采集地球物理数据；具体地，根据预设元数据定义采集任务，启动相应的采集程序，采集程序分可以为数据库采集，其中，数据库采集程序采用轮询或者数据库触发的模式进行采集。

示例性地，对于轮询模式，首先查询并更新原始库的适配器，通过原始库中的数据查询sql语句将原始库中的数据直接复制到资源目录中。

对于触发模式，则可以通过数据库触发器模式触发数据进行交换。通过建立触发器机制抽取一个数据库表的增量数据，将在原始库中建立触发器，监控该表的插入、更新、删除操作，并捕获相应的增量数据，最后将增量数据以记录的方式发送到下一个组件。

进一步地，触发器方式根据抽取要求，在要被抽取的原始数据库表上建立插入、修改、删除3个触发器，每当原始数据库表中的数据发生变化，就被相应的触发器将变化的数据写入一个增量日志表，采集程序从增量日志表中抽取数据，同时增量日志表中抽取过的数据要及时被标记或删除。

应当理解，增量日志表一般不存储增量数据的所有字段信息，而只是存储原始数据库表名称、更新的字段名称、字段值以及更新操作类型(新增、修改或删除)，采集程序首先根据原始数据库表名称和更新的字段名称，从原始数据库表中提取对应的完整记录，再根据更新操作类型，取出字段值对目标表进行相应的处理。

进一步地，采集程序分还可以包括文件采集或HTTP接入采集。具体地，文件采集通过指定要输入的文件的路径或名称，包含一个正则表达式来选择“文件、目录”列表中，在列表中配置相关属性，排除正则表达式制定一个正则表达式来排除定格式解析文件中的内容；

此外，在HTTP接入采集的过程中，HTTP接入GET形式组件，可以从输入流获取记录，通过HTTP GET方法请求服务器上的资源，请求的资源有URL制定，将请求到的资源输出到输出流中。

可选地，所述不同类型的数据库包括：关系型数据库Mysql、内存数据库Redis和时序数据库Clickhouse。

可选地，所述将采集到的地球物理数据按照预设规则存储至所述多种类型的数据库的步骤，包括：

判断所述采集到的地球物理数据类型是否为观测数据；若是，则将采集到的地球物理数据存储至所述时序数据库；

判断采集到的地球物理数据间是否存在关联，并在采集到的地球物理数据间存在关联时，将采集到的地球物理数据存储至所述关系型数据库；

判断采集到的地球物理数据的访问频次是否达到预设值，并在采集到的地球物理数据的访问频次达到预设值时，将采集到的地球物理数据存储至所述内存数据库；

将所述学科数据中的观测数据按类型和特征存储至相应的时序数据库、关系型数据库及内存数据库。

在上述步骤S203中，可以按照行业相应的标准对采集到的地球物理数据进行处理：

数据统计：按预设元数据中同步的数据按日统计数据同步数据量、错误数据量以及数据同步任务执行情况；

重复记录去除：如果有多条重复记录，则将会保留第一条记录；

数据截取：对一些异常的数据，可以提供自定义截取功能；

数据主题预处理：将业务数据、观测数据、非结构化数据等数据进行加工、转换，装载入数据主题库中，根据：对数据采集过程中处理结果自动按时间、台站等多个维度生成台站质量主题；根据地震事件自动归集各类学科观测数据生成地震事件主题；

元目录体系的建立：根据元数据，在本地数据中心完成原始数据的注册以及编目。

可选地，上述步骤S3中，根据业务需求对地球物理数据进行处理，并生成数据资源目录的步骤，包括：

根据所述同步数据量，按时间维度和台站维度生成台站质量主题；

根据地震事件自动归集各类学科观测数据生成地震事件主题。

上述步骤S4中，在为用户提供服务的过程中，还可以进行编目、注册、发布、查询、下载和维护，具体地：

编目：根据数据资源池资源元数据标准提取信息资源相关特征信息，形成地球物理数据资源元数据库；

注册：提供目录中心地址注册功能。下级目录中心到上级目录中心登记目录中心的名称和统一资源定位符，并进行更新和维护；

发布：发布目录中心地址信息，包括目录中心的名称和统一资源定位符；

查询：提供人机交互方式的目录内容的查询功能；

下载：基于Jdbc/Odbc、Web service以及Restful接口数据资源目录数据获取、基于数据资源目录的数据下载服务；

维护：用于目录中心维护目录内容和目录中心地址信息库，主要包括目录内容库的建立、更新、备份与恢复、入库与出库；目录中心地址信息库的建立、更新、备份与恢复、入库与出库；

数据资源目录运行监控包括数据通过过程中基本信息的监控：目录编码、数据量、数据来源、更新频率、最后更新日期、使用次数以及下载次数等，能够以图表的形式展现每日同步数据的质量信息；

数据资源目录数据统计从各个原始库中采集数据的数量、清洗数据的数量、存储数据的数量、接收到监测数据的数量、第三方软件请求下载数据的数量、错误数据的数量等信息。

通过上述各实施例可知，本发明的有益效果在于：

本发明通过采用统一的标准对采集到的地球物理数据按业务描述，以目录技术、元数据技术和网络环境为支撑，建立地球物理数据资源目录体系，从而为用户提供高效的地球物理数据资源的检索及定位服务，加快地球物理数据资源整合与服务，有力推进地球物理数据资源跨部门共享和服务，更好地发挥地震科学数据的社会价值和效益。

本发明实施例还提供了一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，

存储器503，用于存放计算机程序；

处理器501，用于执行存储器503上所存放的程序时，实现如下步骤：

获取需要从源数据库中采集的地球物理数据的预设元数据；

根据所述预设元数据，从源数据库中采集地球物理数据并进行存储；

根据业务需求对所述地球物理数据进行处理，并生成数据资源目录；

利用所述数据资源目录，将所述地球物理数据中各类学科数据、业务数据提供服务至用户。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本发明实施例提供的方法可以应用于电子设备。具体的，该电子设备可以为：台式计算机、便携式计算机、智能移动终端、服务器等。在此不作限定，任何可以实现本发明的电子设备，均属于本发明的保护范围。

对于电子设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，本发明实施例的电子设备及存储介质分别是应用上述基于数据资源目录构建的地球物理数据服务方法的电子设备及存储介质，则上述基于数据资源目录构建的地球物理数据服务方法的所有实施例均适用于该电子设备及存储介质，且均能达到相同或相似的有益效果。

应用本发明实施例所提供的终端设备，可以展示专有名词和/或固定词组供用户选择，进而减少用户输入时间，提高用户体验。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。

尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (9)

1.一种基于数据资源目录构建的地球物理数据服务方法，其特征在于，包括：

获取需要从源数据库中采集的地球物理数据的预设元数据；

根据所述预设元数据，从源数据库中采集地球物理数据并进行存储；

根据业务需求对所述地球物理数据进行处理，并生成数据资源目录；

利用所述数据资源目录，将所述地球物理数据中各类学科数据、业务数据提供服务至用户。

2.根据权利要求1所述的基于数据资源目录构建的地球物理数据服务方法，其特征在于，所述数据资源目录包括：预设元数据、资源目录、服务主题、主题目录和共享目录。

3.根据权利要求1所述的基于数据资源目录构建的地球物理数据服务方法，其特征在于，所述根据所述预设元数据，从源数据库中采集地球物理数据并进行存储的步骤，包括：

根据所述预设元数据，利用数据库采集的方法从源数据库中采集地球物理数据；

构建多种类型的数据库；

将采集到的地球物理数据按照预设规则存储至所述多种类型的数据库。

4.根据权利要求3所述的基于数据资源目录构建的地球物理数据服务方法，其特征在于，所述不同类型的数据库包括：关系型数据库Mysql、内存数据库Redis和时序数据库Clickhouse。

5.根据权利要求4所述的基于数据资源目录构建的地球物理数据服务方法，其特征在于，所述将采集到的地球物理数据按照预设规则存储至所述多种类型的数据库的步骤，包括：

判断所述采集到的地球物理数据类型是否为观测数据；若是，则将采集到的地球物理数据存储至所述时序数据库；

判断采集到的地球物理数据间是否存在关联，并在采集到的地球物理数据间存在关联时，将采集到的地球物理数据存储至所述关系型数据库；

判断采集到的地球物理数据的访问频次是否达到预设值，并在采集到的地球物理数据的访问频次达到预设值时，将采集到的地球物理数据存储至所述内存数据库；

将所述学科数据中的观测数据按类型和特征存储至相应的时序数据库、关系型数据库及内存数据库。

6.根据权利要求5所述的基于数据资源目录构建的地球物理数据服务方法，其特征在于，所述数据库采集方式中的交换处理机制包括：轮询方式或数据库触发器方式。

7.根据权利要求1所述的基于数据资源目录构建的地球物理数据处理方法，其特征在于，所述获取需要从源数据库中采集的地球物理数据的预设元数据的步骤之前，还包括：

对所述地球物理数据进行数据统计、重复记录去除、数据截取以及数据主题预处理。

8.根据权利要求7所述的数据统计方法，其特征在于，所述获取需要从源数据库中采集的地球物理数据的预设元数据的步骤之后，包括：

将采集的所述预设元数据按日统计同步数据量、错误数据量以及数据同步任务执行情况。

9.根据权利要求8所述的数据主题预处理方法，其特征在于，所述根据业务需求对所述地球物理数据进行处理，并生成数据资源目录的步骤，包括：

根据所述同步数据量，按时间维度和台站维度生成台站质量主题；

根据地震事件，归集各类学科观测数据生成地震事件主题。

Images