[go: up one dir, main page]

CN111814020A - 一种数据的获取方法和装置 - Google Patents

一种数据的获取方法和装置 Download PDF

Info

Publication number
CN111814020A
CN111814020A CN202010581970.0A CN202010581970A CN111814020A CN 111814020 A CN111814020 A CN 111814020A CN 202010581970 A CN202010581970 A CN 202010581970A CN 111814020 A CN111814020 A CN 111814020A
Authority
CN
China
Prior art keywords
data
server
identifier
target
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010581970.0A
Other languages
English (en)
Inventor
司翔
史忠伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuba Co Ltd
Original Assignee
Wuba Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuba Co Ltd filed Critical Wuba Co Ltd
Priority to CN202010581970.0A priority Critical patent/CN111814020A/zh
Publication of CN111814020A publication Critical patent/CN111814020A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种数据的获取方法及装置,通过接收用户终端发送的数据获取请求,并从至少一个索引服务器中,确定与数据获取请求对应的目标索引服务器,接着从目标索引服务器中,确定针对数据获取请求的第一标识,以便从至少一个存储服务器中,选这与第一标识对应的目标存储服务器,并从该目标存储服务器中获取目标数据,从而通过分布式的服务器设置方式,每个服务器之间彼此独立,提高了数据处理的灵活性,有利于用户对数据库中存储的数据进行查询或离线处理,可以适用于多种不同的数据处理场景,拓宽数据处理的通用性。

Description

一种数据的获取方法和装置
技术领域
本发明涉及数据处理技术领域,特别是涉及一种数据的获取方法和一种数据的获取装置。
背景技术
随着业务逻辑越来越复杂,数据维度越来越多,传统的关系型数据库开始出现一些无法解决的问题,包括数据建模中的缺陷,以及大数据量和多服务器之上进行水平伸缩的限制,例如企业用户、数据系统和客户端产生的数据量呈指数增长,数据量的不断增加,使得传统关系型数据库无法满足现阶段大数据的存储和处理。另外,社交网络、智能推荐、知识图谱等场景大规模兴起,关系型数据的治理需求紧迫,在应对这类问题时,传统数据库的性能容易出现较多的不适性,影响数据处理。
发明内容
本发明实施例是提供一种数据的获取方法,以解决现有技术中无法满足处理复杂关系数据的存储和处理的问题。
相应的,本发明实施例还提供了一种数据的获取装置,用以保证上述方法的实现及应用。
为了解决上述问题,本发明实施例公开了一种数据的获取方法,包括:
接收数据获取请求;
确定与所述数据获取请求对应的目标索引服务器;
从所述目标索引服务器中,获取与所述数据获取请求匹配的第一标识;
从与所述第一标识匹配的目标存储服务器中,获取针对所述数据获取请求的目标数据。
可选地,所述数据获取请求包括目标数据标识,所述确定与所述数据获取请求对应的目标索引服务器,包括:
从预设的索引映射关系中,获取与所述目标数据标识匹配的第二标识,所述索引映射关系为数据标识与索引服务器之间的对应关系;
从预设的至少一个索引服务器中,选定与所述第二标识匹配的目标索引服务器。
可选地,所述从所述目标索引服务器中,获取与所述数据获取请求匹配的第一标识,包括:
从所述目标索引服务器中,获取与所述目标数据标识对应的目标存储映射关系;
采用所述目标存储映射关系,确定与所述目标数据标识对应的第一标识。
可选地,还包括:
将所述目标数据发送至用户终端,所述用户终端用于对所述目标数据进行数据处理。
可选地,还包括:
获取原始数据,以及所述原始数据的原始数据标识;
确定用于存储所述原始数据的至少一个原始存储服务器;
采用所述至少一个原始存储服务器的存储服务器标识与所述原始数据,建立针对所述原始数据的存储映射关系;
确定用于存储所述存储映射关系的至少一个原始索引服务器;
采用所述至少一个原始索引服务器的索引服务器标识与所述原始数据标识,建立针对所述原始数据的索引映射关系。
本发明实施例还公开了一种数据的获取装置,包括:
请求接收模块,用于接收数据获取请求;
索引服务器确定模块,用于确定与所述数据获取请求对应的目标索引服务器;
第一标识获取模块,用于从所述目标索引服务器中,获取与所述数据获取请求匹配的第一标识;
目标数据获取模块,用于从与所述第一标识匹配的目标存储服务器中,获取针对所述数据获取请求的目标数据。
可选地,所述数据获取请求包括目标数据标识,所述索引服务器确定模块包括:
第二标识获取子模块,用于从预设的索引映射关系中,获取与所述目标数据标识匹配的第二标识,所述索引映射关系为数据标识与索引服务器之间的对应关系;
索引服务器选定子模块,用于从预设的至少一个索引服务器中,选定与所述第二标识匹配的目标索引服务器。
可选地,所述第一标识获取模块包括:
存储映射关系获取子模块,用于从所述目标索引服务器中,获取与所述目标数据标识对应的目标存储映射关系;
第一标识获取子模块,用于采用所述目标存储映射关系,确定与所述目标数据标识对应的第一标识。
可选地,还包括:
数据发送模块,用于将所述目标数据发送至用户终端,所述用户终端用于对所述目标数据进行数据处理。
可选地,还包括:
原始数据获取模块,用于获取原始数据,以及所述原始数据的原始数据标识;
第一服务器确定子模块,用于确定用于存储所述原始数据的至少一个原始存储服务器;
存储映射关系生成模块,用于采用所述至少一个原始存储服务器的存储服务器标识与所述原始数据,建立针对所述原始数据的存储映射关系;
第二服务器确定子模块,用于确定用于存储所述存储映射关系的至少一个原始索引服务器;
索引映射关系生成模块,用于采用所述至少一个原始索引服务器的索引服务器标识与所述原始数据标识,建立针对所述原始数据的索引映射关系。
本发明实施例还公开了一种电子设备,包括:
一个或多个处理器;和
其上存储有指令的一个或多个机器可读介质,当由所述一个或多个处理器执行时,使得所述电子设备执行如上所述的一个或多个的方法。
本发明实施例还公开了一个或多个机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得所述处理器执行如上所述的一个或多个的方法。
本发明实施例包括以下优点:
在本发明实施例中,通过接收用户终端发送的数据获取请求,并从至少一个索引服务器中,确定与数据获取请求对应的目标索引服务器,接着从目标索引服务器中,确定针对数据获取请求的第一标识,以便从至少一个存储服务器中,选这与第一标识对应的目标存储服务器,并从该目标存储服务器中获取目标数据,从而通过分布式的服务器设置方式,每个服务器之间彼此独立,提高了数据处理的灵活性,有利于用户对数据库中存储的数据进行查询或离线处理,可以适用于多种不同的数据处理场景,拓宽数据处理的通用性。
附图说明
图1是本发明的一种数据的获取方法实施例的步骤流程图;
图2是本发明实施例中数据处理架构示意图;
图3是本发明的一种数据的获取方法实施例的步骤流程图;
图4是本发明实施例中数据存储架构的示意图;
图5是本发明实施例中索引构建架构的示意图;
图6是本发明实施例中JanusGraph配置的示意图;
图7是本发明实施例中数据架构的示意图;
图8是本发明的一种数据的获取装置实施例的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
数据处理服务器可以为一种分布式、开源、可大规模扩展的图形数据库,可以支持图数据处理,用于存储和查询,包含分布在多个服务器集群中的数千亿个节点和边的图形数据,例如,数据处理服务器可以为JanusGraph。
存储服务器可以为NoSQL数据库,其可以不遵循关系数据库模型,也可以不使用SQL作为查询语言,还可以不需要固定的表格存储模式,具备水平可扩展的特征,例如Hbase等。
索引服务器可以为开源分布式搜索引擎,支持极短的时间内存储、搜索和分析大量的数据,例如ElasticSearch等。
图数据结构即一个图为多个顶点的集合,这些顶点通过一系列边连接。例如,一个图可以表示一个社交网络,每个人就是一个顶点,互相认识的人之间通过边联系。而在数据处理的过程中,对于同一类数据,可以建立相关的索引关系,并存储在相同或不同的服务器中,从而建立图数据结构。
因此,本发明实施例的核心发明点之一在于通过建立数据处理服务器与索引服务器、存储服务器之间的分布式关系,在保证各个服务器之间的彼此独立的情况下,线性提高数据处理的能力,同时解决复杂数据的存储与查询等问题,拓宽数据处理的通用性。
参照图1,示出了本发明的一种数据的获取方法实施例的步骤流程图,具体可以包括如下步骤:
步骤101,接收数据获取请求;
作为一种示例,如图2所示,示出了本发明实施例中数据处理架构示意图,存储服务器可以采用存储服务器与Hadoop生态系统进行集成,能够保证严格一致性的读写,同时利用外部存储服务器集群的线性扩展能力,可以提高数据存储的范围,用于存储数据;索引服务器中可以存储不同数据的映射关系,通过映射关系可以得到图数据结构中,各个数据所存储的节点(即存储服务器)。各个组件在不同的服务器上进行隔离,使得各个服务器之间彼此独立地进行缩放和管理,提高了数据处理的灵活性。
在具体实现中,数据处理服务器可以与至少一个用户终端,与至少一个索引服务器,以及与至少一个存储服务器等进行通信,可选地,数据处理服务器还可以与其他拓展功能的服务器建立通信连接。
在一种示例中,用户终端中可以安装与数据处理服务器对应的应用程序,从而用户可以通过应用程序对数据处理服务器进行访问,使得数据处理服务器在接收到用户终端发送的数据获取请求后,与索引服务器以及存储服务器进行通信交互,以便获取与数据获取请求对应的目标数据。
其中,用户终端可以包括手机、PDA(Personal Digital Assistant,个人数字助理)、膝上型计算机、掌上电脑、智能穿戴设备(如智能手环、智能眼镜、智能头箍等)等等,也可以包括固定设备,具体可以包括车载终端、智能家居等等。这些终端可以支持Windows、Android(安卓)、IOS、WindowsPhone等操作系统,也可以支持嵌入式系统,通常可以运行数据获取、接收以及处理的应用程序等,本发明实施例对此也不加以限制。
步骤102,确定与所述数据获取请求对应的目标索引服务器;
在具体实现中,用户终端发送的数据获取请求中可以包括目标数据标识,目标数据标识可以为用户需要获取的数据的数据标识,从而数据处理服务器可以通过解析数据获取请求,得到目标数据标识,以便根据该目标数据标识,从至少一个索引服务器中,确定对应的目标索引服务器。
步骤103,从所述目标索引服务器中,获取与所述数据获取请求匹配的第一标识;
在具体实现中,索引服务器中可以存储有不同数据的映射关系,通过映射关系可以得到图数据结构中,各个数据所存储的节点(即存储服务器),从而数据处理服务器在确定了目标索引服务器之后,可以从该索引服务器中,获取与数据获取请求匹配的第一标识。
其中,第一标识可以为存储服务器标识,例如可以为存储服务器的ID(Identitydocument,身份标识号)、IP地址等等,通过该第一标识可以准确地从与数据处理服务器连接的至少一个存储服务器中,确定目标存储服务器,以便获取对应的数据。
步骤104,从与所述第一标识匹配的目标存储服务器中,获取针对所述数据获取请求的目标数据。
当数据处理服务器从至少一个存储服务器中,确定与第一标识匹配的目标存储服务器后,可以从该目标存储服务器获取针对数据获取请求的目标数据,从而通过分布式的服务器设置方式,每个服务器之间彼此独立,提高了数据处理的灵活性,有利于用户对数据库中存储的数据进行查询或离线处理,可以适用于多种不同的数据处理场景,拓宽数据处理的通用性。
在本发明实施例中,通过接收用户终端发送的数据获取请求,并从至少一个索引服务器中,确定与数据获取请求对应的目标索引服务器,接着从目标索引服务器中,确定针对数据获取请求的第一标识,以便从至少一个存储服务器中,选这与第一标识对应的目标存储服务器,并从该目标存储服务器中获取目标数据,从而通过分布式的服务器设置方式,每个服务器之间彼此独立,提高了数据处理的灵活性,有利于用户对数据库中存储的数据进行查询或离线处理,可以适用于多种不同的数据处理场景,拓宽数据处理的通用性。
参照图3,示出了本发明的一种数据的获取方法实施例的步骤流程图,具体可以包括如下步骤:
步骤301,接收数据获取请求;
在一种示例中,用户终端中可以安装与数据处理服务器对应的应用程序,从而用户可以通过应用程序对数据处理服务器进行访问,使得数据处理服务器在接收到用户终端发送的数据获取请求后,与索引服务器以及存储服务器进行通信交互,以便获取与数据获取请求对应的目标数据。其中,数据获取请求可以包括目标数据标识,目标数据标识可以为用户需要处理,或需要获取的数据的数据标识。
步骤302,确定与所述数据获取请求对应的目标索引服务器;
在具体实现中,当数据处理服务器接收到用户终端发送的数据获取请求时,可以解析该数据获取请求,得到目标数据标识。接着数据处理服务器可以从索引映射关系中,获取与所述目标数据标识匹配的第二标识,从预设的至少一个索引服务器中,选定与第二标识匹配的目标索引服务器。其中,索引映射关系为数据标识与索引服务器的服务器标识之间的对应关系
需要说明的是,第一标识可以为存储服务器标识,例如可以为存储服务器的ID(Identity document,身份标识号)标识(例如服务器的序列号等)、IP地址等等;第二标识可以为索引服务器标识,例如可以为存储服务器的ID、IP地址等等。当第一标识为ID时,第二服务器也可以为ID标识;当第一服务器表示为IP地址时,第二标识也可以为IP地址,可选地,还可以通过其他方式进行设置,本发明对此不作限制。
其中,索引映射关系可以为数据标识与索引服务器的服务器标识之间的对应关系,其表示数据标识所对应的索引信息存储在哪个或哪几个索引服务器,例如,如表1所示:
数据标识 索引服务器
标识① 服务器A
标识② 服务器B
标识③ 服务器C
标识④ 服务器A、服务器B
表1
其中,数据标识①对应的索引服务器可以为服务器A;数据标识②对应的索引服务器可以为服务器B;数据标识③对应的索引服务器可以为服务器C;数据标识④对应的索引服务器可以为服务器A与服务器B等等
从而数据处理服务器得到数据标识之后,可以从本地存储的索引映射关系中,确定数据标识对应的目标索引服务器,以便从目标索引服务器中确定数据标识对应的存储情况。
在本发明的一种可选实施例中,可以预先建立数据与索引服务器、数据与存储服务器之间的映射关系。具体的,数据处理服务器可以获取原始数据,以及原始数据的原始数据标识,并确定用于存储原始数据的至少一个原始存储服务器,接着采用至少一个原始存储服务器的存储服务器标识与原始数据,建立针对原始数据的存储映射关系,然后确定用于存储该存储映射关系的至少一个原始索引服务器,并采用至少一个原始索引服务器的索引服务器标识与原始数据标识,建立针对原始数据的索引映射关系。
在具体实现中,对于同一类数据或同一数据表中的数据,可以存储于相同或多个不同的存储服务器中,则数据处理服务器在获取了原始数据的原始数据标识之后,可以获取存储原始数据的所有存储服务器的服务器标识,并建立原始数据标识与存储服务器标识之间的存储映射关系,例如,如表2所示:
数据标识 存储服务器
标识① 服务器一
标识① 服务器二
标识① 服务器三
标识② 服务器一
标识③ 服务器一
标识③ 服务器三
表2
其中,原始数据①分别存储于存储服务器一、存储服务器二以及存储服务器三;原始数据②存储于存储服务器一;原始数据③存储于存储服务器一以及存储服务器三等等。
数据处理服务器在建立了存储映射关系之后,可以确定合适的索引服务器,并将存储映射关系存储于该索引服务器中,并获取索引服务器的索引服务器标识,然后建立索引服务器标识与原始数据标识之间的索引映射关系,并将索引映射关系存储于本地中,以便后续进行数据搜索,例如,如表3所示,不同的索引服务器可以存储不同或相同的存储映射关系:
Figure BDA0002553526900000091
Figure BDA0002553526900000101
表3
需要说明的是,本发明实施例包括但不限于上述示例,可以理解的是,在本发明实施例的思想指导下,本领域技术人员可以根据实际情况进行设置,本发明对此不作限制。
步骤303,从所述目标索引服务器中,获取与所述数据获取请求匹配的第一标识;
在具体实现中,当数据处理服务器确定目标索引服务器之后,可以向目标索引服务器发送映射关系获取请求,在该请求中可以包括数据标识。目标索引服务器解析映射关系获取请求得到数据标识,然后从根据数据标识,查询本地存储的存储映射关系,确定与所述数据标识对应的目标服务器标识,然后将目标服务器标识打包,生成映射关系回复信息,返回数据处理服务器。
步骤304,从与所述第一标识匹配的目标存储服务器中,获取针对所述数据获取请求的目标数据;
步骤305,将所述目标数据发送至用户终端,所述用户终端用于对所述目标数据进行数据处理。
在具体实现中,数据处理服务器收到目标索引服务器返回的映射关系回复信息之后,解析得到目标服务器标识,然后从所有的存储服务器中,确定目标存储服务器。
当确定了目标存储服务器之后,数据处理服务器可以向各个目标存储服务器发送数据获取请求,请求对应的数据。则目标存储服务器收到数据获取请求之后,可以根据数据标识提取对应的目标数据,并将目标数据发送至数据处理服务器,以便数据处理服务器将目标数据返回给用户终端,使得用户可以对目标数据进行处理,例如对目标数据进行修改、增加以及删除等等,从而通过分布式的服务器设置方式,每个服务器之间彼此独立,提高了数据处理的灵活性,有利于用户对数据库中存储的数据进行查询或离线处理,可以适用于多种不同的数据处理场景,拓宽数据处理的通用性。
在本发明实施例中,通过接收用户终端发送的数据获取请求,并从至少一个索引服务器中,确定与数据获取请求对应的目标索引服务器,接着从目标索引服务器中,确定针对数据获取请求的第一标识,以便从至少一个存储服务器中,选这与第一标识对应的目标存储服务器,并从该目标存储服务器中获取目标数据,从而通过分布式的服务器设置方式,每个服务器之间彼此独立,提高了数据处理的灵活性,有利于用户对数据库中存储的数据进行查询或离线处理,可以适用于多种不同的数据处理场景,拓宽数据处理的通用性。
为了使本领域技术人员更好地理解本发明实施例的技术方案,下面通过一个例子进行说明与解释。
如图4所示,示出了本发明实施例中数据存储架构的示意图,数据处理服务器可以为JanusGraph,存储服务器可以为Hbase,则分布式的JanusGraph可以自身的存储接口Storage Interface与分布式的Hbase进行通信连接。
如图5所示,示出了本发明实施例中索引构建架构的示意图,JanusGraph可以通过索引接口Index Interface与索引服务器通信连接,索引服务器可以为ElasticSearch,通过将Elasticsearch索引创建设置嵌入到JanusGraph,使得索引构建后,有约束的遍历速度得到显著提升。在JanusGraph中,除组合索引、唯一索引等可自身在内存中维护的索引无需第三方组件作为索引存储即可使用,而对于模糊匹配、全文检索和根据谓词搜索等查询时,则需要构建混合索引,具体的,可以根据节点的标识信息、功能信息以及图数据结构中的位置信息构建混合索引。
如图6所示,示出了本发明实施例中JanusGraph配置的示意图,可以将Gremlin服务器打包至JanusGraph,即JanusGraph服务器。在启动时通过属性文件初始化、绑定逻辑图、存储组件以及索引组件,监听外部socket连接或者http请求来对维护的图实例进行管理和操作。基于客户端和服务器建立Socket链接进行通信,中间可能会由于网络带宽和请求耗时造成额外的消耗,因此JanusGraph服务器作为管理入口,并不处理大批量数据事务操作。
此外,可以将JanusGraph嵌入到通用服务程序中,使得用户可以通过应用程序在与JanusGraph相同的Java虚拟机中使用Gremlin查询语言直接与JanusGraph进行交互,如图7所示,示出了本发明实施例中数据架构的示意图,可以通过外部维护公共配置实现多用户与多图配置隔离的功能,通过借助云平台的能力扩展JanusGraph示例可以线性提高事务处理能力,以及通过包装提供统一对外服务接口,使得多个应用程序可以直接调用服务完成数据处理。
具体的,用户可以通过用户终端的应用程序发起数据查询请求,JanusGraph接收到数据查询请求之后,解析得到数据标识,从本地中查询与数据标识对应的目标索引映射关系,然后确定目标Elasticsearch。JanusGraph向Elasticsearch发送映射关系获取请求,在该请求中可以包括数据标识。目标Elasticsearch解析映射关系获取请求得到数据标识,然后从根据数据标识,查询本地存储的存储映射关系,确定与所述数据标识对应的目标服务器标识,然后将目标服务器标识打包,生成映射关系回复信息,返回JanusGraph。JanusGraph向目标服务器标识对应的Hbase发送数据查询请求,并接收Hbase返回的目标数据,然后将目标数据发送至用户终端,从而完成数据查询的过程,从而通过分布式的服务器设置方式,每个服务器之间彼此独立,提高了数据处理的灵活性,有利于用户对数据库中存储的数据进行查询或离线处理,可以适用于多种不同的数据处理场景,拓宽数据处理的通用性。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图8,示出了本发明的一种数据的获取装置实施例的结构框图,具体可以包括如下模块:
请求接收模块801,用于接收数据获取请求;
索引服务器确定模块802,用于确定与所述数据获取请求对应的目标索引服务器;
第一标识获取模块803,用于从所述目标索引服务器中,获取与所述数据获取请求匹配的第一标识;
目标数据获取模块804,用于从与所述第一标识匹配的目标存储服务器中,获取针对所述数据获取请求的目标数据。
在本发明的一种可选实施例中,所述数据获取请求包括目标数据标识,所述索引服务器确定模块802包括:
第二标识获取子模块,用于从预设的索引映射关系中,获取与所述目标数据标识匹配的第二标识,所述索引映射关系为数据标识与索引服务器之间的对应关系;
索引服务器选定子模块,用于从预设的至少一个索引服务器中,选定与所述第二标识匹配的目标索引服务器。
在本发明的一种可选实施例中,所述第一标识获取模块803包括:
存储映射关系获取子模块,用于从所述目标索引服务器中,获取与所述目标数据标识对应的目标存储映射关系;
第一标识获取子模块,用于采用所述目标存储映射关系,确定与所述目标数据标识对应的第一标识。
在本发明的一种可选实施例中,还包括:
数据发送模块,用于将所述目标数据发送至用户终端,所述用户终端用于对所述目标数据进行数据处理。
在本发明的一种可选实施例中,还包括:
原始数据获取模块,用于获取原始数据,以及所述原始数据的原始数据标识;
第一服务器确定子模块,用于确定用于存储所述原始数据的至少一个原始存储服务器;
存储映射关系生成模块,用于采用所述至少一个原始存储服务器的存储服务器标识与所述原始数据,建立针对所述原始数据的存储映射关系;
第二服务器确定子模块,用于确定用于存储所述存储映射关系的至少一个原始索引服务器;
索引映射关系生成模块,用于采用所述至少一个原始索引服务器的索引服务器标识与所述原始数据标识,建立针对所述原始数据的索引映射关系。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本发明实施例还提供了一种电子设备,包括:
一个或多个处理器;和
其上存储有指令的一个或多个机器可读介质,当由所述一个或多个处理器执行时,使得所述电子设备执行本发明实施例所述的方法。
本发明实施例还提供了一个或多个机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得所述处理器执行本发明实施例所述的方法。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种数据的获取方法和一种数据的获取装置,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种数据的获取方法,其特征在于,包括:
接收数据获取请求;
确定与所述数据获取请求对应的目标索引服务器;
从所述目标索引服务器中,获取与所述数据获取请求匹配的第一标识;
从与所述第一标识匹配的目标存储服务器中,获取针对所述数据获取请求的目标数据。
2.根据权利要求1所述的方法,其特征在于,所述数据获取请求包括目标数据标识,所述确定与所述数据获取请求对应的目标索引服务器,包括:
从预设的索引映射关系中,获取与所述目标数据标识匹配的第二标识,所述索引映射关系为数据标识与索引服务器之间的对应关系;
从预设的至少一个索引服务器中,选定与所述第二标识匹配的目标索引服务器。
3.根据权利要求2所述的方法,其特征在于,所述从所述目标索引服务器中,获取与所述数据获取请求匹配的第一标识,包括:
从所述目标索引服务器中,获取与所述目标数据标识对应的目标存储映射关系;
采用所述目标存储映射关系,确定与所述目标数据标识对应的第一标识。
4.根据权利要求1所述的方法,其特征在于,还包括:
将所述目标数据发送至用户终端,所述用户终端用于对所述目标数据进行数据处理。
5.根据权利要求1所述的方法,其特征在于,还包括:
获取原始数据,以及所述原始数据的原始数据标识;
确定用于存储所述原始数据的至少一个原始存储服务器;
采用所述至少一个原始存储服务器的存储服务器标识与所述原始数据,建立针对所述原始数据的存储映射关系;
确定用于存储所述存储映射关系的至少一个原始索引服务器;
采用所述至少一个原始索引服务器的索引服务器标识与所述原始数据标识,建立针对所述原始数据的索引映射关系。
6.一种数据的获取装置,其特征在于,包括:
请求接收模块,用于接收数据获取请求;
索引服务器确定模块,用于确定与所述数据获取请求对应的目标索引服务器;
第一标识获取模块,用于从所述目标索引服务器中,获取与所述数据获取请求匹配的第一标识;
目标数据获取模块,用于从与所述第一标识匹配的目标存储服务器中,获取针对所述数据获取请求的目标数据。
7.根据权利要求6所述的装置,其特征在于,所述数据获取请求包括目标数据标识,所述索引服务器确定模块包括:
第二标识获取子模块,用于从预设的索引映射关系中,获取与所述目标数据标识匹配的第二标识,所述索引映射关系为数据标识与索引服务器之间的对应关系;
索引服务器选定子模块,用于从预设的至少一个索引服务器中,选定与所述第二标识匹配的目标索引服务器。
8.根据权利要求7所述的装置,其特征在于,所述第一标识获取模块包括:
存储映射关系获取子模块,用于从所述目标索引服务器中,获取与所述目标数据标识对应的目标存储映射关系;
第一标识获取子模块,用于采用所述目标存储映射关系,确定与所述目标数据标识对应的第一标识。
9.根据权利要求6所述的装置,其特征在于,还包括:
数据发送模块,用于将所述目标数据发送至用户终端,所述用户终端用于对所述目标数据进行数据处理。
10.根据权利要求6所述的装置,其特征在于,还包括:
原始数据获取模块,用于获取原始数据,以及所述原始数据的原始数据标识;
第一服务器确定子模块,用于确定用于存储所述原始数据的至少一个原始存储服务器;
存储映射关系生成模块,用于采用所述至少一个原始存储服务器的存储服务器标识与所述原始数据,建立针对所述原始数据的存储映射关系;
第二服务器确定子模块,用于确定用于存储所述存储映射关系的至少一个原始索引服务器;
索引映射关系生成模块,用于采用所述至少一个原始索引服务器的索引服务器标识与所述原始数据标识,建立针对所述原始数据的索引映射关系。
11.一种电子设备,其特征在于,包括:
一个或多个处理器;和
其上存储有指令的一个或多个机器可读介质,当由所述一个或多个处理器执行时,使得所述电子设备执行如权利要求1-5任一项所述的方法。
12.一个或多个机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得所述处理器执行如权利要求1-5任一项所述的方法。
CN202010581970.0A 2020-06-23 2020-06-23 一种数据的获取方法和装置 Pending CN111814020A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010581970.0A CN111814020A (zh) 2020-06-23 2020-06-23 一种数据的获取方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010581970.0A CN111814020A (zh) 2020-06-23 2020-06-23 一种数据的获取方法和装置

Publications (1)

Publication Number Publication Date
CN111814020A true CN111814020A (zh) 2020-10-23

Family

ID=72845585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010581970.0A Pending CN111814020A (zh) 2020-06-23 2020-06-23 一种数据的获取方法和装置

Country Status (1)

Country Link
CN (1) CN111814020A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112685417A (zh) * 2020-12-30 2021-04-20 京东数字科技控股股份有限公司 数据库操作方法、系统、装置、服务器及存储介质
CN112685419A (zh) * 2020-12-31 2021-04-20 北京赛思信安技术股份有限公司 一种可保持janusGraph数据一致性的分布式高效并行加载方法
CN114297334A (zh) * 2021-12-28 2022-04-08 北京金山数字娱乐科技有限公司 基于知识图谱的索引创建方法及装置
CN115114660A (zh) * 2022-06-29 2022-09-27 中国银行股份有限公司 一种数据存储方法及相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006108946A (ja) * 2004-10-01 2006-04-20 Matsushita Electric Ind Co Ltd 機器選択支援装置、機器選択支援方法、プログラムおよび記録媒体
CN104731516A (zh) * 2013-12-18 2015-06-24 腾讯科技(深圳)有限公司 一种存取文件的方法、装置及分布式存储系统
CN110019080A (zh) * 2017-07-14 2019-07-16 北京京东尚科信息技术有限公司 数据访问方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006108946A (ja) * 2004-10-01 2006-04-20 Matsushita Electric Ind Co Ltd 機器選択支援装置、機器選択支援方法、プログラムおよび記録媒体
CN104731516A (zh) * 2013-12-18 2015-06-24 腾讯科技(深圳)有限公司 一种存取文件的方法、装置及分布式存储系统
CN110019080A (zh) * 2017-07-14 2019-07-16 北京京东尚科信息技术有限公司 数据访问方法和装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112685417A (zh) * 2020-12-30 2021-04-20 京东数字科技控股股份有限公司 数据库操作方法、系统、装置、服务器及存储介质
CN112685417B (zh) * 2020-12-30 2024-04-05 京东科技控股股份有限公司 数据库操作方法、系统、装置、服务器及存储介质
CN112685419A (zh) * 2020-12-31 2021-04-20 北京赛思信安技术股份有限公司 一种可保持janusGraph数据一致性的分布式高效并行加载方法
CN114297334A (zh) * 2021-12-28 2022-04-08 北京金山数字娱乐科技有限公司 基于知识图谱的索引创建方法及装置
CN114297334B (zh) * 2021-12-28 2025-12-19 北京金山数字娱乐科技有限公司 基于知识图谱的索引创建方法及装置
CN115114660A (zh) * 2022-06-29 2022-09-27 中国银行股份有限公司 一种数据存储方法及相关设备

Similar Documents

Publication Publication Date Title
JP6776411B2 (ja) パケットベースのデータ通信のデバイス識別子依存オペレーション処理
CN107515878B (zh) 一种数据索引的管理方法及装置
CN113760948A (zh) 一种数据查询的方法及装置
CN111814020A (zh) 一种数据的获取方法和装置
CN111858760B (zh) 一种异构数据库的数据处理方法及装置
CN111723161B (zh) 一种数据处理方法、装置及设备
CN106294695A (zh) 一种面向实时大数据搜索引擎的实现方法
WO2013097231A1 (zh) 文件访问方法及系统
CN114356971A (zh) 数据处理方法、装置以及系统
CN111400301B (zh) 一种数据查询方法、装置及设备
CN113656469B (zh) 大数据处理方法及装置
US10171606B2 (en) System and method for providing data as a service (DaaS) in real-time
CN115510116A (zh) 数据目录构建方法、装置、介质及设备
WO2018227695A1 (zh) 订阅数据的发送、接收方法、装置及系统
CN110245191A (zh) 数据处理方法及装置
CN113448957B (zh) 一种数据查询方法和装置
CN110866052A (zh) 一种数据分析方法、装置及设备
CN102685222B (zh) 一种用于电力系统的云存储资源管理装置
CN113297274B (zh) 一种签收数据查询方法和系统
CN108491499B (zh) 数据采集方法、数据采集平台、客户端及业务服务器
CN116561106B (zh) 一种配置项数据管理方法及系统
CN102916820B (zh) 计费系统及方法
CN108062277B (zh) 一种电子凭据数据访问方法、装置及系统
Kaur et al. Image processing on multinode hadoop cluster
CN107025300B (zh) 一种数据查询的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201023

RJ01 Rejection of invention patent application after publication