[go: up one dir, main page]

CN107220003A - 一种数据读取方法和系统 - Google Patents

一种数据读取方法和系统 Download PDF

Info

Publication number
CN107220003A
CN107220003A CN201710386042.7A CN201710386042A CN107220003A CN 107220003 A CN107220003 A CN 107220003A CN 201710386042 A CN201710386042 A CN 201710386042A CN 107220003 A CN107220003 A CN 107220003A
Authority
CN
China
Prior art keywords
target data
cehp
data
plug
cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710386042.7A
Other languages
English (en)
Other versions
CN107220003B (zh
Inventor
任东旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201710386042.7A priority Critical patent/CN107220003B/zh
Publication of CN107220003A publication Critical patent/CN107220003A/zh
Application granted granted Critical
Publication of CN107220003B publication Critical patent/CN107220003B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种数据读取方法和系统，包括：Hbase客户端通过Cehp插件，直接将数据读取请求发送至Cehp系统，所述数据读取请求包括目标数据的标识和所述目标数据的区域信息；所述Cehp系统依据所述数据读取请求查找到所述目标数据后，通过所述Cehp插件，直接将所述目标数据返回至所述Hbase客户端。本申请Ceph插件层中不再设置缓存，减少了数据读取的层级，省去了在Ceph插件层的缓存中查找目标数据的过程，相比于现有技术提高了数据的读取效率。

Description

一种数据读取方法和系统
技术领域
本申请涉及计算机处理技术领域，尤其涉及一种基于HBase+Hadoop+Ceph对接框架下的数据读取方法和系统。
背景技术
HBase是一个分布式的、面向列的开源数据库，HBase建立在Hadoop的分布式存储系统HDFS(Hadoop Distributed File System，分布式文件系统)之上，是一个基于列的适合于非结构化数据存储的数据库。
HDFS是一个高度容错性的系统，能够提供高吞吐量的数据访问，非常适合大规模数据集上的应用。
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。Hadoop的体系结构主要是通过HDFS来实现分布式存储的底层支持，通过MapReduce实现分布或并行任务处理的程序支持。
Ceph存储系统是一种高性能、高可靠性、高可扩展性的存储系统。
基于HBase+Hadoop+Ceph的对接框架，将Ceph存储系统强大的分布式存储能力与Hadoop中MapReduce强大的并行任务处理能力相融合，同时结合HBase面向列的非结构化数据库，从而提供更高的可靠性、更强的性能、更大的容量利用率以及更加便捷的大数据平台。
目前，基于HBase+Hadoop+Ceph对接框架下的数据读取方法中，HBase客户端(HBase client)首先会在Ceph插件层的缓存(cache)中查找目标数据，若cache中没有目标数据，再从OSD(Object-based Storage Device，对象存储设备)中读取目标数据。
本申请的申请人发现，虽然现有数据读取方法能够读取到目标数据，但其读取数据的效率有待提高。因此，基于HBase+Hadoop+Ceph对接框架下，如何进一步提高数据的读取效率，成为当前亟需解决的一个技术问题。
发明内容
有鉴于此，本申请提供一种基于HBase+Hadoop+Ceph对接框架下的数据读取方法和系统，以提高数据的读取效率。技术方案如下：
基于本申请的一方面，本申请提供一种数据读取方法，包括：
Hbase客户端通过Cehp插件，直接将数据读取请求发送至Cehp系统，所述数据读取请求包括目标数据的标识和所述目标数据的区域信息；
所述Cehp系统依据所述数据读取请求查找到所述目标数据后，通过所述Cehp插件，直接将所述目标数据返回至所述Hbase客户端。
优选地，所述Cehp系统依据所述数据读取请求查找所述目标数据包括：
所述Cehp系统依据所述目标数据的标识，在分布式对象缓存Ceph oc层的缓存中查找所述目标数据；
如果未查找到，依据所述目标数据的区域信息，在所述区域信息对应的对象存储设备OSD上读取所述目标数据。
基于本申请的另一方面，本申请提供一种数据读取系统，包括：Hbase客户端、Cehp插件层和Cehp系统，在所述Cehp插件层中不设置缓存；
所述Hbase客户端通过Cehp插件，直接将数据读取请求发送至Cehp系统，所述数据读取请求包括目标数据的标识和所述目标数据的区域信息；
所述Cehp系统依据所述数据读取请求查找到所述目标数据后，通过所述Cehp插件，直接将所述目标数据返回至所述Hbase客户端。
优选地，所述Cehp系统依据所述数据读取请求查找所述目标数据包括：
所述Cehp系统依据所述目标数据的标识，在分布式对象缓存Ceph oc层的缓存中查找所述目标数据；
如果未查找到，依据所述目标数据的区域信息，在所述区域信息对应的对象存储设备OSD上读取所述目标数据。
本申请提供的数据读取方法中，Hbase客户端通过Cehp插件，直接将数据读取请求发送至Cehp系统，Cehp系统依据数据读取请求查找到目标数据后，通过Cehp插件，直接将目标数据返回至Hbase客户端。本申请Ceph插件层中不再设置缓存，减少了数据读取的层级，省去了在Ceph插件层的缓存中查找目标数据的过程，相比于现有技术提高了数据的读取效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种数据读取方法的流程图；
图2为本申请提供的一种数据读取系统的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的主要思想之一包括：在Ceph插件层中去除cache，即在Cehp插件层中不设置cache，减少数据读取的层级，直接建立HBase client与Cehp系统间的数据读取/返回关系，提高数据的读取效率。
如图1所示，其示出了本申请提供的一种数据读取方法的流程图，包括：
步骤101，Hbase client通过Cehp插件，直接将数据读取请求发送至Cehp系统，所述数据读取请求包括目标数据的标识和所述目标数据的区域信息。
Hbase client读取数据时，会生成数据读取请求，该数据读取请求中包括目标数据的标识和目标数据的区域信息。
其中对于目标数据的区域信息的确定方法可以为，Hbase client首先发送包括目标数据的标识的请求消息到zookeeper(zookeeper是Hadoop的重要组件，为分布式应用提供一致性服务的软件)，获取Hbase表的元数据信息，进而根据元数据信息确定目标数据所在的区域。需要说明的是，本申请中确定目标数据的区域信息的实现方法同现有数据读取方法中确定目标数据的区域信息的实现方法相同，申请人在此不再赘述。
现有技术中HBase client首先会将数据读取请求发送至Ceph插件层，在Ceph插件层的cache中查找目标数据，若在cache中查找到目标数据，则通过Ceph插件，将在cache中查找到的目标数据返回至Hbase client。若在cache中没有查找到目标数据，则通过Ceph插件，将数据读取请求发送至Cehp系统，从Cehp系统中的OSD中读取目标数据。
而实际应用中，cache的内存非常小，HBase client欲读取的目标数据存储在cache中的概率非常低，一般情况下不会在cache中查找到目标数据，因此可以理解的，在cache中查找目标数据的过程冗余耗时且无用。
与现有技术不同的是，本申请在Ceph插件层去除cache，Hbase client通过Cehp插件，直接将数据读取请求发送至Cehp系统，而省去了在cache中查找目标数据的过程，相比于现有技术减少了数据读取的层级，提高了数据的读取效率。
步骤102，Cehp系统依据数据读取请求查找到目标数据后，通过Cehp插件，直接将目标数据返回至Hbase客户端。
本申请中，Cehp系统依据数据读取请求查找到目标数据后，也是通过Cehp插件，直接将目标数据返回至Hbase客户端，而不会再在cache中缓存目标数据。
特别地本申请中，Cehp系统依据数据读取请求查找目标数据的过程可以包括：Cehp系统首先依据目标数据的标识，在Ceph oc(Ceph object cache，分布式对象缓存)层的缓存中查找目标数据。如果查找到，则直接将查找到目标数据通过Cehp插件返回至Hbase客户端；如果未查找到，则再依据目标数据的区域信息，在所述区域信息对应的OSD上读取目标数据。本申请在有效增加ceph oc层的缓存的情况下，能够进一步提高数据的读取效率。
因此，应用本申请提供的数据读取方法，Hbase客户端通过Cehp插件，直接将数据读取请求发送至Cehp系统，Cehp系统依据数据读取请求查找到目标数据后，通过Cehp插件，直接将目标数据返回至Hbase客户端。本申请Ceph插件层中不再设置缓存，减少了数据读取的层级，省去了在Ceph插件层的缓存中查找目标数据的过程，相比于现有技术提高了数据的读取效率。
基于本申请提供的一种数据读取方法，本申请还提供一种数据读取系统，如图2所示，包括Hbase客户端100、Cehp插件层200和Cehp系统300，其中在Cehp插件层200中不设置缓存。
具体地，Hbase客户端100通过Cehp插件201，直接将数据读取请求发送至Cehp系统300，所述数据读取请求包括目标数据的标识和目标数据的区域信息；
Cehp系统300依据所述数据读取请求查找到目标数据后，通过Cehp插件201，直接将目标数据返回至Hbase客户端100。
其中Cehp系统300依据所述数据读取请求查找目标数据的过程可以包括：
Cehp系统300依据目标数据的标识，在Ceph oc层301的缓存中查找目标数据；
如果未查找到，依据目标数据的区域信息，在所述区域信息对应的OSD302上读取目标数据。
以上对本申请所提供的一种数据读取方法和系统进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (4)

1.一种数据读取方法，其特征在于，包括：
Hbase客户端通过Cehp插件，直接将数据读取请求发送至Cehp系统，所述数据读取请求包括目标数据的标识和所述目标数据的区域信息；
所述Cehp系统依据所述数据读取请求查找到所述目标数据后，通过所述Cehp插件，直接将所述目标数据返回至所述Hbase客户端。
2.根据权利要求1所述的数据读取方法，其特征在于，所述Cehp系统依据所述数据读取请求查找所述目标数据包括：
所述Cehp系统依据所述目标数据的标识，在分布式对象缓存Ceph oc层的缓存中查找所述目标数据；
如果未查找到，依据所述目标数据的区域信息，在所述区域信息对应的对象存储设备OSD上读取所述目标数据。
3.一种数据读取系统，包括：Hbase客户端、Cehp插件层和Cehp系统，其特征在于，在所述Cehp插件层中不设置缓存；
所述Hbase客户端通过Cehp插件，直接将数据读取请求发送至Cehp系统，所述数据读取请求包括目标数据的标识和所述目标数据的区域信息；
所述Cehp系统依据所述数据读取请求查找到所述目标数据后，通过所述Cehp插件，直接将所述目标数据返回至所述Hbase客户端。
4.根据权利要求3所述的数据读取系统，其特征在于，所述Cehp系统依据所述数据读取请求查找所述目标数据包括：
所述Cehp系统依据所述目标数据的标识，在分布式对象缓存Ceph oc层的缓存中查找所述目标数据；
如果未查找到，依据所述目标数据的区域信息，在所述区域信息对应的对象存储设备OSD上读取所述目标数据。
CN201710386042.7A 2017-05-26 2017-05-26 一种数据读取方法和系统 Active CN107220003B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710386042.7A CN107220003B (zh) 2017-05-26 2017-05-26 一种数据读取方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710386042.7A CN107220003B (zh) 2017-05-26 2017-05-26 一种数据读取方法和系统

Publications (2)

Publication Number Publication Date
CN107220003A true CN107220003A (zh) 2017-09-29
CN107220003B CN107220003B (zh) 2020-03-24

Family

ID=59946796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710386042.7A Active CN107220003B (zh) 2017-05-26 2017-05-26 一种数据读取方法和系统

Country Status (1)

Country Link
CN (1) CN107220003B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197159A (zh) * 2017-12-11 2018-06-22 厦门集微科技有限公司 基于分布式文件系统的数据读取、写入方法及装置
CN108491163A (zh) * 2018-03-19 2018-09-04 腾讯科技（深圳）有限公司 一种大数据处理方法、装置和存储介质
WO2021057317A1 (zh) * 2019-09-23 2021-04-01 中国银联股份有限公司 一种访问对接器、系统及应用该访问对接器的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150067001A1 (en) * 2013-08-30 2015-03-05 International Business Machines Corporation Cache management in a computerized system
CN104598631A (zh) * 2015-02-05 2015-05-06 北京航空航天大学 分布式数据处理平台
US9141814B1 (en) * 2014-06-03 2015-09-22 Zettaset, Inc. Methods and computer systems with provisions for high availability of cryptographic keys
CN105554132A (zh) * 2015-12-23 2016-05-04 浪潮集团有限公司 一种Hadoop在线扩容的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150067001A1 (en) * 2013-08-30 2015-03-05 International Business Machines Corporation Cache management in a computerized system
US9141814B1 (en) * 2014-06-03 2015-09-22 Zettaset, Inc. Methods and computer systems with provisions for high availability of cryptographic keys
CN104598631A (zh) * 2015-02-05 2015-05-06 北京航空航天大学 分布式数据处理平台
CN105554132A (zh) * 2015-12-23 2016-05-04 浪潮集团有限公司 一种Hadoop在线扩容的方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197159A (zh) * 2017-12-11 2018-06-22 厦门集微科技有限公司 基于分布式文件系统的数据读取、写入方法及装置
CN108197159B (zh) * 2017-12-11 2020-07-10 厦门集微科技有限公司 基于分布式文件系统的数据读取、写入方法及装置
CN108491163A (zh) * 2018-03-19 2018-09-04 腾讯科技（深圳）有限公司 一种大数据处理方法、装置和存储介质
CN108491163B (zh) * 2018-03-19 2022-01-04 腾讯科技（深圳）有限公司 一种大数据处理方法、装置和存储介质
WO2021057317A1 (zh) * 2019-09-23 2021-04-01 中国银联股份有限公司 一种访问对接器、系统及应用该访问对接器的方法及装置

Also Published As

Publication number Publication date
CN107220003B (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
CN113419824B (zh) 数据处理方法、装置、系统及计算机存储介质
CN105933376B (zh) 一种数据操作方法，服务器及存储系统
CN102307206B (zh) 基于云存储的快速访问虚拟机镜像的缓存系统的缓存方法
CN103002027B (zh) 基于键值对系统实现树形目录结构的数据存储系统及方法
CN104598631B (zh) 分布式数据处理平台
US20130339605A1 (en) Uniform storage collaboration and access
CN107515878B (zh) 一种数据索引的管理方法及装置
CN111258978A (zh) 一种数据存储的方法
CN111831713B (zh) 一种数据处理方法、装置及设备
CN106909595B (zh) 一种数据迁移方法及装置
CN106649426A (zh) 一种数据分析方法和数据分析平台以及服务器
CN111400301B (zh) 一种数据查询方法、装置及设备
US20240220334A1 (en) Data processing method in distributed system, and related system
CN106375425A (zh) 分布式缓存的处理方法和装置
CN111857539A (zh) 用于管理存储系统的方法、设备和计算机程序产品
CN109992469B (zh) 一种合并日志的方法及装置
WO2023083241A1 (zh) 图数据划分
CN107220003A (zh) 一种数据读取方法和系统
US11288237B2 (en) Distributed file system with thin arbiter node
CN109388651B (zh) 一种数据处理方法和装置
CN103577604B (zh) 一种用于Hadoop分布式环境的图像索引结构
CN113448957B (zh) 一种数据查询方法和装置
CN105791370A (zh) 一种数据处理方法及相关服务器
US10275468B2 (en) Replication of data in a distributed file system using an arbiter
CN106446039B (zh) 聚合式大数据查询方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant