[go: up one dir, main page]

CN108121511B - 一种分布式边缘存储系统中的数据处理方法、装置及设备 - Google Patents

一种分布式边缘存储系统中的数据处理方法、装置及设备 Download PDF

Info

Publication number
CN108121511B
CN108121511B CN201711396116.1A CN201711396116A CN108121511B CN 108121511 B CN108121511 B CN 108121511B CN 201711396116 A CN201711396116 A CN 201711396116A CN 108121511 B CN108121511 B CN 108121511B
Authority
CN
China
Prior art keywords
data
index information
storage device
edge
data center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711396116.1A
Other languages
English (en)
Other versions
CN108121511A (zh
Inventor
秦江波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Maopan Technology Co ltd
Original Assignee
Beijing Maopan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Maopan Technology Co ltd filed Critical Beijing Maopan Technology Co ltd
Priority to CN201711396116.1A priority Critical patent/CN108121511B/zh
Publication of CN108121511A publication Critical patent/CN108121511A/zh
Application granted granted Critical
Publication of CN108121511B publication Critical patent/CN108121511B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0631Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种分布式边缘存储系统中的数据处理方法、装置及设备,所述分布式边缘存储系统包括数据中心智能存储装置、云端服务器和至少一个边缘设备,所述数据中心智能存储装置用于存储数据,所述云端服务器用于存储所述数据的索引信息,所述方法包括:所述边缘设备响应于用户触发的数据查询操作,向所述云端服务器发送数据索引信息的查询请求;所述边缘设备接收来自所述云端服务器的所述数据索引信息,并从所述数据中心智能存储装置中获取与所述数据索引信息对应的数据。本发明能够利用分布式边缘存储系统中的边缘设备和云端服务器,实现对数据中心智能存储装置中数据的有效处理。

Description

一种分布式边缘存储系统中的数据处理方法、装置及设备
技术领域
本申请涉及数据处理领域,具体涉及一种分布式边缘存储系统中的数据处理方法、装置及设备。
背景技术
数据中心智能存储装置是指具有海量存储能力但是其他能力(如计算、网络上传等能力)不足的智能设备。一旦数据中心智能存储装置存在数据需要处理时,如果自身处理能力不足,则需要有效的数据处理方式进行保障,所以,目前亟需一种能够确保数据中心智能存储装置的数据被有效处理的方法。
发明内容
有鉴于此,本发明提供了一种分布式边缘存储系统中的数据处理方法、装置及设备,能够利用分布式边缘存储系统中的边缘设备和云端服务器,实现对数据中心智能存储装置中数据的有效处理。
第一方面,本发明提供一种分布式边缘存储系统中的数据处理方法,所述分布式边缘存储系统包括数据中心智能存储装置、云端服务器和至少一个边缘设备,所述数据中心智能存储装置用于存储数据,所述云端服务器用于存储所述数据的索引信息,所述方法包括:
所述边缘设备响应于用户触发的数据查询操作,向所述云端服务器发送数据索引信息的查询请求;
所述边缘设备接收来自所述云端服务器的所述数据索引信息,并从所述数据中心智能存储装置中获取与所述数据索引信息对应的数据。
可选的,所述从所述数据中心智能存储装置中获取与所述数据索引信息对应的数据之前,还包括:
所述边缘设备在本地缓存中查找是否存在与所述数据索引信息对应的数据;如果存在,则从本地缓存中获取与所述数据索引信息对应的数据;如果不存在,则继续执行所述从所述数据中心智能存储装置中获取与所述数据索引信息对应的数据。
可选的,所述从所述数据中心智能存储装置中获取与所述数据索引信息对应的数据之前,还包括:
所述边缘设备通过wifi与所述数据中心智能存储装置建立局域网连接。
可选的,在所述局域网连接建立失败时,所述方法还包括:
所述边缘设备通过P2P与所述数据中心智能存储装置建立端到端连接。
可选的,在所述端到端连接建立失败时,所述方法还包括:
所述边缘设备与所述数据中心智能存储装置建立外网连接。
可选的,所述从所述数据中心智能存储装置中获取与所述数据索引信息对应的数据,包括:
所述边缘设备接收与所述数据索引信息对应的数据;其中,所述数据是由所述数据中心智能存储装置通过所述云端服务器发送的。
可选的,所述边缘设备包括智能电视,所述方法还包括:
所述边缘设备接收来自所述数据中心智能存储装置的计算任务,并对所述计算任务进行处理后,将处理结果返回至所述数据中心智能存储装置。
可选的,所述边缘设备包括移动终端或计算机,所述方法还包括:
所述边缘设备接收来自所述数据中心智能存储装置的文件上传任务,并对所述文件上传任务进行处理后,将处理结果返回至所述数据中心智能存储装置。
第二方面,本发明提供了一种分布式边缘存储系统中的数据处理方法,所述分布式边缘存储系统包括数据中心智能存储装置、云端服务器和至少一个边缘设备,所述数据中心智能存储装置用于存储数据,所述云端服务器用于存储所述数据的索引信息,所述方法包括:
所述云端服务器接收来自任一边缘设备的数据索引信息的查询请求,并向所述边缘设备返回所述数据索引信息,以便所述边缘设备从所述数据中心智能存储装置中获取与所述数据索引信息对应的数据。
可选的,所述方法还包括:
所述云端服务器接收来自所述数据中心智能存储装置的计算任务,并对所述计算任务进行处理后,将处理结果返回至所述数据中心智能存储装置。
可选的,所述方法还包括:
在所述边缘设备与所述数据中心智能存储装置处于外网连接时,所述云端服务器将来自所述数据中心智能存储装置的与所述数据索引信息对应的数据发送至所述边缘设备。
第三方面,本发明还提供了一种分布式边缘存储系统中的数据处理方法,所述分布式边缘存储系统包括数据中心智能存储装置、云端服务器和至少一个边缘设备,所述数据中心智能存储装置用于存储数据,所述云端服务器用于存储所述数据的索引信息,所述方法包括:
所述数据中心智能存储装置接收来自任一边缘设备的数据索引信息后,向所述边缘设备返回与所述数据索引信息对应的数据。
可选的,所述向所述边缘设备返回与所述数据索引信息对应的数据,包括:
所述数据中心智能存储装置与所述边缘设备处于外网连接时,通过所述云端服务器向所述边缘设备发送与所述数据索引信息对应的数据。
第四方面,本发明提供了一种分布式边缘存储系统中的数据处理装置,所述装置包括:
第一发送模块,用于响应于用户触发的数据查询操作,向云端服务器发送数据索引信息的查询请求;
第一接收模块,用于接收来自所述云端服务器的所述数据索引信息;
第一获取模块,用于从数据中心智能存储装置中获取与所述数据索引信息对应的数据。
可选的,所述装置还包括:
查找模块,用于在本地缓存中查找是否存在与所述数据索引信息对应的数据;
第二获取模块,用于从本地缓存中获取与所述数据索引信息对应的数据;
触发模块,用于在所述查找模块的结果为否时,则触发所述第一获取模块。
可选的,所述装置还包括:
第一建立模块,用于通过wifi与所述数据中心智能存储装置建立局域网连接。
可选的,所述装置还包括:
第二建立模块,用于在所述局域网连接建立失败时,通过P2P与所述数据中心智能存储装置建立端到端连接。
可选的,所述装置还包括:
第三建立模块,用于在所述端到端连接建立失败时,与所述数据中心智能存储装置建立外网连接。
可选的,所述第一获取模块,具体用于:接收与所述数据索引信息对应的数据;其中,所述数据是由所述数据中心智能存储装置通过所述云端服务器发送的。
可选的,所述装置还包括:
第一任务处理模块,用于接收来自所述数据中心智能存储装置的计算任务,并对所述计算任务进行处理后,将处理结果返回至所述数据中心智能存储装置。
可选的,所述边缘设备包括移动终端或计算机,所述方法还包括:
第二任务处理模块,用于接收来自所述数据中心智能存储装置的文件上传任务,并对所述文件上传任务进行处理后,将处理结果返回至所述数据中心智能存储装置。
第五方面,本发明还提供了一种分布式边缘存储系统中的数据处理装置,所述装置包括:
第二接收模块,用于接收来自任一边缘设备的数据索引信息的查询请求;
第一返回模块,用于向所述边缘设备返回所述数据索引信息,以便所述边缘设备从所述数据中心智能存储装置中获取与所述数据索引信息对应的数据。
可选的,所述装置还包括:
第三任务处理模块,用于接收来自所述数据中心智能存储装置的计算任务,并对所述计算任务进行处理后,将处理结果返回至所述数据中心智能存储装置。
可选的,所述装置还包括:
第二发送模块,用于在与所述数据中心智能存储装置处于外网连接时,将来自所述数据中心智能存储装置的与所述数据索引信息对应的数据发送至所述边缘设备。
第六方面,本发明还提供了一种分布式边缘存储系统中的数据处理装置,所述装置包括:
第三接收模块,用于接收来自任一边缘设备的数据索引信息;
第二返回模块,用于向所述边缘设备返回与所述数据索引信息对应的数据。
可选的,所述第二返回模块,包括:
第三发送模块,用于在与所述边缘设备处于外网连接时,通过云端服务器向所述边缘设备发送与所述数据索引信息对应的数据。
第七方面,本发明还提供了一种分布式边缘存储系统中的数据处理设备,所述设备包括存储器和处理器,
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令,执行上述分布式边缘存储系统中的数据处理方法。
本发明实施例提供的分布式边缘存储系统中的数据处理方法中,边缘设备响应于用户触发的数据查询操作,向云端服务器发送数据索引信息的查询请求,边缘设备接收来自云端服务器的数据索引信息,并从数据中心智能存储装置中获取与数据索引信息对应的数据。本发明实施例能够利用分布式边缘存储系统中的边缘设备和云端服务器,实现对数据中心智能存储装置中数据的有效处理。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种分布式边缘存储系统的架构图;
图2为本申请实施例提供的一种分布式边缘存储系统中的数据处理方法流程图;
图3为本申请实施例提供的一种分布式边缘存储系统中的数据处理装置的结构示意图;
图4为本申请实施例提供的另一种分布式边缘存储系统中的数据处理装置的结构示意图;
图5为本申请实施例提供的另一种分布式边缘存储系统中的数据处理装置的结构示意图;
图6为本申请实施例提供的一种分布式边缘存储系统中的数据处理设备结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
数据中心智能存储装置是指具有海量存储能力但是其他能力如计算、网络上传等能力)不足的智能设备,对于数据中心智能存储装置中需要处理的数据,可能得不到及时的处理,为此,本发明提供了一种分布式边缘存储系统中的数据处理方法,能够确保数据中心智能存储装置的任务被有效处理。
具体的,本发明实施例提供的数据处理方法应用于分布式边缘存储系统,参考图1,为本发明实施例提供的一种分布式边缘存储系统的架构图,该分布式边缘存储系统包括数据中心智能存储装置100,云端服务器110以及与边缘设备120。其中,该分布式边缘存储系统中还可以包括多个边缘设备,边缘设备可以包括移动终端、计算机、智能电视、电视盒子等能够与数据中心智能存储装置相连的终端。
在图1中的分布式边缘存储系统的基础上,本发明提供了一种分布式边缘存储系统中的数据处理方法,具体的,数据中心智能存储装置110用于存储数据,云端服务器120用于存储数据中心智能存储装置中的数据的索引信息。
参考图2,为本发明实施例提供的一种分布式边缘存储系统中的数据处理方法流程图,所述方法包括:
S201:边缘设备响应于用户触发的数据查询操作,向所述云端服务器发送数据索引信息的查询请求。
本发明实施例中,数据中心智能存储装置用于存储数据,例如图片数据、影像数据、文字数据等。为了减少对数据中心智能存储装置的除存储功能以外的其他功能的性能开销,进一步体现数据中心智能存储装置的强大存储功能,本发明实施例将数据中心智能存储装置中的一部分功能转移给其他设备,如云端服务器、边缘设备等。
具体的,本发明实施例利用云端服务器存储数据中心智能存储装置中的数据的索引信息,以便在数据查询时从云端服务器中查询索引信息,减少对数据中心智能存储装置的查询操作。
实际应用中,当边缘设备的用户触发数据查询操作时,该边缘设备首先向云端服务器发送数据索引信息的查询请求,以便获取需要查询的数据的索引信息。
S202:边缘设备接收来自所述云端服务器的所述数据索引信息,并从所述数据中心智能存储装置中获取与所述数据索引信息对应的数据。
本发明实施例中,云端服务器接收到来自边缘设备的数据索引信息的查询请求后,从自身已经存储的数据索引信息中获取对应的数据索引信息,并将获取到的数据索引信息返回至该边缘设备。
当边缘设备接收到来自云端服务器的数据索引信息后,根据该数据索引信息,从数据中心智能存储装置中获取与该数据索引信息对应的数据。
一种实现方式中,在边缘设备从数据中心智能存储装置中获取与数据索引信息对应的数据之前,首先在本地缓存中查找是否存在与该数据索引信息对应的数据,如果存在,则直接从本地缓存中获取与该数据索引信息对应的数据即可,不需要与数据中心智能存储装置建立连接;如果不存在,则边缘设备与数据中心智能存储装置建立连接,并从数据中心智能存储装置中获取与数据索引信息对应的数据。本发明实施例利用边缘设备的本地缓存机制,能够节省访问数据中心智能存储装置的次数。
实际应用中,在边缘设备从数据中心智能存储装置中获取与数据索引信息对应的数据之前,该边缘设备可以通过wifi与数据中心智能存储装置建立局域网连接,如果连接建立成功,则该边缘设备与数据中心智能存储装置可以在局域网连接的基础上进行数据传输。
一种实现方式中,如果局域网连接建立失败,则该边缘设备还可以通过P2P与数据中心智能存储装置建立端到端连接,如果连接建立成功,则该边缘设备与数据中心智能存储装置可以在端到端连接的基础上进行数据传输。
另一种实现方式中,如果端到端连接也建立失败,则该边缘设备还可以与数据中心智能存储装置建立外网连接。具体的,该边缘设备可以通过云端服务器与数据中心智能存储装置进行数据传输。一种实现方式中,边缘设备通过云端服务器向数据中心智能存储装置查询与数据索引信息对应的数据,该数据中心智能存储装置通过云端服务器发送该数据至该边缘设备,实现边缘设备对数据的查询。
本发明实施例提供的分布式边缘存储系统中的数据处理方法中,边缘设备响应于用户触发的数据查询操作,向云端服务器发送数据索引信息的查询请求,边缘设备接收来自云端服务器的数据索引信息,并从数据中心智能存储装置中获取与数据索引信息对应的数据。本发明实施例能够利用分布式边缘存储系统中的边缘设备和云端服务器,实现对数据中心智能存储装置中数据的有效处理。
在上述实施例中的数据处理基础上,本发明实施例中的数据中心智能存储装置还可能存在其他数据处理任务,其中包括计算任务,如人工智能AI计算任务、图片处理任务等,还可以包括文件上传任务,如图片、视频等文件的上传任务。
实际应用中,数据中心智能存储装置需要处理的任务可能较大,此时可以将该任务进行分解后,对分解后的任务进行分别处理,最终完成对整个任务的处理,此时数据中心智能存储装置确定的待处理任务可以为分解后的任务。
值得注意的是,同属于一个业务的待处理任务可以携带有相同的任务标识,以便在所有携带该任务标识的待处理任务被处理完成后,确定对整个任务的处理已经完成。
一种实现方式中,数据中心智能存储装置获取各个边缘设备的当前状态信息,具体的,当前状态信息包括空闲状态、资源状态等等。数据中心智能存储装置可以确定各个边缘设备的当前状态信息是否满足预设条件,例如,数据中心智能存储装置可以将边缘设备的CPU空闲70%以上认为是满足预设条件的。在数据中心智能存储装置确定满足预设条件的边缘设备后,将待处理任务发送至该边缘设备即可。
如果满足预设条件的边缘设备不止一个,则数据中心智能存储装置可以随机选择一个满足预设条件的边缘设备作为用于处理待处理任务的边缘设备;也可以选择一个CPU空闲比例最大的边缘设备作为用于处理待处理任务的边缘设备;本发明实施例对此不进行限制。
本发明实施例中,数据中心智能存储装置将待处理任务发送至边缘设备后,由该边缘设备对待处理任务进行处理,有效利用了边缘设备的空闲资源,减少了数据中心智能存储装置的任务处理压力。
具体的,当数据中心智能存储装置存在计算任务时,首先确定能够用于执行该计算任务的边缘设备,通常由于智能电视的计算能力较强,所以,数据中心智能存储装置可以将计算任务分配给智能电视进行处理,有效利用了智能电视的计算资源,同时减小了数据中心智能存储装置的计算压力。
具体的,边缘设备接收来自数据中心智能存储装置的计算任务,并对该计算任务进行处理后,将处理结果返回至数据中心智能存储装置,完成计算任务的处理。
由于云端服务器的计算能力也比较强,所以,本发明实施例还可以将计算任务发送至云端服务器进行处理,有效利用云端服务器的计算资源,同时减小了数据中心智能存储装置的计算压力。
另外,当数据中心智能存储装置存在文件上传任务时,首先确定能够用于执行该文件上传任务的边缘设备,通常由于移动终端、计算机等具有较强的网络传输能力,所以,数据中心智能存储装置可以将文件上传任务分配给移动终端、计算机等设备进行处理,有效利用了移动终端、计算机的网络传输资源,同时减小了数据中心智能存储装置的文件上传压力。
具体的,边缘设备接收来自数据中心智能存储装置的文件上传任务,并对文件上传任务进行处理后,将处理结果返回至数据中心智能存储装置,完成文件上传任务的处理,具体的,如果上传成功,则生成处理成功的结果;如果上传失败,则生成处理失败的结果,数据中心智能存储装置根据处理结果确定是否重新对文件上传任务进行处理,即重新上传文件。
本发明实施例中的文件上传任务可以为批量上传任务,具体的,该批量上传任务可以包括多个文件上传任务,为该批量上传任务设置一个批量ID,该批量上传任务中的每个文件上传任务设置一个事务ID。实际应用中,可以根据批量ID确定该批量上传任务的详细属性;也可以根据批量ID进行整体任务的删除、查找、重新下载等操作;本发明实施例不限制批量ID的作用。
由于文件上传任务包括多个阶段处理,所以,为了确保任务处理的逻辑完整性,本发明实施例利用每个文件上传任务的事务ID,对发生错误的任务进行回滚处理,以保证任务处理的逻辑完整性。
本发明实施例提供的分布式边缘存储系统中的数据处理方法中,数据中心智能存储装置将数据处理任务发送至各个边缘设备进行处理,有效利用了边缘设备的空闲资源,减少了数据中心智能存储装置的处理压力。
相应的,本发明实施例还提供了一种分布式边缘存储系统中的数据处理装置,参考图3,为本发明实施例提供的一种分布式边缘存储系统中的数据处理装置的结构示意图,所述装置包括:
第一发送模块301,用于响应于用户触发的数据查询操作,向云端服务器发送数据索引信息的查询请求;
第一接收模块302,用于接收来自所述云端服务器的所述数据索引信息;
第一获取模块303,用于从数据中心智能存储装置中获取与所述数据索引信息对应的数据。
其中,所述装置还包括:
查找模块,用于在本地缓存中查找是否存在与所述数据索引信息对应的数据;
第二获取模块,用于从本地缓存中获取与所述数据索引信息对应的数据;
触发模块,用于在所述查找模块的结果为否时,则触发所述第一获取模块。
其中,所述装置还包括:
第一建立模块,用于通过wifi与所述数据中心智能存储装置建立局域网连接。
其中,所述装置还包括:
第二建立模块,用于在所述局域网连接建立失败时,通过P2P与所述数据中心智能存储装置建立端到端连接。
其中,所述装置还包括:
第三建立模块,用于在所述端到端连接建立失败时,与所述数据中心智能存储装置建立外网连接。
具体的,所述第一获取模块,具体用于:接收与所述数据索引信息对应的数据;其中,所述数据是由所述数据中心智能存储装置通过所述云端服务器发送的。
其中,所述装置还包括:
第一任务处理模块,用于接收来自所述数据中心智能存储装置的计算任务,并对所述计算任务进行处理后,将处理结果返回至所述数据中心智能存储装置。
一种实现方式中,所述边缘设备包括移动终端或计算机,所述方法还包括:
第二任务处理模块,用于接收来自所述数据中心智能存储装置的文件上传任务,并对所述文件上传任务进行处理后,将处理结果返回至所述数据中心智能存储装置。
另外,参考图4,为本发明实施例提供的另一种分布式边缘存储系统中的数据处理装置的结构示意图,所述装置包括:
第二接收模块401,用于接收来自任一边缘设备的数据索引信息的查询请求;
第一返回模块402,用于向所述边缘设备返回所述数据索引信息,以便所述边缘设备从所述数据中心智能存储装置中获取与所述数据索引信息对应的数据。
具体的,所述装置还包括:
第三任务处理模块,用于接收来自所述数据中心智能存储装置的计算任务,并对所述计算任务进行处理后,将处理结果返回至所述数据中心智能存储装置。
另外,所述装置还包括:
第二发送模块,用于在与所述数据中心智能存储装置处于外网连接时,将来自所述数据中心智能存储装置的与所述数据索引信息对应的数据发送至所述边缘设备。
参考图5,为本发明实施例提供的另一种分布式边缘存储系统中的数据处理装置的结构示意图,所述装置包括:
第三接收模块501,用于接收来自任一边缘设备的数据索引信息;
第二返回模块502,用于向所述边缘设备返回与所述数据索引信息对应的数据。
具体的,所述第二返回模块,包括:
第三发送模块,用于在与所述边缘设备处于外网连接时,通过云端服务器向所述边缘设备发送与所述数据索引信息对应的数据。
相应的,本发明实施例还提供一种分布式边缘存储系统中的数据处理设备,参见图6所示,可以包括:
处理器601、存储器602、输入装置603和输出装置604。分布式边缘存储系统中的数据处理设备中的处理器601的数量可以一个或多个,图6中以一个处理器为例。在本发明的一些实施例中,处理器601、存储器602、输入装置603和输出装置604可通过总线或其它方式连接,其中,图6中以通过总线连接为例。
存储器602可用于存储软件程序以及模块,处理器601通过运行存储在存储器602的软件程序以及模块,从而执行分布式边缘存储系统中的数据处理设备的各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等。此外,存储器602可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。输入装置603可用于接收输入的数字或字符信息,以及产生与分布式边缘存储系统中的数据处理设备的用户设置以及功能控制有关的信号输入。
具体在本实施例中,处理器601会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中,并由处理器601来运行存储在存储器602中的应用程序,从而实现上述分布式边缘存储系统中的数据处理方法的功能。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请实施例所提供的一种分布式边缘存储系统中的数据处理方法、装置及设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (19)

1.一种分布式边缘存储系统中的数据处理方法,其特征在于,所述分布式边缘存储系统包括数据中心智能存储装置、云端服务器和至少一个边缘设备,所述数据中心智能存储装置用于存储数据,所述云端服务器用于存储所述数据的索引信息,所述方法包括:
所述边缘设备响应于用户触发的数据查询操作,向所述云端服务器发送数据索引信息的查询请求;
所述边缘设备接收来自所述云端服务器的所述数据索引信息,并从所述数据中心智能存储装置中获取与所述数据索引信息对应的数据;
所述从所述数据中心智能存储装置中获取与所述数据索引信息对应的数据之前,还包括:
所述边缘设备在本地缓存中查找是否存在与所述数据索引信息对应的数据;如果存在,则从本地缓存中获取与所述数据索引信息对应的数据;如果不存在,则继续执行所述从所述数据中心智能存储装置中获取与所述数据索引信息对应的数据;
所述边缘设备接收来自所述数据中心智能存储装置的文件上传任务,并对所述文件上传任务进行处理后,将处理结果返回至所述数据中心智能存储装置;
所述边缘设备包括智能电视,所述边缘设备接收来自所述数据中心智能存储装置的计算任务,并对所述计算任务进行处理后,将处理结果返回至所述数据中心智能存储装置;
所述云端服务器接收来自所述数据中心智能存储装置的计算任务,并对所述计算任务进行处理后,将处理结果返回至所述数据中心智能存储装置。
2.根据权利要求1所述的方法,其特征在于,所述从所述数据中心智能存储装置中获取与所述数据索引信息对应的数据之前,还包括:
所述边缘设备通过wifi与所述数据中心智能存储装置建立局域网连接。
3.根据权利要求2所述的方法,其特征在于,在所述局域网连接建立失败时,所述方法还包括:
所述边缘设备通过P2P与所述数据中心智能存储装置建立端到端连接。
4.根据权利要求3所述的方法,其特征在于,在所述端到端连接建立失败时,所述方法还包括:
所述边缘设备与所述数据中心智能存储装置建立外网连接。
5.根据权利要求4所述的方法,其特征在于,所述从所述数据中心智能存储装置中获取与所述数据索引信息对应的数据,包括:
所述边缘设备接收与所述数据索引信息对应的数据;其中,所述数据是由所述数据中心智能存储装置通过所述云端服务器发送的。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
在所述边缘设备与所述数据中心智能存储装置处于外网连接时,所述云端服务器将来自所述数据中心智能存储装置的与所述数据索引信息对应的数据发送至所述边缘设备。
7.一种分布式边缘存储系统中的数据处理方法,其特征在于,所述分布式边缘存储系统包括数据中心智能存储装置、云端服务器和至少一个边缘设备,所述数据中心智能存储装置用于存储数据,所述云端服务器用于存储所述数据的索引信息,所述方法包括:
所述数据中心智能存储装置接收来自任一边缘设备的数据索引信息后,向所述边缘设备返回与所述数据索引信息对应的数据;
其中,所述数据索引信息的获取过程为:
所述边缘设备响应于用户触发的查询操作,向所述云端服务器发送数据索引信息的查询请求;
所述边缘设备接收来自所述云端服务器的数据索引信息,并在本地缓存中查找是否存在与所述数据索引信息对应的数据;如果存在,则从本地缓存中获取与所述数据索引信息对应的数据;如果不存在,则从所述数据中心智能存储装置中获取与所述数据索引信息对应的数据;
所述边缘设备接收来自所述数据中心智能存储装置的计算任务,并对所述计算任务进行处理后,将处理结果返回至所述数据中心智能存储装置。
8.根据权利要求7所述的方法,其特征在于,所述向所述边缘设备返回与所述数据索引信息对应的数据,包括:
所述数据中心智能存储装置与所述边缘设备处于外网连接时,通过所述云端服务器向所述边缘设备发送与所述数据索引信息对应的数据。
9.一种分布式边缘存储系统中的数据处理装置,其特征在于,所述装置包括:
第一发送模块,用于响应于用户触发的数据查询操作,向云端服务器发送数据索引信息的查询请求;
第一接收模块,用于接收来自所述云端服务器的所述数据索引信息;
第一获取模块,用于从数据中心智能存储装置中获取与所述数据索引信息对应的数据;
查找模块,用于在本地缓存中查找是否存在与所述数据索引信息对应的数据;
第二获取模块,用于从本地缓存中获取与所述数据索引信息对应的数据;
触发模块,用于在所述查找模块的结果为否时,则触发所述第一获取模块;
第一任务处理模块,用于接收来自所述数据中心智能存储装置的计算任务,并对所述计算任务进行处理后,将处理结果返回至所述数据中心智能存储装置。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:
第一建立模块,用于通过wifi与所述数据中心智能存储装置建立局域网连接。
11.根据权利要求10所述的装置,其特征在于,所述装置还包括:
第二建立模块,用于在所述局域网连接建立失败时,通过P2P与所述数据中心智能存储装置建立端到端连接。
12.根据权利要求11所述的装置,其特征在于,所述装置还包括:
第三建立模块,用于在所述端到端连接建立失败时,与所述数据中心智能存储装置建立外网连接。
13.根据权利要求12所述的装置,其特征在于,所述第一获取模块,具体用于:接收与所述数据索引信息对应的数据;其中,所述数据是由所述数据中心智能存储装置通过所述云端服务器发送的。
14.根据权利要求9-12中任一项所述的装置,其特征在于,所述装置还包括:
第二任务处理模块,用于接收来自所述数据中心智能存储装置的文件上传任务,并对所述文件上传任务进行处理后,将处理结果返回至所述数据中心智能存储装置。
15.一种分布式边缘存储系统中的数据处理装置,其特征在于,所述装置包括:
第二接收模块,用于接收来自任一边缘设备的数据索引信息的查询请求;其中,所述查询请求是所述边缘设备响应于用户触发的数据查询操作后向云端服务器发送的;
第一返回模块,用于向所述边缘设备返回所述数据索引信息,以便所述边缘设备在本地缓存中查找是否存在与所述数据索引信息对应的数据;如果存在,则从本地缓存中获取与所述数据索引信息对应的数据;如果不存在,则从数据中心智能存储装置中获取与所述数据索引信息对应的数据;第三任务处理模块,用于接收来自所述数据中心智能存储装置的计算任务,并对所述计算任务进行处理后,将处理结果返回至所述数据中心智能存储装置。
16.根据权利要求15所述的装置,其特征在于,所述装置还包括:
第二发送模块,用于在与所述数据中心智能存储装置处于外网连接时,将来自所述数据中心智能存储装置的与所述数据索引信息对应的数据发送至所述边缘设备。
17.一种分布式边缘存储系统中的数据处理装置,其特征在于,所述装置包括:
第三接收模块,用于接收来自任一边缘设备的数据索引信息;其中,所述数据索引信息的获取过程为:
所述边缘设备响应于用户触发的查询操作,向云端服务器发送数据索引信息的查询请求;
所述边缘设备接收来自所述云端服务器的数据索引信息,并在本地缓存中查找是否存在与所述数据索引信息对应的数据;如果存在,则从本地缓存中获取与所述数据索引信息对应的数据;如果不存在,则从数据中心智能存储装置中获取与所述数据索引信息对应的数据;
第二返回模块,用于向所述边缘设备返回与所述数据索引信息对应的数据;
第四接收模块,用于接收在所述边缘设备进行处理的计算任务的处理结果。
18.根据权利要求17所述的装置,其特征在于,所述第二返回模块,包括:
第三发送模块,用于在与所述边缘设备处于外网连接时,通过云端服务器向所述边缘设备发送与所述数据索引信息对应的数据。
19.一种分布式边缘存储系统中的数据处理设备,其特征在于,所述设备包括存储器和处理器,
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令,执行上述权利要求1-8中任一项所述的分布式边缘存储系统中的数据处理方法。
CN201711396116.1A 2017-12-21 2017-12-21 一种分布式边缘存储系统中的数据处理方法、装置及设备 Active CN108121511B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711396116.1A CN108121511B (zh) 2017-12-21 2017-12-21 一种分布式边缘存储系统中的数据处理方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711396116.1A CN108121511B (zh) 2017-12-21 2017-12-21 一种分布式边缘存储系统中的数据处理方法、装置及设备

Publications (2)

Publication Number Publication Date
CN108121511A CN108121511A (zh) 2018-06-05
CN108121511B true CN108121511B (zh) 2022-05-27

Family

ID=62231142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711396116.1A Active CN108121511B (zh) 2017-12-21 2017-12-21 一种分布式边缘存储系统中的数据处理方法、装置及设备

Country Status (1)

Country Link
CN (1) CN108121511B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7150585B2 (ja) * 2018-12-06 2022-10-11 エヌ・ティ・ティ・コミュニケーションズ株式会社 データ検索装置とそのデータ検索方法およびプログラム、エッジサーバとそのプログラム
CN109688482B (zh) * 2019-01-10 2021-12-24 南京三宝弘正视觉科技有限公司 一种基于雾计算架构的视频管理的装置、系统及方法
CN110691127B (zh) * 2019-09-25 2022-04-12 北京奇艺世纪科技有限公司 数据获取控制系统、数据获取控制方法及相关装置
CN110677683B (zh) * 2019-09-30 2022-03-04 北京奇艺世纪科技有限公司 视频存储、视频访问方法及分布式存储、视频访问系统
CN111177178B (zh) * 2019-12-03 2023-06-06 腾讯科技(深圳)有限公司 一种数据处理方法及相关设备
CN111158612B (zh) * 2020-04-02 2020-07-24 中国人民解放军国防科技大学 一种协同移动设备的边缘存储加速方法、装置及设备
CN113676510A (zh) * 2021-07-13 2021-11-19 阿里巴巴新加坡控股有限公司 一种云存储方法、系统、设备及存储介质
CN114168083B (zh) * 2021-12-10 2023-08-08 四川爱联科技股份有限公司 一种数据存储系统、方法及电子设备
CN114677781B (zh) * 2022-04-06 2023-09-05 广州文远知行科技有限公司 一种车辆数据上传方法及其相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103870202A (zh) * 2012-12-10 2014-06-18 上海优刻得信息科技有限公司 一种块设备的分布式存储方法和系统
CN104883381A (zh) * 2014-05-27 2015-09-02 陈杰 分布式存储的数据存取方法及系统
CN204650521U (zh) * 2015-02-13 2015-09-16 烟台智慧云谷云计算有限公司 一种tb级数据库存储系统
CN105740472A (zh) * 2016-03-14 2016-07-06 中国科学院计算技术研究所 一种分布式实时全文检索方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7778984B2 (en) * 2004-11-19 2010-08-17 Microsoft Corporation System and method for a distributed object store
US8392400B1 (en) * 2005-12-29 2013-03-05 Amazon Technologies, Inc. Method and apparatus for stress management in a searchable data service
CN101005369A (zh) * 2006-01-19 2007-07-25 深圳市瑞福特信息技术有限公司 一种分布式内容分发网及分布式内容分发和上传的方法
CN104731516B (zh) * 2013-12-18 2019-03-01 腾讯科技(深圳)有限公司 一种存取文件的方法、装置及分布式存储系统
CN105072201B (zh) * 2015-08-28 2018-04-13 北京奇艺世纪科技有限公司 一种分布式存储系统及其存储质量控制方法及装置
CN111339192A (zh) * 2020-02-21 2020-06-26 深圳供电局有限公司 一种分布式边缘计算数据存储系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103870202A (zh) * 2012-12-10 2014-06-18 上海优刻得信息科技有限公司 一种块设备的分布式存储方法和系统
CN104883381A (zh) * 2014-05-27 2015-09-02 陈杰 分布式存储的数据存取方法及系统
CN204650521U (zh) * 2015-02-13 2015-09-16 烟台智慧云谷云计算有限公司 一种tb级数据库存储系统
CN105740472A (zh) * 2016-03-14 2016-07-06 中国科学院计算技术研究所 一种分布式实时全文检索方法及系统

Also Published As

Publication number Publication date
CN108121511A (zh) 2018-06-05

Similar Documents

Publication Publication Date Title
CN108121511B (zh) 一种分布式边缘存储系统中的数据处理方法、装置及设备
CN110427299B (zh) 微服务系统应用的日志处理方法、相关设备及系统
CN106302632B (zh) 一种基础镜像的下载方法以及管理节点
CN112463290A (zh) 动态调整计算容器的数量的方法、系统、装置和存储介质
CN110896404A (zh) 数据处理的方法、装置和计算节点
CN112231108A (zh) 任务处理方法、装置、计算机可读存储介质及服务器
CN110427386B (zh) 数据处理方法、装置及计算机存储介质
CN112965817B (zh) 资源管理方法、装置和电子设备
CN109857723B (zh) 基于可扩容数据库集群的动态数据迁移方法及相关设备
CN107153643B (zh) 数据表连接方法及装置
CN109213493B (zh) 容器部署方法、特殊资源管理终端及可读存储介质
CN115357198B (zh) 存储卷的挂载方法及装置、存储介质及电子设备
CN110704376A (zh) 日志文件保存方法及装置
JP2018147301A5 (zh)
CN111008873B (zh) 一种用户确定方法、装置、电子设备及存储介质
CN117785952A (zh) 一种数据查询方法、装置、服务器及介质
CN112685175B (zh) 一种服务拓扑图的构建方法、装置和计算机可读存储介质
CN110798492A (zh) 数据存储方法及装置、数据处理系统
JP2018072944A (ja) プログラム、システム及び情報処理方法
CN111376255B (zh) 机器人数据采集方法、装置及终端设备
CN111694639A (zh) 进程容器地址的更新方法、装置和电子设备
WO2023071999A1 (zh) 一种用户匹配方法、装置、设备及存储介质
CN105760215A (zh) 基于映射规约模型分布式文件系统作业的运行方法
CN113821333B (zh) 安卓应用程序迁移的方法和装置
CN106156210B (zh) 一种确定应用标识匹配列表的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100192 room 2, 2 building, 1 building, No. 28, Hou Tun Road, Haidian District, Beijing.

Applicant after: Beijing cat disk technology Co., Ltd.

Address before: 100085 501-18, 8 street, four street, Haidian District, Beijing.

Applicant before: Beijing black snail Technology Co., Ltd.

GR01 Patent grant
GR01 Patent grant