[go: up one dir, main page]

CN117908803B - 基于大数据的数据存储方法及系统 - Google Patents

基于大数据的数据存储方法及系统 Download PDF

Info

Publication number
CN117908803B
CN117908803B CN202410309748.3A CN202410309748A CN117908803B CN 117908803 B CN117908803 B CN 117908803B CN 202410309748 A CN202410309748 A CN 202410309748A CN 117908803 B CN117908803 B CN 117908803B
Authority
CN
China
Prior art keywords
storage
data
characteristic
score
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410309748.3A
Other languages
English (en)
Other versions
CN117908803A (zh
Inventor
李海
罗运雄
张伟龙
周薇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shuangyin Technology Co ltd
Original Assignee
Shenzhen Shuangyin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shuangyin Technology Co ltd filed Critical Shenzhen Shuangyin Technology Co ltd
Priority to CN202410309748.3A priority Critical patent/CN117908803B/zh
Publication of CN117908803A publication Critical patent/CN117908803A/zh
Application granted granted Critical
Publication of CN117908803B publication Critical patent/CN117908803B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种基于大数据的数据存储方法及系统,属于数据存储技术领域,在该方法中,第一服务器接收终端设备发送的数据,并分析其多维存储特性。根据这些特性,服务器选择一个初始存储策略。然后,第一服务器向第二服务器发送请求,获取终端设备的历史存储偏好画像。基于历史存储偏好画像,第一服务器评估每个初始存储策略的偏好程度,选择得分最高的策略作为目标存储策略。第一服务器将这个策略发送给终端设备,并收集满意度反馈。如果满意度超过阈值,服务器将按照目标存储策略存储数据。可以满足企业中不同人员不同应用场景下的数据存储请求,大大提高了数据的可用性和安全性。

Description

基于大数据的数据存储方法及系统
技术领域
本申请涉及数据存储技术领域,尤其涉及一种基于大数据的数据存储方法及系统。
背景技术
企业中的数据存储是指组织在日常运营中对各种类型数据进行有效管理和存储的过程。数据在企业中起着至关重要的作用,它不仅关乎企业的决策制定,还涉及到业务分析、客户关系管理等多个方面。随着企业业务的不断扩展和数据的爆炸式增长,数据存储的需求也越来越大。
当企业用户有数据存储需求时,通常会将需要存储的数据上传到数据存储服务器。数据存储服务器是专门用于存储和管理大量数据的硬件和软件系统。它具备高效的数据压缩、备份、恢复和安全保护等功能,以确保数据的可靠性和安全性。
发明内容
本申请实施例提供一种基于大数据的数据存储方法及系统,本申请采用如下技术方案:
第一方面,提供一种基于大数据的数据存储方法,应用于第一服务器,方法包括:
接收终端设备发送的待存储数据,并确定待存储数据的多维存储特性;
根据多维存储特性,确定待存储数据的至少一个初始存储策略;
向第二服务器发送数据获取请求,以使得第二服务器向第一服务器反馈终端设备的历史存储偏好画像;
根据终端设备的历史存储偏好画像,对每个初始存储策略进行偏好程度评估,并将偏好程度评估分值最高的初始存储策略,确定为目标存储策略;
将目标存储策略发送至终端设备,并接收终端设备反馈的满意度评价等级,并在满意度评价等级大于阈值时,根据目标存储策略对待存储数据进行存储。
可选地,多维存储特性至少包括敏感度特性、时效特性以及安全特性,确定待存储数据的多维存储特性包括:
确定待存储数据的敏感度特性评分、时效特性评分以及安全特性评分;
根据敏感度特性评分、时效特性评分以及安全特性评分以及对应的权重,构建待存储数据的存储特性画像,存储特性画像用于表征待存储数据的多维存储特性。
可选地,存储特性画像包括基准画像和修正画像,根据敏感度特性评分、时效特性评分以及安全特性评分以及对应的权重,构建待存储数据的存储特性画像,构建待存储数据的存储特性画像包括:
根据每种存储特性维度的特性评分以及对应的权重,确定每种存储特性维度的画像构成评分,画像构成评分用于表征每种存储特性维度对存储特性画像的重要程度;
将画像构成评分最高的存储特性维度确定为存储特性画像的基准画像,将画像构成评分非最高的任意一个存储特性维度确定为存储特性画像的修正画像。
可选地,确定待存储数据的敏感度特性评分包括:
根据待存储数据中的敏感词数量和敏感词出现频率,确定待存储数据的外在敏感度特性评分;
根据待存储数据中上下文关联关系,确定待存储数据的数据关联性,并根据数据关联性,确定待存储数据的内在敏感度特性评分;
根据外在敏感度特性评分和内在敏感度特性评分,确定待存储数据的敏感度特性评分。
可选地,初始存储策略包括初始存储位置和初始存储方法,根据多维存储特性,确定待存储数据的至少一个初始存储策略包括:
根据基准画像和修正画像对应的数据存储需求,确定待存储数据的初始存储方法;
根据初始存储方法与存储设备的存储位置对应关系,以及存储设备的当前存储能力,确定待存储数据的初始存储位置。
可选地,根据终端设备的历史存储偏好画像,对每个初始存储策略进行偏好程度评估包括:
根据历史存储偏好画像和存储特性画像的第一方向的匹配度,确定初始存储策略的第一评价分数,其中,第一方向为历史存储偏好画像和存储特性画像正相关方向,第一评价分数与第一方向的相关性呈正相关;
根据历史存储偏好画像和存储特性画像的第二方向的匹配度,确定初始存储策略的第二评价分数,其中,第二方向为历史存储偏好画像和存储特性画像负相关方向,第二评价分数与第二方向的相关性呈正相关;
根据第一评价分数和第二评价分数,确定每个初始存储策略的偏好程度评估分值。
可选地,方法还包括:
在满意度评价等级小于等于阈值时,第一服务器迭代执行根据偏好程度评估分值重新确定目标存储策略,将目标存储策略发送至终端设备的步骤。
可选地,在根据目标存储策略对待存储数据进行存储之后,方法还包括:
第一服务器将目标策略和对应的满意度评价等级发送至第二服务器;
第二服务器根据目标策略和对应的满意度评价等级,对终端设备的历史存储偏好画像进行动态更新。
可选地,第一服务器包括存储服务器,第二服务器包括云服务器。
第二方面,提供一种基于大数据的数据存储系统,系统包括:
接收模块,用于接收终端设备发送的待存储数据,并确定待存储数据的多维存储特性;
初始策略确定模块,用于根据多维存储特性,确定待存储数据的至少一个初始存储策略;
请求模块,用于向第二服务器发送数据获取请求,以使得第二服务器向第一服务器反馈终端设备的历史存储偏好画像;
评估模块,用于根据终端设备的历史存储偏好画像,对每个初始存储策略进行偏好程度评估,并将偏好程度评估分值最高的初始存储策略,确定为目标存储策略;
执行模块,用于将目标存储策略发送至终端设备,并接收终端设备反馈的满意度评价等级,并在满意度评价等级大于阈值时,根据目标存储策略对待存储数据进行存储。
可选地,接收模块包括:
多维评估评分确定子模块,用于确定待存储数据的敏感度特性评分、时效特性评分以及安全特性评分;
存储特性画像构建子模块,用于根据敏感度特性评分、时效特性评分以及安全特性评分以及对应的权重,构建待存储数据的存储特性画像,存储特性画像用于表征待存储数据的多维存储特性。
可选地,存储特性画像构建子模块包括:
画像构成评分确定单元,用于根据每种存储特性维度的特性评分以及对应的权重,确定每种存储特性维度的画像构成评分,画像构成评分用于表征每种存储特性维度对存储特性画像的重要程度;
画像组合单元,用于将画像构成评分最高的存储特性维度确定为存储特性画像的基准画像,将画像构成评分非最高的任意一个存储特性维度确定为存储特性画像的修正画像。
可选地,多维评估评分确定子模块包括:
第一敏感度特性评分单元,用于根据待存储数据中的敏感词数量和敏感词出现频率,确定待存储数据的外在敏感度特性评分;
第二敏感度特性评分单元,用于根据待存储数据中上下文关联关系,确定待存储数据的数据关联性,并根据数据关联性,确定待存储数据的内在敏感度特性评分;
综合评分单元,用于根据外在敏感度特性评分和内在敏感度特性评分,确定待存储数据的敏感度特性评分。
可选地,初始策略确定模块包括:
初始存储方法确定子模块,用于根据基准画像和修正画像对应的数据存储需求,确定待存储数据的初始存储方法;
初始存储位置确定子模块,用于根据初始存储方法与存储设备的存储位置对应关系,以及存储设备的当前存储能力,确定待存储数据的初始存储位置。
可选地,评估模块,包括:
第一评估子模块,用于根据历史存储偏好画像和存储特性画像的第一方向的匹配度,确定初始存储策略的第一评价分数,其中,第一方向为历史存储偏好画像和存储特性画像正相关方向,第一评价分数与第一方向的相关性呈正相关;
第二评估子模块,用于根据历史存储偏好画像和存储特性画像的第二方向的匹配度,确定初始存储策略的第二评价分数,其中,第二方向为历史存储偏好画像和存储特性画像负相关方向,第二评价分数与第二方向的相关性呈正相关;
第三评估子模块,用于根据第一评价分数和第二评价分数,确定每个初始存储策略的偏好程度评估分值。
可选地,系统还包括迭代模块,迭代模块用于在满意度评价等级小于等于阈值时,第一服务器迭代执行根据偏好程度评估分值重新确定目标存储策略,将目标存储策略发送至终端设备的步骤。
综上,上述方法及系统具有如下技术效果:
首先,通过接收终端设备发送的待存储数据并分析其多维存储特性。这意味着系统能够考虑到不同数据的特点,例如数据的大小、访问频率、重要性等。通过对这些特性的综合考虑,可以更准确地确定存储策略,满足不同数据的不同需求。 基于多维存储特性,系统确定待存储数据的初始存储策略。这样可以在一开始就根据数据的性质为其选择一个适当的存储方式,提高存储效率。 通过向第二服务器发送数据获取请求,获取终端设备的历史存储偏好画像。这允许系统了解用户在不同场景下的存储偏好,包括过去的存储选择和习惯。根据历史存储偏好画像,系统对每个初始存储策略进行偏好程度评估。选择偏好程度评估分值最高的初始存储策略作为目标存储策略。这使得系统能够根据用户过去的偏好调整存储策略,提高满足用户需求的准确性。 将目标存储策略发送至终端设备,并接收终端设备反馈的满意度评价等级。只有在满意度评价等级大于阈值时,系统才会根据目标存储策略对待存储数据进行实际存储。这确保了用户对存储方案的满意度,从而提高了整体系统的用户体验。结合历史存储偏好画像,更好地满足企业中不同人员和应用场景下的数据存储请求,提高存储系统的智能性和适应性。
附图说明
图1为本申请实施例提供的基于大数据的数据存储方法的流程示意图;
图2为本申请实施例提供的基于大数据的数据存储系统模块示意图。
具体实施方式
下面将结合附图,对本申请中的技术方案进行描述。
在企业中,对于不同的用户,由于其岗位和职级的不同,其需要存储的数据也是不同的,而如果将所有的用户都按照统一的方式进行存储,则必然使得重要数据的存储安全性受到威胁。因此,对于不同的用户,需要采取不同的存储方式。对于高层管理人员,由于其需要存储的数据涉及到企业的核心机密,因此应该采取更为安全的存储方式,例如加密存储或者使用专用的存储设备。而对于一般员工,由于其需要存储的数据较为普通,因此可以采用相对较为简单的存储方式,例如云存储或者网络存储。
但是上述方式均是基于存储数据本身单一维度属性来完成数据的存储,而对于同一个用户来说,在不同的场景下,其依然具有不同的数据存储请求,因此如何能够满足企业中不同人员不同应用场景下的数据存储请求,是本申请所要解决的技术问题。
基于此,提出本申请的发明构思:以待存储数据本身的多维属性来确定待存储数据的初始存储策略,结合用户的历史存储方式来对待存储数据的初始存储策略进行更新,使得不同的用户在不同的应用场景下能够采用最匹配的数据存储方式。
参照图1,基本申请的实施例提供了一种基于大数据的数据存储方法,应用于第一服务器,具体可以包括以下步骤:
S101:接收终端设备发送的待存储数据,并确定待存储数据的多维存储特性。
在本实施方式中,用户在有数据存储需求时,当前需要存储的数据,可能是新产生的,以前没有处理过的数据,用户可能并不知道改用什么方式去存储,并且应该将其存储在什么位置,基于此,用户通过终端设备向第一服务器发送数据存储请求,第一服务器在接收到终端设备发送的数据存储请求之后,建立与终端设备的通信链路,用户通过终端设备向第一服务器发送待存储的数据,第一服务器在接收到待存储的数据,会对其进行分析,以确定其多维存储特性,多维存储特性是指待存储数据在多个维度上的特征和需求,涵盖了数据的各个方面,从而在存储和管理过程中更全面地考虑和满足不同的数据特性。确定待存储数据的多维存储特性的具体步骤包括:
S1011:确定待存储数据的敏感度特性评分、时效特性评分以及安全特性评分;
在本实施方式中,待存储数据的多维存储特性可以有很多个维度,但是优先选择敏感度特性、时效特性以及安全特性等几个维度来对待存储数据进行评价,敏感度特性涉及到数据的隐私和机密性。优先考虑敏感度可以确保对于包含敏感信息的数据采取适当的安全措施,如加密、访问控制等,以防止未经授权的访问和泄露。对于某些数据,时效性是至关重要的,即数据在一定时间内需要保持有效。例如,金融交易数据、实时监控数据等需要在特定时间内处理和分析,以支持及时的业务决策。优先考虑时效性有助于确保及时性和业务流程的有效运作。 安全性特性关注数据在存储和传输过程中的安全性。考虑安全性可以防止数据被未授权方访问、篡改或破坏。保障数据的安全性对于企业来说是一项基本的责任,尤其是在面临不断增长的网络威胁和数据泄露风险的情况下。
在一种可行的实施方式中,而对于待存储数据的敏感度特性,可以采用如下方式来确定其敏感度特性评分:
根据待存储数据中的敏感词数量和敏感词出现频率,确定待存储数据的外在敏感度特性评分;
根据待存储数据中上下文关联关系,确定待存储数据的数据关联性,并根据数据关联性,确定待存储数据的内在敏感度特性评分;
根据外在敏感度特性评分和内在敏感度特性评分,确定待存储数据的敏感度特性评分。
在本实施方式中,外在敏感度特性涉及待存储数据中直接可观察到的属性,如敏感词汇的数量、出现频率等。示例: 如果待存储的文本数据包含大量敏感词汇,或者某些敏感词汇出现的频率很高,那么这个数据就有较高的外在敏感度特性。 内在敏感度特性关注数据之间的关联关系,即上下文中的内在结构和连接。这可以包括数据的相互关系、依赖性等。示例: 对于医疗记录,症状、诊断和患者信息之间的关系是内在敏感度特性的一部分。如果这些信息之间的关联性较强,那么数据的内在敏感度特性可能较高。综合考虑外在和内在的敏感度特性,可以更全面地评估数据的敏感性。通过分析待存储数据中的敏感词数量和其出现频率来确定数据的外在敏感度特性评分。这可以包括对敏感词汇表的建立和对待存储数据的扫描。分析待存储数据中的上下文关联关系,以确定数据的数据关联性。然后,根据这种关联性,确定数据的内在敏感度特性评分。
示例的,例如有一段待存储的文本数据:“公司内部财务报表显示,今年第三季度利润增长了20%,”外在敏感度特性评分:敏感词数量和频率:检查文本中是否包含敏感词,例如“财务报表”、“利润增长”,并计算它们的出现频率。例如:“财务报表”出现1次,频率为1/15;“利润增长”出现1次,频率为1/15。外在敏感度特性评分计算:综合考虑敏感词的数量和频率,给出一个外在敏感度评分。例如,例如按照一定规则计算,得到外在敏感度评分为0.15。分析文本中的上下文关系,看是否存在数据关联。在这个例子中,“今年第三季度利润增长了20%”表明公司业绩好,可能会对股价产生影响。给出一个数据关联性评分,比如根据上述关联关系,评分为0.8。综合考虑数据关联性,给出一个内在敏感度评分。例如,例如按照一定规则计算,得到内在敏感度评分为0.8。根据外在敏感度特性评分和内在敏感度特性评分,计算待存储数据的综合敏感度特性评分。例如,将外在敏感度评分和内在敏感度评分进行加权平均,得到最终的敏感度特性评分。
时效特性涉及确定数据在时间上的有效性和实用性。这可以包括数据的更新频率、数据的时间戳、以及数据是否仍然具有实际意义。示例:时效特性评分可以基于数据的最后更新时间,如果数据经常更新,评分可能较高,反之则较低。安全特性评估数据在存储和传输过程中的安全性。这可以包括对数据加密、访问控制、身份验证等安全措施的分析。示例:对于医疗记录数据,安全特性评分可以考虑数据是否经过加密、是否有权限控制。
S1012:根据敏感度特性评分、时效特性评分以及安全特性评分以及对应的权重,构建待存储数据的存储特性画像,存储特性画像用于表征待存储数据的多维存储特性。
在本实施方式中,对于每个特性(敏感度、时效性、安全性),确定相应的权重。权重反映了每个特性在整体存储特性中的相对重要性。例如,如果数据的安全性对于特定应用至关重要,则可以分配更高的安全性权重。构建待存储数据的存储特性画像涉及整合敏感度特性评分、时效特性评分和安全特性评分,并赋予它们相应的权重,以形成对数据多维存储特性的综合描述。这个存储特性画像不仅反映了数据的敏感性、时效性和安全性,还突显了这些特性在整个数据生命周期中的重要性。而构建待存储数据的存储特性画像的具体步骤可以包括:
S10121:根据每种存储特性维度的特性评分以及对应的权重,确定每种存储特性维度的画像构成评分,画像构成评分用于表征每种存储特性维度对存储特性画像的重要程度;
S10122:将画像构成评分最高的存储特性维度确定为存储特性画像的基准画像,将画像构成评分非最高的任意一个存储特性维度确定为存储特性画像的修正画像。
在S10121至S10122的实施方式中,针对每种存储特性维度,结合其特性评分和相应的权重,计算出该维度的画像构成评分。这个评分用于量化每个存储特性维度对整体存储特性画像的贡献和重要程度。具体步骤包括:
对每个存储特性维度,结合已有的特性评分(如敏感度、时效性、安全性)和给定的权重。示例:对于敏感度特性,如果敏感度评分是 80/100,权重是 0.4,则计算得到敏感度维度的构成评分为 32(80 * 0.4)。例如:敏感度、时效性、安全性,它们的构成评分分别是32、20、25。
确定画像构成评分最高的存储特性维度,将该维度作为基准画像。示例:如果敏感度特性的构成评分最高,则敏感度成为基准画像。从非最高构成评分的存储特性维度中选择任意一个,将其作为修正画像。示例:如果时效性和安全性的构成评分低于敏感度,则从这两者中选择一个作为修正画像,修正画像还可以包括待存储数据的其他存储特性。基准画像代表了整体存储特性画像中最为重要的维度,其无法进行修改和调整,而修正画像则反映了其他可能需要调整或优化的维度。
通过组合基准画像和不同的修正画像,可以获得多个反映用户不同存储需求的存储特性画像。
S102:根据多维存储特性,确定待存储数据的至少一个初始存储策略。
在本实施方式中,在获得待存储数据的多维存储特性之后,可以基于多维存储特性为待存储数据匹配一个最合适的存储策略,存储策略并不仅仅是一个简单的存储位置和方法的指示,而是一个全面的规划,可以包括数据的初始存储位置、初始存储方法、备份策略、数据迁移策略等。
在选择初始存储位置时,需要考虑数据的访问频率和重要性。对于经常访问或重要的数据,通常会选择将它们存储在高性能的存储设备上,如SSD硬盘或高性能的RAID阵列。而对于不经常访问或不太重要的数据,可能会选择将其存储在成本较低的存储设备上,如HDD硬盘或网络存储设备。
选择初始存储方法时,需要考虑数据的类型和大小。对于大型数据,如视频或图片,通常会选择将其分割成较小的块,然后分别存储在不同的位置。这样不仅可以提高数据的可扩展性和容错性,还可以提高数据的读写效率。而对于小型数据,如配置文件或日志文件,可能会选择直接将其存储在一个单一的位置。
除了初始的存储策略外,还需要考虑数据的备份和迁移策略。对于重要数据,需要定期进行备份,以防止数据丢失。同时,随着时间的推移,数据的访问频率和重要性可能会发生变化,因此需要定期对数据进行迁移,以确保数据始终存储在最适合它的位置。
而确定待存储数据的初始存储策略的步骤包括:
S1021:根据基准画像和修正画像对应的数据存储需求,确定待存储数据的初始存储方法;
S1022:根据初始存储方法与存储设备的存储位置对应关系,以及存储设备的当前存储能力,确定待存储数据的初始存储位置。
在S1021至S1022的实施方式中,基准画像和修正画像分别代表了数据存储的主要和次要需求。基于这些需求,考虑数据的敏感性、时效性等因素。根据数据存储需求,选择适当的存储方法。这可以包括云存储、本地存储、分布式存储等。示例:如果基准画像强调了高度的安全性,初始存储方法可能选择使用加密强化的云存储服务。
在处理数据存储的需求时,需要考虑两个主要方面:基准画像和修正画像。基准画像代表了数据存储的主要需求,反映了数据的核心特性;而修正画像则代表了次要需求,用于满足某些特定场景或特殊情况下的存储需求。基准画像的确定需要考虑数据的敏感性、访问频率、数据量等多个因素。例如,对于高度敏感的数据,需要选择安全性更高的存储方式,如本地存储或者强加密的云存储服务。而对于大量数据的存储,则可能需要选择具有大容量和高扩展性的存储解决方案,如分布式存储系统。修正画像的设定则更加灵活,它可以针对特定场景或特殊需求进行调整。例如,对于时效性要求高且需要快速访问的数据,可以选择具有低延迟特性的存储服务,如缓存存储或内存存储。而对于需要长时间保留的数据,则可以选择成本较低、寿命较长的存储介质,如磁带存储或光盘存储。在选择具体的存储方法时,还需要考虑数据的重要性、价值以及业务需求等因素。例如,对于安全性要求高和敏感性的关键业务数据,可能需要选择具有高可用性和高可靠性的存储解决方案,如双活或多活数据中心。而对于非核心业务数据,则可以选择较为经济实惠的存储方案,如冷存储或归档存储。
在确定初始存储方法的过程中,存储方法可能涉及不同的存储设备,例如云服务器、本地服务器或其他网络存储设备。示例:如果选择云存储,对应的存储设备可能是特定云服务提供商的服务器。考虑所选存储设备的当前存储能力,确保其足以满足待存储数据的需求。示例:如果待存储数据量很大,确保选择的云服务提供商具有足够的存储容量。根据存储方法、存储设备的对应关系和存储设备的当前能力,确定数据的初始存储位置。示例:选择将敏感性较高的数据存储在加密强化的云服务器上,以确保安全性。
S103:向第二服务器发送数据获取请求,以使得第二服务器向第一服务器反馈终端设备的历史存储偏好画像。
在本实施方式中,第一服务器在确定待存储数据的多个初始存储策略之后,向第二服务器发送数据获取请求,以使得第二服务器向第一服务器反馈终端设备的历史存储偏好画像。该数据请求包含由终端设备的标识信息,终端设备的标识信息在终端设备上待存储数据的过程中一同发送给第一服务器,第二服务器中央存储库,存储终端用户的当前和历史数据,用于创建终端用户的存储偏好画像。第二服务器在接收到第一服务器发送的数据获取请求之后,以终端设备的标识信息为索引,查找其对应的历史存储偏好画像,并将其发送给第一服务器。第一服务器可以为负责管理数据存储的存储服务器,第二服务器可以负责管理终端设备行为数据的云服务器。
S104:根据终端设备的历史存储偏好画像,对每个初始存储策略进行偏好程度评估,并将偏好程度评估分值最高的初始存储策略,确定为目标存储策略。
在本实施方式中,针对每个初始存储策略,综合考虑历史存储偏好和策略的特性,进行偏好程度评估。选择终端设备过去认可和使用最多的存储方式,以提高用户体验和满足其习惯。通过这种方式,可以更贴近用户的需求和偏好,使得目标存储策略更符合终端用户的使用习惯,提高数据访问和存储的效率。其具体的步骤包括:
S1041:根据历史存储偏好画像和存储特性画像的第一方向的匹配度,确定初始存储策略的第一评价分数,其中,第一方向为历史存储偏好画像和存储特性画像正相关方向,第一评价分数与第一方向的相关性呈正相关;
S1042:根据历史存储偏好画像和存储特性画像的第二方向的匹配度,确定初始存储策略的第二评价分数,其中,第二方向为历史存储偏好画像和存储特性画像负相关方向,第二评价分数与第二方向的相关性呈正相关;
S1043:根据第一评价分数和第二评价分数,确定每个初始存储策略的偏好程度评估分值。
在S1041至S1043的实施方式中,通过两个方向的评价分数来确定初始存储策略的偏好程度。第一方向是指历史存储偏好和存储特性画像在正相关方向上的匹配度。正相关表示两者之间的趋势是一致的。根据历史存储偏好和存储特性画像在第一方向上的匹配度,给出第一评价分数。分数与匹配度正相关。示例:如果历史存储偏好显示用户更倾向于使用本地存储,而初始存储策略对应的存储特性画像对应的推荐的存储方法为本地存储,则第一评价分数可以较高。反之,如果历史存储偏好显示用户更倾向于使用本地存储,而初始存储策略对应的存储特性画像对应的推荐的存储方法为云存储,则第一评价分数可以较低。
第二方向是指历史存储偏好和存储特性画像在负相关方向上的匹配度。负相关表示两者之间的趋势相反。根据历史存储偏好和存储特性画像在第二方向上的匹配度,给出第二评价分数。分数与匹配度正相关。示例:如果历史存储偏好显示用户不喜欢使用基于云的存储,而初始存储策略对应的存储特性画像中对应的推荐的存储方法中不推荐使用云存储方法,则第二评价分数可以较高,反之,如果历史存储偏好显示用户不喜欢使用基于云的存储方法,而初始存储策略对应的存储特性画像中对应的推荐的存储方法中不推荐使用本地存储,则第二评价分数可以较低。结合第一评价分数和第二评价分数,可以确定每个初始存储策略的偏好程度评估分值。示例:如果第一评价分数高,第二评价分数也高,说明初始存储策略在正向匹配和反向匹配两方面都匹配得较好,偏好程度评估分值可能较高。
S105:将目标存储策略发送至终端设备,并接收终端设备反馈的满意度评价等级,并在满意度评价等级大于阈值时,根据目标存储策略对待存储数据进行存储。
在本实施方式中,一旦确定了目标存储策略,将把包含这一策略的提示信息发送给用户。这个提示信息会详细告知用户待存储数据将以何种形式进行存储,以及存储在哪个位置。这样,用户可以清晰地了解到自己的数据存储情况,从而做出更为明智的决策。接下来,用户可以根据当前给出的目标存储策略,对第一服务器提供的服务进行满意度评价。
满意度评价等级是一个等级体系,用于衡量用户对服务的满意度。它包括不同的级别,例如满意、基本满意、不满意等,也可以使用数字、字母等符号进行评估。为了确保用户满意度,设定了一个阈值。当用户反馈的满意度评价等级大于这个阈值时,说明用户对当前的存储服务较为满意,可以按照既定的目标存储策略对待存储数据进行处理。这种方式有助于提高服务质量,确保用户在使用过程中获得良好的体验。
在一种可行的实施方式中,方法还包括:在满意度评价等级小于等于阈值时,第一服务器迭代执行根据偏好程度评估分值重新确定目标存储策略,将目标存储策略发送至终端设备的步骤。
在满意度评价等级小于等于阈值时,第一服务器将启动迭代过程,以根据偏好程度评估分值重新确定目标存储策略。当意度评价等级小于等于阈值时,第一服务器会通过迭代执行根据偏好程度评估分值重新确定目标存储策略,并将这些策略发送至终端设备。
在一种可行的实施方式中,在根据目标存储策略对待存储数据进行存储之后,方法还包括:将目标策略和对应的满意度评价等级发送至第二服务器;第二服务器根据目标策略和对应的满意度评价等级,对终端设备的历史存储偏好画像进行动态更新。
在本实施方式中,在完成实际存储后,第一服务器将目标存储策略和对应的满意度评价等级发送至第二服务器。这个步骤的目的是将实际的存储决策反馈给服务器,以便服务器能够了解系统是如何根据用户需求进行动态调整的。将目标存储策略的具体内容和用户对这个策略的满意度评价等级传递给第二服务器。可以包括存储策略的详细参数、应用的规则等信息。第二服务器根据接收到的目标存储策略和对应的满意度评价等级,对终端设备的历史存储偏好画像进行动态更新。这意味着服务器会根据用户的实际反馈,不断地调整和改进存储偏好画像,以更好地反映用户的喜好和需求。
本申请实施例提供的基于大数据的数据存储方法,通过接收终端设备发送的待存储数据并分析其多维存储特性。这意味着系统能够考虑到不同数据的特点,例如数据的大小、访问频率、重要性等。通过对这些特性的综合考虑,可以更准确地确定存储策略,满足不同数据的不同需求。 基于多维存储特性,系统确定待存储数据的初始存储策略。这样可以在一开始就根据数据的性质为其选择一个适当的存储方式,提高存储效率。 通过向第二服务器发送数据获取请求,获取终端设备的历史存储偏好画像。这允许系统了解用户在不同场景下的存储偏好,包括过去的存储选择和习惯。根据历史存储偏好画像,系统对每个初始存储策略进行偏好程度评估。选择偏好程度评估分值最高的初始存储策略作为目标存储策略。这使得系统能够根据用户过去的偏好调整存储策略,提高满足用户需求的准确性。 将目标存储策略发送至终端设备,并接收终端设备反馈的满意度评价等级。只有在满意度评价等级大于阈值时,系统才会根据目标存储策略对待存储数据进行实际存储。这确保了用户对存储方案的满意度,从而提高了整体系统的用户体验。结合历史存储偏好画像,更好地满足企业中不同人员和应用场景下的数据存储请求,提高存储系统的智能性和适应性。
以上结合图1详细说明了本申请实施例提供的基于大数据的数据存储方法。参阅图2,以下详细说明用于执行本申请实施例提供的基于大数据的数据存储方法的系统。
该系统包括:
接收模块,201,用于接收终端设备发送的待存储数据,并确定待存储数据的多维存储特性;
初始策略确定模块202,用于根据多维存储特性,确定待存储数据的至少一个初始存储策略;
请求模块203,用于向第二服务器发送数据获取请求,以使得第二服务器向第一服务器反馈终端设备的历史存储偏好画像;
评估模块204,用于根据终端设备的历史存储偏好画像,对每个初始存储策略进行偏好程度评估,并将偏好程度评估分值最高的初始存储策略,确定为目标存储策略;
执行模块205,用于将目标存储策略发送至终端设备,并接收终端设备反馈的满意度评价等级,并在满意度评价等级大于阈值时,根据目标存储策略对待存储数据进行存储。
可选地,接收模块包括:
多维评估评分确定子模块,用于确定待存储数据的敏感度特性评分、时效特性评分以及安全特性评分;
存储特性画像构建子模块,用于根据敏感度特性评分、时效特性评分以及安全特性评分以及对应的权重,构建待存储数据的存储特性画像,存储特性画像用于表征待存储数据的多维存储特性。
可选地,存储特性画像构建子模块包括:
画像构成评分确定单元,用于根据每种存储特性维度的特性评分以及对应的权重,确定每种存储特性维度的画像构成评分,画像构成评分用于表征每种存储特性维度对存储特性画像的重要程度;
画像组合单元,用于将画像构成评分最高的存储特性维度确定为存储特性画像的基准画像,将画像构成评分非最高的任意一个存储特性维度确定为存储特性画像的修正画像。
可选地,多维评估评分确定子模块包括:
第一敏感度特性评分单元,用于根据待存储数据中的敏感词数量和敏感词出现频率,确定待存储数据的外在敏感度特性评分;
第二敏感度特性评分单元,用于根据待存储数据中上下文关联关系,确定待存储数据的数据关联性,并根据数据关联性,确定待存储数据的内在敏感度特性评分;
综合评分单元,用于根据外在敏感度特性评分和内在敏感度特性评分,确定待存储数据的敏感度特性评分。
可选地,初始策略确定模块包括:
初始存储方法确定子模块,用于根据基准画像和修正画像对应的数据存储需求,确定待存储数据的初始存储方法;
初始存储位置确定子模块,用于根据初始存储方法与存储设备的存储位置对应关系,以及存储设备的当前存储能力,确定待存储数据的初始存储位置。
可选地,评估模块,包括:
第一评估子模块,用于根据历史存储偏好画像和存储特性画像的第一方向的匹配度,确定初始存储策略的第一评价分数,其中,第一方向为历史存储偏好画像和存储特性画像正相关方向,第一评价分数与第一方向的相关性呈正相关;
第二评估子模块,用于根据历史存储偏好画像和存储特性画像的第二方向的匹配度,确定初始存储策略的第二评价分数,其中,第二方向为历史存储偏好画像和存储特性画像负相关方向,第二评价分数与第二方向的相关性呈正相关;
第三评估子模块,用于根据第一评价分数和第二评价分数,确定每个初始存储策略的偏好程度评估分值。
可选地,系统还包括迭代模块,迭代模块用于在满意度评价等级小于等于阈值时,第一服务器迭代执行根据偏好程度评估分值重新确定目标存储策略,将目标存储策略发送至终端设备的步骤。
上述实施例,可以全部或部分地通过软件、硬件(如电路)、固件或其他任意组合来实现。当使用软件实现时,上述实施例可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行计算机指令或计算机程序时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程系统。计算机程序或指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质。半导体介质可以是固态硬盘。
应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,其中A,B可以是单数或者复数。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系,但也可能表示的是一种“和/或”的关系,具体可参考前后文进行理解。
本申请中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a, b, c, a-b, a-c, b-c, 或a-b-c,其中a,b,c可以是单个,也可以是多个。
应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、系统和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、系统和方法,可以通过其它的方式实现。例如,以上所描述的系统实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,系统或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (4)

1.一种基于大数据的数据存储方法,其特征在于,应用于第一服务器,所述方法包括:
接收终端设备发送的待存储数据,并确定所述待存储数据的多维存储特性,所述多维存储特性至少包括敏感度特性、时效特性以及安全特性,所述确定所述待存储数据的多维存储特性包括:
确定所述待存储数据的敏感度特性评分、时效特性评分以及安全特性评分;
根据所述敏感度特性评分、时效特性评分以及安全特性评分以及对应的权重,构建所述待存储数据的存储特性画像,所述存储特性画像用于表征所述待存储数据的多维存储特性;
根据所述多维存储特性,确定所述待存储数据的至少一个初始存储策略;
向第二服务器发送数据获取请求,以使得所述第二服务器向所述第一服务器反馈所述终端设备的历史存储偏好画像;
根据所述终端设备的历史存储偏好画像,对每个所述初始存储策略进行两个方向偏好程度评估,并将偏好程度评估分值最高的所述初始存储策略,确定为目标存储策略;
将所述目标存储策略发送至所述终端设备,并接收所述终端设备反馈的满意度评价等级,并在所述满意度评价等级大于阈值时,根据所述目标存储策略对所述待存储数据进行存储;
所述根据所述终端设备的历史存储偏好画像,对每个所述初始存储策略进行两个方向偏好程度评估包括:
根据所述历史存储偏好画像和存储特性画像的第一方向的匹配度,确定所述初始存储策略的第一评价分数,其中,所述第一方向为所述历史存储偏好画像和所述存储特性画像正相关方向,所述第一评价分数与所述第一方向的相关性呈正相关;
根据所述历史存储偏好画像和存储特性画像的第二方向的匹配度,确定所述初始存储策略的第二评价分数,其中,所述第二方向为所述历史存储偏好画像和所述存储特性画像负相关方向,所述第二评价分数与所述第二方向的相关性呈正相关;
根据所述第一评价分数和所述第二评价分数,确定每个所述初始存储策略的偏好程度评估分值;
所述确定所述待存储数据的敏感度特性评分包括:
根据所述待存储数据中的敏感词数量和敏感词出现频率,确定所述待存储数据的外在敏感度特性评分;
根据所述待存储数据中上下文关联关系,确定所述待存储数据的数据关联性,并根据所述数据关联性,确定所述待存储数据的内在敏感度特性评分;
根据所述外在敏感度特性评分和所述内在敏感度特性评分,确定所述待存储数据的敏感度特性评分;
所述存储特性画像包括基准画像和修正画像,所述根据所述敏感度特性评分、时效特性评分以及安全特性评分以及对应的权重,构建所述待存储数据的存储特性画像,构建所述待存储数据的存储特性画像包括:
根据每种存储特性维度的特性评分以及对应的权重,确定每种存储特性维度的画像构成评分,所述画像构成评分用于表征每种存储特性维度对所述存储特性画像的重要程度;
将所述画像构成评分最高的存储特性维度确定为所述存储特性画像的所述基准画像,将所述画像构成评分非最高的任意一个存储特性维度确定为所述存储特性画像的所述修正画像;
在所述满意度评价等级小于等于阈值时,所述第一服务器迭代执行根据所述偏好程度评估分值重新确定所述目标存储策略,将所述目标存储策略发送至所述终端设备的步骤;
在根据所述目标存储策略对所述待存储数据进行存储之后,所述方法还包括:
将目标策略和对应的满意度评价等级发送至所述第二服务器;
所述第二服务器根据目标策略和对应的满意度评价等级,对所述终端设备的历史存储偏好画像进行动态更新。
2.根据权利要求1所述的方法,其特征在于,所述初始存储策略包括初始存储位置和初始存储方法,所述根据所述多维存储特性,确定所述待存储数据的至少一个初始存储策略包括:
根据所述基准画像和所述修正画像对应的数据存储需求,确定所述待存储数据的初始存储方法;
根据所述初始存储方法与存储设备的存储位置对应关系,以及所述存储设备的当前存储能力,确定所述待存储数据的初始存储位置。
3.根据权利要求1所述的方法,其特征在于,所述第一服务器包括存储服务器,所述第二服务器包括云服务器。
4.一种基于大数据的数据存储系统,其特征在于,所述系统包括:
接收模块,用于接收终端设备发送的待存储数据,并确定所述待存储数据的多维存储特性;
初始策略确定模块,用于根据所述多维存储特性,确定所述待存储数据的至少一个初始存储策略;
请求模块,用于向第二服务器发送数据获取请求,以使得所述第二服务器向第一服务器反馈所述终端设备的历史存储偏好画像;
评估模块,用于根据所述终端设备的历史存储偏好画像,对每个所述初始存储策略进行偏好程度评估,并将偏好程度评估分值最高的所述初始存储策略,确定为目标存储策略;
执行模块,用于将所述目标存储策略发送至所述终端设备,并接收所述终端设备反馈的满意度评价等级,并在所述满意度评价等级大于阈值时,根据所述目标存储策略对所述待存储数据进行存储;
所述接收模块包括:
多维评估评分确定子模块,用于确定待存储数据的敏感度特性评分、时效特性评分以及安全特性评分;
存储特性画像构建子模块,用于根据敏感度特性评分、时效特性评分以及安全特性评分以及对应的权重,构建待存储数据的存储特性画像,存储特性画像用于表征待存储数据的多维存储特性;
所述评估模块,包括:
第一评估子模块,用于根据历史存储偏好画像和存储特性画像的第一方向的匹配度,确定初始存储策略的第一评价分数,其中,第一方向为历史存储偏好画像和存储特性画像正相关方向,第一评价分数与第一方向的相关性呈正相关;
第二评估子模块,用于根据历史存储偏好画像和存储特性画像的第二方向的匹配度,确定初始存储策略的第二评价分数,其中,第二方向为历史存储偏好画像和存储特性画像负相关方向,第二评价分数与第二方向的相关性呈正相关;
第三评估子模块,用于根据第一评价分数和第二评价分数,确定每个初始存储策略的偏好程度评估分值;
接收模块包括:
多维评估评分确定子模块,用于确定待存储数据的敏感度特性评分、时效特性评分以及安全特性评分;
存储特性画像构建子模块,用于根据敏感度特性评分、时效特性评分以及安全特性评分以及对应的权重,构建待存储数据的存储特性画像,存储特性画像用于表征待存储数据的多维存储特性;
所述存储特性画像构建子模块包括:
画像构成评分确定单元,用于根据每种存储特性维度的特性评分以及对应的权重,确定每种存储特性维度的画像构成评分,画像构成评分用于表征每种存储特性维度对存储特性画像的重要程度;
画像组合单元,用于将画像构成评分最高的存储特性维度确定为存储特性画像的基准画像,将画像构成评分非最高的任意一个存储特性维度确定为存储特性画像的修正画像;
多维评估评分确定子模块包括:
第一敏感度特性评分单元,用于根据待存储数据中的敏感词数量和敏感词出现频率,确定待存储数据的外在敏感度特性评分;
第二敏感度特性评分单元,用于根据待存储数据中上下文关联关系,确定待存储数据的数据关联性,并根据数据关联性,确定待存储数据的内在敏感度特性评分;
综合评分单元,用于根据外在敏感度特性评分和内在敏感度特性评分,确定待存储数据的敏感度特性评分;
系统还包括迭代模块,迭代模块用于在满意度评价等级小于等于阈值时,第一服务器迭代执行根据偏好程度评估分值重新确定目标存储策略,将目标存储策略发送至终端设备的步骤。
CN202410309748.3A 2024-03-19 2024-03-19 基于大数据的数据存储方法及系统 Active CN117908803B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410309748.3A CN117908803B (zh) 2024-03-19 2024-03-19 基于大数据的数据存储方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410309748.3A CN117908803B (zh) 2024-03-19 2024-03-19 基于大数据的数据存储方法及系统

Publications (2)

Publication Number Publication Date
CN117908803A CN117908803A (zh) 2024-04-19
CN117908803B true CN117908803B (zh) 2024-07-23

Family

ID=90692508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410309748.3A Active CN117908803B (zh) 2024-03-19 2024-03-19 基于大数据的数据存储方法及系统

Country Status (1)

Country Link
CN (1) CN117908803B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119211608A (zh) * 2024-09-30 2024-12-27 重庆捷旭科技有限公司 用于庭审的流媒体数据编码、解码及存储方法
CN120353412A (zh) * 2025-06-25 2025-07-22 北京大数据先进技术研究院 一种基于数据内容识别的分类存储方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11068162B1 (en) * 2019-04-09 2021-07-20 Pure Storage, Inc. Storage management in a cloud data store
CN116467759A (zh) * 2022-12-29 2023-07-21 中移动信息技术有限公司 数据存储策略的确定方法、装置、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12189648B2 (en) * 2017-10-23 2025-01-07 Electronics And Telecommunications Research Institute Apparatus and method for managing integrated storage
EP3669263B1 (en) * 2019-09-12 2022-03-02 Advanced New Technologies Co., Ltd. Log-structured storage systems
CN111183450B (zh) * 2019-09-12 2024-04-19 创新先进技术有限公司 日志结构存储系统
CN113297135B (zh) * 2021-02-10 2025-04-04 阿里巴巴集团控股有限公司 数据处理方法以及装置
CN116974470A (zh) * 2023-07-18 2023-10-31 中国移动通信集团江苏有限公司 数据迁移方法、装置、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11068162B1 (en) * 2019-04-09 2021-07-20 Pure Storage, Inc. Storage management in a cloud data store
CN116467759A (zh) * 2022-12-29 2023-07-21 中移动信息技术有限公司 数据存储策略的确定方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN117908803A (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
CN117908803B (zh) 基于大数据的数据存储方法及系统
US11651084B2 (en) Methods and systems for determining software risk scores
US8250040B2 (en) Storage or removal actions based on priority
US9503517B1 (en) Data volume placement techniques
US8983913B2 (en) System and method for business-driven archiving
US11914595B2 (en) Virtual warehouse query monitoring and reporting
US12361026B2 (en) Query alerts generation for virtual warehouse
US20250348496A1 (en) Dynamic Query Allocation to Virtual Warehouses
US9378230B1 (en) Ensuring availability of data in a set being uncorrelated over time
US20250232227A1 (en) Systems And Methods For Quantifying Change Between Machine Learning Models
CA2977302C (en) Cloud collaboration and management application
US20100131317A1 (en) Organization assessment and representation system and method
CN120045516A (zh) 一种档案信息存储方法及系统
US12450003B2 (en) Machine learning facets for dataset preparation in storage devices
US10606901B1 (en) Data disposition services orchestrated in an information management infrastructure
CA3225840C (en) Virtual warehouse query monitoring, dynamic query allocation, and query alerts generation
US20260003957A1 (en) Developing Forensic Projections For Data Volumes Using Snapshots
US20250328547A1 (en) Data Integration Evaluation and Profiling in a Database System
CN113297381B (zh) 题库的数据组织方法、装置及电子设备
JP5160379B2 (ja) セキュリティ劣化防止装置
EP4371014A1 (en) Virtual warehouse query monitoring, dynamic query allocation, and query alerts generation
CN116821479A (zh) 审计程序推荐方法、装置和计算机可读存储介质
CN120469639A (zh) 一种数据的分布式存储的方法以及系统
CN119493798A (zh) 数据汇总处理方法、装置、计算机设备及存储介质
CN121365372A (zh) 数据管理方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Data storage method and system based on big data

Granted publication date: 20240723

Pledgee: WEBANK Co.,Ltd.

Pledgor: Shenzhen Shuangyin Technology Co.,Ltd.

Registration number: Y2024980042875