CN103077127B - 一种确定数据迁移对象的方法和装置 - Google Patents
一种确定数据迁移对象的方法和装置 Download PDFInfo
- Publication number
- CN103077127B CN103077127B CN201210590184.2A CN201210590184A CN103077127B CN 103077127 B CN103077127 B CN 103077127B CN 201210590184 A CN201210590184 A CN 201210590184A CN 103077127 B CN103077127 B CN 103077127B
- Authority
- CN
- China
- Prior art keywords
- data
- threshold
- storage
- screening
- migration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明适用于互联网通信领域，提供了一种确定数据迁移对象的方法，其包括每个存储层次都存在已设置好的阈值，将已估值数据的热度值与所述阈值比较，进行局部筛选得到局部筛选的结果；将所述局部筛选的结果，结合各存储层次的剩余空间再次进行筛选，获得所述数据迁移对象；所述数据迁移结束后，根据迁移结果更新所述阈值。本发明利用局部筛选和全局筛选相结合，首先在各存储层次上自行筛选，再对通过局部筛选的数据对象进行进一步筛选，结合各级存储的剩余空间，确定数据迁移的对象，从而能够使得迁移的对象尽可能少且能够适应系统负载的动态变化，还可以充分利用优质的存储资源。
Description
技术领域
本发明属于互联网通信领域，尤其涉及一种确定数据迁移对象的方法和装置。
背景技术
随着数据的爆炸性增长，存储海量数据的集群应运而生。因为集群中存储的数据量很大，有的已达PB级，同一时刻可能会有大量的数据访问。因此，数据的存放位置是否合理，直接影响到数据的访问延迟。
数据迁移，指的是数据在不同存储介质之间的移动过程。通常情况下，数据迁移发生的次数都比较少，目的也多与系统升级或数据备份有关。但是在分级存储系统中的数据迁移，发生的次数比较多，其目的是为了调整数据的位置，使得系统中所有数据的访问性能达到最优。分级存储系统中通常会按照存储介质的性能将其分层，存储层次越高，配置越高，访问性能越好。
要完成数据迁移，第一步要选择迁移的对象，第二步是选择迁移的源与目标，最后一步才是真正的数据移动。这是一个先制定计划然后执行的过程，其中前两步就是制定计划的过程，直接关乎到整个数据迁移的效果。选择迁移对象的依据是一个数值，这个数值是对数据访问“热度”的直接反映，数值越高，热度越高。而数据迁移的目标就是，把“热度”高的数据保留在较高的存储层次上，“热度”低的数据保留在较低的存储层次上。
迁移是需要耗费资源的，包括硬件资源与网络资源，这种消耗会对系统带来一定的负面影响，因此迁移的数据量应越少越好。为此，很多迁移策略就设定了阈值，即只有数据的热度值超过了阈值，才会迁移，不超过阈值，不会迁移，这样设置，确实使得数据迁移量减少了很多，但是阈值的设置比较难。因为系统中的负载可能发生着较大的变化，使得数据的热度也发生着很大的变化，如果阈值不作相应的改变，就难以适应，因此需要有动态的阈值。不同的阈值的设置方法不一致，有的阈值只是个相对值，例如较低存储级上的数据热度值只要高于其上一存储层次上60%的数据的热度值，该数据就可以上迁，这种阈值确实是一种动态的阈值，但是如果在较高存储级上的数据都是高热度的，但是其剩余空间还有很多，下面的数据不可以迁入。没有充分利用优质的存储资源。因此，筛选迁移对象的时候，必须考虑到存储级的剩余空间，这样才能保证存储资源的合理利用。另外，也有些迁移策略在筛选迁移对象的时候，使用的是“规则集”，即只要迁移对象满足了规则，就进行迁移，这种“规则集”需要很专业的人士来设定，而且针对单一的应用场景，难以适应动态变化的负载。
发明内容
本发明实施例提供一种确定数据迁移对象的方法和装置，旨在解决当前确定数据迁移对象的方法没有充分利用优质的存储资源，使得在剩余空间还有很多时，下面的数据不能迁入。同时还存在难以适应动态变化的负载的问题。
为此，本发明实施例提供了如下技术方案：
一种确定数据迁移对象的装置，包括：
局部筛选对象选取模块，用于选取各存储层次上所有的已估值数据，作为局部筛选的对象；
局部筛选模块，与局部筛选对象选取模块相连接，其每个存储层次都存在已设置好的阈值，用于将所述已估值数据的热度值与所述阈值比较，进行局部筛选得到局部筛选的结果；
全局筛选模块，与局部筛选模块相连接，用于将所述局部筛选的结果，结合各存储层次的剩余空间再次进行筛选，过滤掉不需要迁移的数据对象，获得所述数据迁移的对象；
更新模块，用于所述数据迁移结束后，根据迁移结果更新所述阈值。
本发明实施例还提供了一种确定数据迁移对象的方法，包括以下步骤：
A：每个存储层次都存在已设置好的阈值，将已估值数据的热度值与所述阈值比较，进行局部筛选得到局部筛选的结果；
B：将所述局部筛选的结果，结合各存储层次的剩余空间再次进行筛选，获得所述数据迁移对象；
C：所述数据迁移结束后，根据迁移结果更新所述阈值。
与现有技术相比，本发明的实施例具有如下优点：
本发明利用局部筛选和全局筛选相结合，首先在各存储层次上自行筛选，再对通过局部筛选的结果进行进一步筛选，结合各级存储的剩余空间，确定数据迁移的对象，从而能够使得迁移的对象尽可能少且能够适应系统负载的动态变化，还可以充分利用优质的存储资源。
附图说明
图1是本发明实施例提供的确定数据迁移对象的方法流程图；
图2是本发明实施例提供的确定数据迁移对象的装置的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例提供的确定数据迁移对象的方法流程图，为了便于说明，仅示出了与本发明实施例相关的部分。
如图1所示，该方法包括以下步骤：
步骤101，每个存储层次都存在已设置好的阈值，将已估值数据的热度值与所述阈值比较，进行局部筛选得到局部筛选的结果。
可以理解的是，进行局部筛选时，选取各存储层次上所有的已估值数据，作为局部筛选的对象。具体的，分级存储系统中存在已估值数据，每个已估值数据都有热度值与之相对应，所述热度值可比较大小。
本实施例中，所述分级存储系统分为至少三个层次，从上到下依次是第一层，第二层，第三层，相当于一个金字塔的结构，且任何两个层次之间都可以进行数据迁移，即每个存储层次都可以往其他存储层次迁移数据。其中，第一层往第二层或第三层迁移，叫做下迁；第三层往第二层或第一层迁移，叫做上迁。
可以理解的是，三个层次的分级存储系统总共有6个数据迁移的方向。
具体的，所述阈值是个非负实数，可比较大小。
所述阈值包括上限阈值和下限阈值，优选的，首次将上限阈值设定为0，下限阈值设定为正无穷大。
具体的，将热度值大于上限阈值或小于下限阈值的所述已估值数据，作为局部筛选的结果。即将热度值小于上限阈值或大于下限阈值的数据筛掉。
步骤102，将所述局部筛选的结果，结合各存储层次的剩余空间再次进行筛选，过滤掉不需要迁移的数据对象，获得所述数据迁移对象。
具体的，将所述局部筛选获得的结果，按照其热度值的大小从大到小排列，与存储层次相匹配，然后往存储层次上尝试存放。
具体的，若所述存储层次上可以容纳所述数据，则存放成功；
具体的，若不能容纳所述数据，则所述数据向下一级存储层次进行尝试存放，直到所述数据均存放成功。
本实施例中，所述尝试存放是在不考虑数据原有存储位置的情况下，只根据其热度值和各级存储层次的剩余空间，确定其因有的存放位置。如果原有存储位置与因有的存放层次一致，则所述数据不需要迁移；如果原有存储位置与因有的存放层次不一致，则因有的存放位置为迁移目标。
剩余空间是指所述存储层次最佳使用空间及实际使用空间之间的差值。
一级存储的最佳使用空间与其全部使用空间的比值小于1，通常为80%，其余存储层次的使用空间与其全部使用空间的比值可根据实际情况进行调整。
步骤103，所述数据迁移结束后，根据迁移结果更新所述阈值。
优选的，所述数据迁移结束后，将所述上限阈值更新为本存储层次中上迁的数据中的最小热度值，下限阈值更新为本存储级中下迁的数据中的最大热度值。
优选的，若没有上迁或下迁发生，则维持该存储层次的阈值不变。
基于相同的构思，本发明实施例还提供一种确定数据迁移对象的装置，如图2所示，该装置包括：
局部筛选对象选取模块201，用于选取各存储层次上所有的已估值数据，作为局部筛选的对象。
具体的，系统中存在已估值的数据，每个已估值数据都有热度值与之相对应，所述热度值可比较大小。
局部筛选模块202，与局部筛选对象选取模块201相连接，其每个存储层次都存在已设置好的阈值，用于将所述已估值数据的热度值与所述阈值比较，进行局部筛选得到局部筛选的结果。
可以理解的是，进行局部筛选时，选取各存储层次上所有的已估值数据，作为局部筛选的对象。具体的，系统中存在已估值数据，每个已估值数据都有热度值与之相对应，所述热度值可比较大小。
具体的，阈值是个非负实数，可比较大小。
所述阈值包括上限阈值和下限阈值，优选的，首次将上限阈值设定为0，下限阈值设定为正无穷大。
具体的，将热度值大于上限阈值或小于下限阈值的所述已估值数据，作为局部筛选的结果。即将热度值小于上限阈值或大于下限阈值的数据筛掉。
全局筛选模块203，与所述局部筛选模块202相连接，用于将所述局部筛选的结果，结合各存储层次的剩余空间再次进行筛选，过滤掉不需要迁移的数据对象，获得所述数据迁移的对象。
具体的，将所述局部筛选获得的结果，按照其热度值的大小从大到小排列，与存储层次相匹配，然后往存储层次上尝试存放。
具体的，若所述存储层次上可以容纳所述数据，则存放成功；
具体的，若不能容纳所述数据，则所述数据向下一级存储层次进行尝试存放，直到所述数据均存放成功。
本实施例中，所述尝试存放是在不考虑数据原有存储位置的情况下，只根据其热度值和各级存储层次的剩余空间，确定其因有的存放位置。如果原有存储位置与因有的存放层次一致，则所述数据不需要迁移；如果原有存储位置与因有的存放层次不一致，则因有的存放位置为迁移目标。
剩余空间是指所述存储层次最佳使用空间及实际使用空间之间的差值。
一级存储的最佳使用空间与其全部使用空间的比值小于1，通常为80％，其余存储层次的使用空间与其全部使用空间的比值可根据实际情况进行调整。
更新模块204，用于所述数据迁移结束后，根据迁移结果更新所述阈值。
优选的，所述数据迁移结束后，将所述上限阈值更新为本存储层次中上迁的数据中的最小热度值，下限阈值更新为本存储级中下迁的数据中的最大热度值。
优选的，若没有上迁或下迁发生，则维持该存储层次的阈值不变。
本发明实施例利用局部筛选和全局筛选相结合，首先在各存储层次上自行筛选，再对通过局部筛选的结果进行进一步筛选，结合各级存储的剩余空间，确定数据迁移的对象，从而能够使得迁移的对象尽可能少且能够适应系统负载的动态变化，还可以充分利用优质的存储资源。
本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台终端设备（可以是手机，个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。
Claims (4)
1.一种确定数据迁移对象的方法，其特征在于，包括以下步骤：
A：每个存储层次都存在已设置好的阈值，将已估值数据的热度值与所述阈值比较，进行局部筛选得到局部筛选的结果；所述步骤A包括：
A1：所述阈值包括上限阈值和下限阈值，首次将上限阈值设定为0，下限阈值设定为正无穷大，所述阈值为可以比较大小的非负实数；
A2：将热度值大于上限阈值或小于下限阈值的所述已估值数据，作为所述局部筛选的结果；
B：将所述局部筛选的结果，结合各存储层次的剩余空间再次进行筛选，获得所述数据迁移对象；
所述步骤B包括：
B1：将所述局部筛选获得的数据，按照其热度值从大到小排列，然后往存储层次上尝试存放；所述尝试存放是在不考虑数据原有存储位置的情况下，只根据其热度值和各级存储层次的剩余空间，确定其因有的存放位置，如果原有存储位置与因有的存放层次一致，则所述数据不需要迁移；如果原有存储位置与因有的存放层次不一致，则因有的存放位置为迁移目标；
B2：若所述存储层次上可以容纳所述数据，则存放成功；
B3：若不能容纳所述数据，则所述数据向下一级存储层次进行尝试存放，直到所述数据均存放成功；
C：所述数据迁移结束后，根据迁移结果更新所述阈值；
所述步骤C包括：
C1：所述数据迁移结束后，将所述上限阈值更新为本存储层次中上迁的数据中的最小热度值，下限阈值更新为本存储级中下迁的数据中的最大热度值；
C2：若没有上迁或下迁发生，则维持该存储层次的阈值不变。
2.如权利要求1所述的确定数据迁移对象的方法，其特征在于，所述剩余空间是所述存储层次最佳使用空间及实际使用空间之间的差值。
3.如权利要求1所述的确定数据迁移对象的方法，其特征在于，一级存储的最佳使用空间与其全部使用空间的比值小于1。
4.一种确定数据迁移对象的装置，其特征在于，包括：
局部筛选对象选取模块，用于选取各存储层次上所有的已估值数据，作为局部筛选的对象；
局部筛选模块，与局部筛选对象选取模块相连接，其每个存储层次都存在已设置好的阈值，用于将所述已估值数据的热度值与所述阈值比较，进行局部筛选得到局部筛选的结果；具体地，所述阈值包括上限阈值和下限阈值，首次将上限阈值设定为0，下限阈值设定为正无穷大，所述阈值为可以比较大小的非负实数；将热度值大于上限阈值或小于下限阈值的所述已估值数据，作为所述局部筛选的结果；
所述局部筛选模块将所述局部筛选获得的数据，按照其热度值从大到小排列，然后往存储层次上尝试存放；若所述存储层次上可以容纳所述数据，则存放成功；若不能容纳所述数据，则所述数据向下一级存储层次进行尝试存放，直到所述数据均存放成功；所述尝试存放是在不考虑数据原有存储位置的情况下，只根据其热度值和各级存储层次的剩余空间，确定其因有的存放位置，如果原有存储位置与因有的存放层次一致，则所述数据不需要迁移；如果原有存储位置与因有的存放层次不一致，则因有的存放位置为迁移目标；全局筛选模块，与局部筛选模块相连接，用于将所述局部筛选的结果，结合各存储层次的剩余空间再次进行筛选，过滤掉不需要迁移的数据对象，获得所述数据迁移的对象；
更新模块，用于所述数据迁移结束后，根据迁移结果更新所述阈值；具体地，所述数据迁移结束后，将所述上限阈值更新为本存储层次中上迁的数据中的最小热度值，下限阈值更新为本存储级中下迁的数据中的最大热度值；
若没有上迁或下迁发生，则维持该存储层次的阈值不变。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210590184.2A CN103077127B (zh) | 2012-12-29 | 2012-12-29 | 一种确定数据迁移对象的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210590184.2A CN103077127B (zh) | 2012-12-29 | 2012-12-29 | 一种确定数据迁移对象的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103077127A CN103077127A (zh) | 2013-05-01 |
| CN103077127B true CN103077127B (zh) | 2016-05-11 |
Family
ID=48153659
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210590184.2A Active CN103077127B (zh) | 2012-12-29 | 2012-12-29 | 一种确定数据迁移对象的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103077127B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106507269B (zh) * | 2016-09-14 | 2020-02-07 | Oppo广东移动通信有限公司 | 一种数据迁移方法及终端设备 |
| CN106658353A (zh) * | 2016-09-14 | 2017-05-10 | 广东欧珀移动通信有限公司 | 一种数据迁移方法及终端设备 |
| CN108874311B (zh) * | 2018-05-29 | 2022-02-08 | 北京盛和大地数据科技有限公司 | 融合存储系统中的数据迁移方法和装置 |
| CN108810140B (zh) * | 2018-06-12 | 2021-09-28 | 湘潭大学 | 云存储系统中基于动态阈值调整的高性能分级存储优化方法 |
| CN116668380B (zh) * | 2023-07-28 | 2023-10-03 | 北京中科网芯科技有限公司 | 汇聚分流器设备的报文处理方法及装置 |
| CN120909533B (zh) * | 2025-10-13 | 2026-01-23 | 浪潮电子信息产业股份有限公司 | 一种数据搬移方法、系统及设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007280324A (ja) * | 2006-04-12 | 2007-10-25 | Hitachi Ltd | 計算機システム、管理計算機および仮想ストレージ装置 |
| CN102117248A (zh) * | 2011-03-09 | 2011-07-06 | 浪潮(北京)电子信息产业有限公司 | 一种缓存系统和在缓存系统中缓存数据的方法 |
| CN102122303A (zh) * | 2011-03-15 | 2011-07-13 | 浪潮(北京)电子信息产业有限公司 | 一种进行数据迁移的方法及服务系统及服务器设备 |
-
2012
- 2012-12-29 CN CN201210590184.2A patent/CN103077127B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007280324A (ja) * | 2006-04-12 | 2007-10-25 | Hitachi Ltd | 計算機システム、管理計算機および仮想ストレージ装置 |
| CN102117248A (zh) * | 2011-03-09 | 2011-07-06 | 浪潮(北京)电子信息产业有限公司 | 一种缓存系统和在缓存系统中缓存数据的方法 |
| CN102122303A (zh) * | 2011-03-15 | 2011-07-13 | 浪潮(北京)电子信息产业有限公司 | 一种进行数据迁移的方法及服务系统及服务器设备 |
Non-Patent Citations (1)
| Title |
|---|
| 海量存储系统中数据分级存储的关键技术研究;宋丽娜;《中国优秀硕士学位论文全文数据库 信息科技辑》;20120715(第7期);第35-38页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103077127A (zh) | 2013-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103077127B (zh) | 一种确定数据迁移对象的方法和装置 | |
| CN114756347B (zh) | 基于集群的服务器资源调度方法、装置、云平台及介质 | |
| CN104375897B (zh) | 基于最小相对负载不均衡度的云计算资源调度方法 | |
| CN103810047B (zh) | 动态改善逻辑分区的存储器亲和性 | |
| CN110673951B (zh) | 通用运行环境的拟态调度方法、系统及介质 | |
| CN106095531B (zh) | 云平台中一种基于等级和物理机负载的虚拟机调度方法 | |
| CN104484233B (zh) | 一种资源分配方法 | |
| CN102446115A (zh) | 一种虚拟机的动态部署方法 | |
| CN102968344A (zh) | 一种多虚拟机迁移调度的方法 | |
| JP6615342B2 (ja) | 分散データベースの負荷を平準化するための方法および装置 | |
| CN108183947A (zh) | 分布式缓存方法及系统 | |
| CN108241531A (zh) | 一种在集群中为虚拟机分配资源的方法和装置 | |
| CN103150122A (zh) | 一种磁盘缓存空间管理方法和装置 | |
| Ma et al. | vLocality: Revisiting data locality for MapReduce in virtualized clouds | |
| CN108519856A (zh) | 基于异构Hadoop集群环境下的数据块副本放置方法 | |
| CN110380906B (zh) | 一种大规模多维融合的虚拟网络映射方法 | |
| CN108259583B (zh) | 一种数据动态迁移方法及装置 | |
| CN105426255B (zh) | Hadoop大数据平台中基于网络I/O代价评估的ReduceTask数据本地性调度方法 | |
| CN106034144B (zh) | 一种基于负载均衡的虚拟资产数据存储方法 | |
| CN109189327A (zh) | 区块链数据的压缩处理方法和装置 | |
| CN108388471B (zh) | 一种基于双门限约束虚机迁移的管理方法 | |
| CN104683480A (zh) | 一种基于应用的分布式计算方法 | |
| CN104899072A (zh) | 基于虚拟化平台的细粒度资源调度系统及方法 | |
| CN110958192B (zh) | 一种基于虚拟交换机的虚拟数据中心资源分配系统及方法 | |
| Lin et al. | A workload-driven approach to dynamic data balancing in MongoDB |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230330 Address after: 518000 A-301, office building, Shenzhen Institute of advanced technology, No. 1068, Xue Yuan Avenue, Shenzhen University Town, Shenzhen, Guangdong, Nanshan District, China Patentee after: Shenzhen shen-tech advanced Cci Capital Ltd. Address before: 1068 No. 518055 Guangdong city in Shenzhen Province, Nanshan District City Xili University School Avenue Patentee before: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230424 Address after: 518000 b402, blocks a and B, Nanshan medical device Industrial Park, No. 1019, Nanhai Avenue, Yanshan community, merchants street, Nanshan District, Shenzhen, Guangdong Patentee after: Shenzhen hongzhituoxin venture capital enterprise (L.P.) Address before: 518000 A-301, office building, Shenzhen Institute of advanced technology, No. 1068, Xue Yuan Avenue, Shenzhen University Town, Shenzhen, Guangdong, Nanshan District, China Patentee before: Shenzhen shen-tech advanced Cci Capital Ltd. |
|
| TR01 | Transfer of patent right |