CN101976181A - 一种存储资源的管理方法及管理装置 - Google Patents
一种存储资源的管理方法及管理装置 Download PDFInfo
- Publication number
- CN101976181A CN101976181A CN2010105080409A CN201010508040A CN101976181A CN 101976181 A CN101976181 A CN 101976181A CN 2010105080409 A CN2010105080409 A CN 2010105080409A CN 201010508040 A CN201010508040 A CN 201010508040A CN 101976181 A CN101976181 A CN 101976181A
- Authority
- CN
- China
- Prior art keywords
- resource
- logical
- resource block
- logical resource
- raid array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims abstract description 51
- 238000003491 array Methods 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 17
- 238000000034 method Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 13
- 230000009471 action Effects 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 abstract description 2
- 208000018672 Dilatation Diseases 0.000 description 22
- 230000005012 migration Effects 0.000 description 19
- 238000013508 migration Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 9
- 238000013316 zoning Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 239000012634 fragment Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000002567 autonomic effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种存储资源的管理方法及网络存储系统,其中所述网络存储系统包括存储控制器以及多块磁盘,且使用磁盘创建至少一个Raid阵列,存储控制器的前端端口通过网络连接客户端主机,后端磁盘端口与所述磁盘相连。本发明的管理机制是通过预设大小资源块对阵列空间进行分块,建立相应的块表用以记录资源块是否被占用;创建逻辑资源时分配资源块并建立逻辑资源索引表以记录逻辑资源与资源块的对应关系;以资源块为单位对逻辑资源进行管理操作,并在管理操作完成之后更新所述块表以及逻辑资源索引表。本发明管理方法简单灵活,扩展性强,实现简洁且成本较低。
Description
技术领域
本发明涉及网络存储技术,尤其涉及一种存储资源的分层次管理技术。
背景技术
在涉及众多主机的数据存储的网络环境中,为了提高数据存储的可靠性和安全性,同时为了存储容量的扩展性和灵活性,网络存储技术应运而生。通常来说,网络存储系统的作用是为客户端PC机或者服务器(一般统称为主机或Host)提供可用的存储空间。
网络存储系统的核心是存储控制器(Controller),存储控制器进行数据处理并把数据写入到后端物理磁盘中。为提高写物理磁盘的性能以及提供数据冗余性,存储控制器通常支持独立磁盘冗余阵列(Raid)技术,根据Raid级别的不同可以提供各种级别的性能和可靠度,即可以保证多数情况下,一个或者多个磁盘的故障的情况下,其内的数据可以通过相应的校验算法进行恢复,即通常所说的Raid阵列重建。网络存储系统的前端可以通过IP网络或者FC网络与主机(Host)相连,为主机提供数据存储服务。在数据传输方面,以基于IP承载的网络存储系统为例,主机可以基于标准的ISCSI(互联网小型计算机系统接口)协议网络存储系统进行数据的读写操作。
为方便主机的数据读写,对主机屏蔽存储资源物理上的差异,可以通过虚拟化技术对物理存储资源进行抽象,在物理层面以上形成面向用户主机的逻辑资源,并且相应生成逻辑资源地址映射表,以记录逻辑地址与物理地址的映射关系。
对于用户的各种应用而言,每种应用需要存储和访问的数据都有生命周期,比如移动计费系统,每月手机的话费数据可能在数据生成后的三个月内被多次访问,在一年内偶尔被访问,再往后可能就无人问津了,成为了归档数据,但只有当它到了规定的年限,才能被删除。
对于网络存储系统而言,即使是同一个网络存储系统,磁盘类型、磁盘转速等影响磁盘的性能,在此基础上,组成Raid阵列的磁盘类型不同、磁盘数目不同、阵列Raid级别不同,Raid阵列的性能和可靠性也各不相同。因此出现了数据分层存储的概念。″分层″是指根据客户端对数据存储和访问的实际统计数据,将用户存储在网络存储系统中的数据在不同的Raid阵列上迁移,即把长时间不访问的数据自动迁移到速度较慢、成本较低的Raid阵列上,如SATA磁盘,以此来降低硬件成本;而把那些经常被访问或重要的数据放在速度较快、成本较高的Raid阵列上,如SAS磁盘、SSD磁盘,以此来提升性能。同时数据的迁移是在逻辑资源以下的层面进行的,整个过程对于用户来说是透明的,系统中的逻辑映射单元会根据迁移的结果未改变逻辑地址到物理地址的映射。
目前比较常见网络存储系统资源的分层管理技术有两种。一种是基于Raid阵列的段式管理,其层次结构如图1所示。基本的管理步骤如下:第一步:使用磁盘创建Raid阵列;第二步:使用Raid阵列的空闲段来创建逻辑资源,一个Raid阵列上可以创建多个逻辑资源,一个逻辑资源可分布在多个RAID。
在这种管理方式中,Raid阵列和逻辑资源是多对多的关系,因此存储空间管理比较灵活简单,为逻辑资源增加新的段即可。基于Raid阵列的段式管理,逻辑资源和Raid阵列都需要维护多对多的资源布局映射关系,每个段的大小取决于Raid阵列的空闲物理段大小和将要创建的逻辑资源大小,段的长度并不是固定的。然而这种管理技术存在一定的弊端。一方面,逻辑资源和Raid阵列上的段较多时,多次创建、删除逻辑资源后,将产生大量的碎片;另一方面,对于自动分层的需求,如果整段迁移,迁移的粒度会比较大,有可能无法在Raid阵列中找到段的大小能够满足需求的目标段;如果迁移部分数据,则可能需要将己有的段再切片,碎片更多,管理更复杂;总的看来,基于Raid阵列的段式管理支持自动分层的代价较大。
另一种现有的管理技术是逻辑资源和Raid阵列合一的管理方式,其层次结构如图2所示。其基本管理步骤如下:第一步:使用磁盘创建磁盘组,磁盘组代表一组磁盘,不是Raid阵列实体;第二步:基于磁盘组创建Raid阵列,创建的Raid阵列实体也是客户端可直接访问的存储空间(逻辑资源)。
在这种管理方式中,,阵列实体和逻辑资源实体合一,数据路径短,性能较优。对于逻辑资源和Raid阵列合一的管理方式,逻辑资源就是一个Raid阵列,一个Raid阵列只能基于一个磁盘组创建,然而这种管理技术虽然比较简化,但其存在若干明显的技术问题:第一,对于逻辑资源扩容,不管是在同一个磁盘组上扩容(即同一个Raid的磁盘空间不是连续分布的),还是使用不同的磁盘组扩容,都需要在逻辑资源上额外增加一个虚拟化层,实现复杂;第二,对于自动分层的需求,因为逻辑资源管理的最小粒度就是Raid阵列,因此只能整个Raid阵列一起迁移,迁移的粒度太大。在此基础上,一种改进方案是,基于逻辑资源划分子卷,实现基于子卷的迁移,这种方案细化了迁移的粒度,但是需要在已有的逻辑资源上增加子卷管理层;另外仅在已有的逻辑资源上划分子卷,没有把空闲空间统一管理起来。综上所述,目前用户迫切需要一种管理方式简单,扩容灵活方便并且在自动分层的情况下数据的迁移易于实现,同时代价较低的存储分层管理技术。
发明内容
有鉴于此,本发明的目的在于提供一种管理方式简单,扩容灵活方便并且在自动分层的情况下数据的迁移易于实现,同时代价较低的存储分层管理技术。为达到上述目的本发明提供技术方案为:
一种存储资源的管理方法,其应用于网络存储系统中,其中所述网络存储系统包括存储控制器以及多块磁盘,且使用磁盘创建至少一个独立冗余磁盘阵列(Raid阵列),所述存储控制器的前端端口通过网络连接主机,所述存储控制器的后端磁盘端口与所述磁盘相连;其中该方法包括:
A,根据预设的资源块大小对上述Raid阵列的可用的存储空间进行分块,在所述存储控制器内对上述Raid阵列建立相应的块表,所述块表用以记录上述Raid阵列的每一资源块是否被占用;
B,创建逻辑资源时为逻辑资源分配至少一个资源块,并在逻辑资源占用的Raid阵列的块表中将分配给该逻辑资源的资源块标记为占用状态;
C,在所述存储控制器内为上述逻辑资源建立逻辑资源索引表以记录逻辑资源与其自身分配到的资源块的对应关系;
D,以资源块为单位对上述逻辑资源进行管理操作,并在管理操作完成之后更新所述块表以及逻辑资源索引表。
优选地,所述以资源块为单位对逻辑资源进行管理操作具体为:以资源块为单位为待扩容的逻辑资源分配更多的资源块,并更新用于扩容的Raid阵列的块表以及所述逻辑资源的逻辑资源索引表;或者以资源块为单位将逻辑资源内的数据从一个Raid阵列迁移到另一个Raid阵列上,并更新两个Raid阵列的块表以及所述逻辑资源索引表,其中两个Raid阵列的资源块大小相同。
优选地,所述步骤D之后还包括:E,对管理操作执行相应的逻辑地址到物理地址的映射变更操作。
优选地,其中所述网络存储系统的Raid阵列被划分到至少第一和第二两个存储池中,所述两个存储池均包括至少一个Raid阵列,所述第一存储池内预设的资源块大小与第二存储池内预设的资源块大小相同或不同;所述步骤A中为逻辑资源分配资源块以及步骤D中逻辑资源管理操作都是以同一个存储池为界限执行的。
本发明还提供一种网络存储系统管理装置,用于执行网络存储系统内的资源管理操作,其中网络存储系统包括存储控制器以及多块磁盘,且使用磁盘创建至少一个独立冗余磁盘阵列(Raid阵列),所述存储控制器的前端端口通过网络连接主机,所述存储控制器的后端磁盘端口与所述磁盘相连;其特征在于,该管理装置包括:
资源块管理单元,用于根据预设的资源块大小对上述Raid阵列的可用的存储空间进行分块,在所述存储控制器内对上述Raid阵列建立相应的块表,所述块表用以记录每一资源块是否被占用;
管理初始化单元,用于创建逻辑资源时为逻辑资源分配至少一个资源块,并在逻辑资源占用的Raid阵列的块表中将分配给该逻辑资源的资源块标记为占用状态;并在所述存储控制器内建立逻辑资源索引表以记录逻辑资源与其自身分配到的资源块的对应关系;
管理操作处理单元,用于以资源块为单位对逻辑资源进行管理操作,并在管理操作完成之后更新所述块表以及逻辑资源索引表。
优选地,所述管理操作处理单元以资源块为单位对逻辑资源进行管理操作具体为:以资源块为单位为待扩容的逻辑资源分配更多的资源块,并更新用于扩容的Raid阵列的块表以及所述逻辑资源的逻辑资源索引表;或者以资源块为单位将逻辑资源内的数据从一个Raid阵列迁移到另一个Raid阵列上,并更新两个Raid阵列的块表以及所述逻辑资源索引表,其中所述两个Raid阵列的资源块大小相同。
优选地,所述管理装置还包括逻辑映射单元,用于对管理操作执行相应的逻辑地址到物理地址的映射变更操作。
优选地,其中所述网络存储系统的Raid阵列被划分到至少第一和第二两个存储池中,所述两个存储池均包括至少一个Raid阵列,所述第一存储池内预设的资源块大小与第二存储池内预设的资源块大小相同或不同,所述资源块管理单元为逻辑资源分配的资源块以同一个存储池为界限执行,所述管理操作处理模块以同一个存储池为界限执行管理操作。
附图说明
图1是现有的段式管理结构层次图。
图2是现有的逻辑资源与Raid阵列合一管理方式的结构层次图。
图3是本发明网络存储系统管理装置逻辑结构图。
图4是本发明网络存储系统中资源块分配示意图。
图5是本发明网络存储系统中资源块分配的另一示意图。
图6是本发明逻辑资源索引表的示意图。
图7是本发明逻辑资源扩容过程示意图。
图8是本发明逻辑资源数据迁移示意图。
具体实施方式
本发明聚焦于存储资源的管理技术,其可以解决现有技术中在存储资源管理上的切实问题,同时能够跟上层的应用以及底层的技术无缝融合起来。本发明较佳的实施方式是采用软件技术实现,当然并不排除一些软硬件结合或者固件的方式来实现,以下结合一些实例来介绍本发明典型的处理流程。在本发明中如无特殊说明,而存储系统即为网络存储系统,如果没有特别说明,存储空间是指逻辑层面上存储空间。
请参考图3,本发明网络存储系统管理装置在网络存储系统中运行主要包括以下步骤:
步骤101,在网络存储系统中利用多个磁盘创建至少一个Raid阵列;请对照图3,这一步骤由阵列管理单元10执行;在本实施方式中网络存储系统中包括存储控制器以及至少第一及第二独立冗余磁盘阵列(Raid阵列),所述存储控制器的前端端口通过网络连接主机,所述存储控制器的后端端口与所述Raid阵列中的各个物理磁盘相连;创建Raid阵列的过程可以参考现有的Raid技术,其中本发明对Raid级别并没有特别要求,可以互不相同,只要存储控制器内的Raid模块支持即可。对于扩容来说,系统内并不一定需要多个阵列;而对于数据迁移来说,一般来说至少涉及两个阵列,并且两个在可靠性、成本或者访问速度三种参数上至少存在一种或者多种差异;当然存储系统中同样可能存在多个其他阵列上述三个参数完全相同的。需要说明的在本发明中,与现有技术一样,不同级别的Raid阵列向用户或者管理层提供的相同的存储空间时,是需要屏蔽不同级别Raid阵列的校验开销上的差异,也就是说实际上占用的磁盘空间大小并不相同,但对于逻辑资源管理操作或者用户的操作来说这种差异并不可见。
步骤102,根据预设的资源块大小对上述每一个Raid阵列的可用的存储空间进行分块,在所述存储控制器内建立相应的块表20,所述块表用以记录每一资源块是否被占用;这一步骤由资源块管理单元30执行。这里预设的资源块大小,可以是用户通过资源块管理单元配置的,也可以是软件事先配置好默认参数。请参考图4并结合图5,系统需要为阵列管理单元10提供的每个Raid阵列都维护相应的块表,因为块是固定长度,且由于每个块和资源分配相关的特性是已占用和未占用(即空闲),因此实现上可以使用bitmap表,即一个bit标记一个块,一方面可提高检索效率,另一方面可节省块表占用的空间。比如将一个64GB的Raid阵列1按照1GB的块大小划分为64块,Raid阵列1的块表仅需要8个字节的空间。每个bit位为1的表示该资源块已经被占用,而0则表示没有被占用。
步骤103,创建逻辑资源(LUN)时为LUN分配至少一个资源块,并在逻辑资源占用的Raid阵列的块表中将分配给该逻辑资源的资源块标记为占用状态;
步骤104,在LUN创建之后,为每个LUN建立逻辑资源索引表40以记录逻辑资源与其自身分配到的资源块的对应关系;步骤103以及步骤104由管理初始化单元50执行。
请参考图6,逻辑资源索引表中记录了Raid阵列1的哪些资源块被分配给了LUN1,以索引标记A0B10为例,其表示Raid阵列1的第十个资源块,即块表中第二行从左到右第三个位置所表示的资源块。虽然图6所示的情形是LUN1对应的所有资源块都在Raid阵列中。很容易理解的走,LUN1对应的资源块可以分布在不同的Raid阵列中。
步骤105,D,以资源块为单位对逻辑资源进行管理操作,并在管理操作完成之后更新所述块表以及逻辑资源索引表。
步骤105由管理操作处理单元60来执行。具体来说,在Raid阵列块表以及逻辑索引表创建之后,即可开始以资源块为单位对逻辑资源进行管理了。本发明以最典型的逻辑资源扩容和逻辑资源数据迁移为例进行说明。对于逻辑资源扩容需要以资源块为单位为待扩容的逻辑资源分配更多的资源块,并更新用于扩容的Raid阵列的块表以及所述逻辑资源的逻辑资源索引表;对于数据迁移来说,同样以资源块为单位将逻辑资源内的数据从一个Raid阵列迁移到另一个Raid阵列上,并更新两个Raid阵列的块表以及所述逻辑资源索引表,其中参与迁移的两个Raid阵列的资源块大小相同。
无论是逻辑资源扩容还是数据的迁移,其遵循本发明基本的管理流程,以上述资源块为单位的管理操作模式。
请参考图7,以逻辑资源的扩容为例:
在优选的实施方式下网络存储系统中所有的空间按照定长的块统一管理,因此有扩容需求的时候管理操作处理单元首先要在本步骤要判断网络存储系统剩余的可用空间是否满足扩容的需求;如果满足,继续处理;如果不满足,提示错误;显而易见的是,这里所说的可用空间是指所有Raid阵列的可用空间。
步骤I、根据本次扩容需要增加的容量,选择使用哪些Raid阵列进行扩容,检索所选Raid阵列的bitmap表,找到空闲块(即未被占用的资源块),同时修改逻辑资源的索引区,更新所述块表以及逻辑资源索引表,对于被使用的资源块应该重新标记为已占用,对于逻辑资源表的更新则需要增加逻辑资源和选用的资源块的映射关系;在本步骤对于Raid阵列的选择并无特殊要求,并且Raid阵列中每个块的选择也无特殊要求。
步骤II、重复步骤I直到完成本次扩容的需求。
需要补充说明的是,管理操作处理单元在执行扩容的过程中,可以做一些优化处理,比如说如果发现某个Raid阵列存在连续的空闲块,可在一个步骤中同时扩容多个块,优化效率。图7虚线部分清晰并形象地表示出对LUN1扩容了8GB,LU容量从16GB交为24GB。
请参考图8,再以逻辑资源的数据迁移为例:
如背景技术中所提及的那样,一般来说自动分层的基础是IO统计,根据预设的策略或者算法找到访问的热点(即频繁访问的数据)和冷点(即长时间不访问的数据),然后根据预设的策略执行数据迁移。需要说明的是,基于IO的统计只是业界流行的数据分层理念,然而用户对于数据的分层可能并非基于数据的冷热,因此性能统计仅仅是一种常见的数据迁移依据,然而用户也可不以此为基础进行数据迁移,因为用户对数据具有完全的控制权。同样以块为但未来执行数据的迁移这种管理操作,本实施方式在步骤105中管理操作执行单元需要按照块为单位进行性能统计,区分出冷点数据和热点数据,然后按照资源块为单元执行数据迁移,这样迁移的粒度较小。具体来说在触发数据迁移的时候:首先根据预设的策略,找到迁移的目标Raid阵列;比如说对于冷点数据可以选择读写性能和/或成本较低的Raid阵列作为目标Raid阵列,而对于热点数据可以选择读写性能更高的Raid阵列作为目标Raid阵列。
然后检索目标Raid阵列的bitmap表,找到空闲块,标记该块为可用,然后从源块同步数据到目标快;与扩容例子一样的是,如果目标Raid阵列存在连续的空闲块,可以同时迁移多个块,优化效率。
数据同步完成后,更新所述块表以及逻辑资源索引表,具体为修改源Raid阵列和目标Raid阵列的块表,修改源块所在Raid阵列的bitmap表,标记源块为空闲块,才把该块的空间释放出来,继续使用。对于逻辑资源索引表进行修改,使用目标资源块替换源资源块的映射关系。请参考图8所示,根据统计数据,判断LUN1的热点数据是A1B11和A1B15,因此把这两块的数据从第一Raid阵列(Array1)迁移到第二Raid阵列(Array2)上,对应Array2的Block1和Block2。图8的虚线部分非常形象地展示出了数据迁移的过程。数据迁移的处理除了同步数据之外,仅需要修改bitmap表中的标记和逻辑资源的索引区,未引入碎片,也没有引入新的管理实体,可根据网络存储系统的性能统计数据和预设的策略实现整个网络存储系统内存储空间的统一管理。
与现有的管理技术一样,管理操作会触发更底层的逻辑映射操作,一般的网络存储系统的逻辑映射单元70都会为管理操作执行相应的逻辑地址到物理地址的映射变更操作。比如说,当数据发生迁移时,逻辑地址到物理地址的映射需要进行变更,以使的数据迁移的过程对于网络上主机来说是不可见的,不影响用户的正常读写操作。
以上步骤101至步骤105给出了本发明一般的处理流程以及相应的逻辑单元。为了更进一步优化本发明的方案,为实现更加灵活的管理方式在本发明的管理机制实现层面引入存储池的管理模式。存储池的引入主要带来两个方面的变化:
存储资源的划分:
首先需要把所述网络存储系统的Raid阵列被划分到第一和第二存储池中,两个存储池都需要包括至少一个Raid阵列,所述第一存储池内预设的资源块大小与第二存储池内预设的资源块大小相同或不同。有的用户希望在整个系统中所有的资源块大小是相同的方便管理,但用户同时可能希望把整个Raid阵列资源划分为至少两部分,分别面向不同种类的业务,比如说根据业务的重要性进行划分,优先保证重要业务的管理操作。有的用户则希望把整个Raid阵列划分成两部分面向不同业务,考虑到面向的业务自身特性差异的原因,用户希望资源块大小需要根据业务的差异进行不同的设置,提升管理操作的效率。
分配资源块以及管理操作:
由于存储资源进行了划分,当需要动用存储资源时,需要以存储池作为管理域。具体来说,步骤103中为逻辑资源分配资源块以及步骤105中逻辑资源管理操作是以同一个存储池为界限执行的。以一个存储池为界限执行可以理解为,分配给逻辑资源的资源块都属于同一个存储池,而管理操作涉及的资源块也都属于同一个存储池,管理方法执行前后逻辑资源所拥有的资源块都在同一个存储池内。
以下通过一个实例来介绍存储池管理模式。举例来说,假设存储系统包括四个Raid阵列,第一和第二Raid阵列属于第一存储池,而第三和第四Raid阵列属于第二存储池,每个存储池内部阵列的Raid级别可以互不相同,每个存储池包括的两个阵列在可靠性、成本或者访问速度三种参数上至少有一种存在差异,当然存储池内可以包括多个阵列在参数上是完全相同的。第一存储池的资源块大小为1G,第二存储池的资源块大小为2G。所谓按照存储池为单位来管理就是说逻辑资源所有的数据都在同一个存储池中,所述资源块管理单元为逻辑资源分配的资源块在同一存储池中,所述管理操作处理模块根据逻辑资源所属的存储池执行相应的管理操作。具体来说需要在步骤102创建逻辑资源时选择一个存储池,并且从该存储池中选择逻辑资源的资源块分配给逻辑资源,相应地在步骤105中管理操作处理单元对逻辑资源时进行管理操作,不在是从整个存储系统的所有Raid阵列中选择资源块,而是在逻辑资源所属的存储池所包括Raid阵列中选择资源块执行相应的管理。或者用更为通俗的方式来理解存储池,就好像网络存储系统的所有资源在管理层面被划分两部分,对这两部分的管理方式完全相同,只不过其中资源块的大小不同而已。
以上所述仅仅为本发明较佳的实现方式,任何基于本发明精神所做出的等同的修改皆应涵盖于本发明的权利要求范围中。
Claims (8)
1.一种存储资源的管理方法,其应用于网络存储系统中,其中所述网络存储系统包括存储控制器以及多块磁盘,且使用磁盘创建至少一个独立冗余磁盘阵列(Raid阵列),所述存储控制器的前端端口通过网络连接主机,所述存储控制器的后端磁盘端口与所述磁盘相连;其特征在于,该方法包括:
A,根据预设的资源块大小对上述Raid阵列的可用的存储空间进行分块,在所述存储控制器内对上述Raid阵列建立相应的块表,所述块表用以记录上述Raid阵列的每一资源块是否被占用;
B,创建逻辑资源时为逻辑资源分配至少一个资源块,并在逻辑资源占用的Raid阵列的块表中将分配给该逻辑资源的资源块标记为占用状态;
C,在所述存储控制器内为上述逻辑资源建立逻辑资源索引表以记录逻辑资源与其自身分配到的资源块的对应关系;
D,以资源块为单位对上述逻辑资源进行管理操作,并在管理操作完成之后更新所述块表以及逻辑资源索引表。
2.根据权利要求1所述的方法,其特征在于,所述以资源块为单位对逻辑资源进行管理操作具体为:以资源块为单位为待扩容的逻辑资源分配更多的资源块,并更新用于扩容的Raid阵列的块表以及所述逻辑资源的逻辑资源索引表;或者以资源块为单位将逻辑资源内的数据从一个Raid阵列迁移到另一个Raid阵列上,并更新两个Raid阵列的块表以及所述逻辑资源索引表,其中两个Raid阵列的资源块大小相同。
3.根据权利要求1所述的方法,其特征在于,所述步骤D之后还包括:E,对管理操作执行相应的逻辑地址到物理地址的映射变更操作。
4.根据权利要求1-4所述的方法,其特征在于,其中所述网络存储系统的Raid阵列被划分到至少第一和第二两个存储池中,所述两个存储池均包括至少一个Raid阵列,所述第一存储池内预设的资源块大小与第二存储池内预设的资源块大小相同或不同;所述步骤A中为逻辑资源分配资源块以及步骤D中逻辑资源管理操作都是以同一个存储池为界限执行的。
5.一种网络存储系统管理装置,用于执行网络存储系统内的资源管理操作,其中网络存储系统包括存储控制器以及多块磁盘,且使用磁盘创建至少一个独立冗余磁盘阵列(Raid阵列),所述存储控制器的前端端口通过网络连接主机,所述存储控制器的后端磁盘端口与所述磁盘相连;其特征在于,该管理装置包括:
资源块管理单元,用于根据预设的资源块大小对上述Raid阵列的可用的存储空间进行分块,在所述存储控制器内对上述Raid阵列建立相应的块表,所述块表用以记录每一资源块是否被占用;
管理初始化单元,用于创建逻辑资源时为逻辑资源分配至少一个资源块,并在逻辑资源占用的Raid阵列的块表中将分配给该逻辑资源的资源块标记为占用状态;并在所述存储控制器内建立逻辑资源索引表以记录逻辑资源与其自身分配到的资源块的对应关系;
管理操作处理单元,用于以资源块为单位对逻辑资源进行管理操作,并在管理操作完成之后更新所述块表以及逻辑资源索引表。
6.根据权利要求5所述的管理装置,其特征在于,所述管理操作处理单元以资源块为单位对逻辑资源进行管理操作具体为:以资源块为单位为待扩容的逻辑资源分配更多的资源块,并更新用于扩容的Raid阵列的块表以及所述逻辑资源的逻辑资源索引表;或者以资源块为单位将逻辑资源内的数据从一个Raid阵列迁移到另一个Raid阵列上,并更新两个Raid阵列的块表以及所述逻辑资源索引表,其中所述两个Raid阵列的资源块大小相同。
7.根据权利要求5所述的管理装置,其特征在于,还包括:逻辑映射单元,用于对管理操作执行相应的逻辑地址到物理地址的映射变更操作。
8.根据权利要求5-7所述的管理装置,其特征在于,其中所述网络存储系统的Raid阵列被划分到至少第一和第二两个存储池中,所述两个存储池均包括至少一个Raid阵列,所述第一存储池内预设的资源块大小与第二存储池内预设的资源块大小相同或不同,所述资源块管理单元为逻辑资源分配的资源块以同一个存储池为界限执行,所述管理操作处理模块以同一个存储池为界限执行管理操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010105080409A CN101976181A (zh) | 2010-10-15 | 2010-10-15 | 一种存储资源的管理方法及管理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010105080409A CN101976181A (zh) | 2010-10-15 | 2010-10-15 | 一种存储资源的管理方法及管理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101976181A true CN101976181A (zh) | 2011-02-16 |
Family
ID=43576069
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2010105080409A Pending CN101976181A (zh) | 2010-10-15 | 2010-10-15 | 一种存储资源的管理方法及管理装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101976181A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102123176A (zh) * | 2011-03-17 | 2011-07-13 | 杭州宏杉科技有限公司 | 一种网络存储系统空间分配管理方法及装置 |
| CN102147714A (zh) * | 2011-03-17 | 2011-08-10 | 杭州宏杉科技有限公司 | 一种网络存储系统的管理方法及装置 |
| CN102158538A (zh) * | 2011-02-18 | 2011-08-17 | 杭州宏杉科技有限公司 | 一种网络存储系统的管理方法及装置 |
| CN102164165A (zh) * | 2011-02-18 | 2011-08-24 | 杭州宏杉科技有限公司 | 一种网络存储系统的管理方法及装置 |
| CN102982182A (zh) * | 2012-12-21 | 2013-03-20 | 浙江宇视科技有限公司 | 一种数据存储规划方法及装置 |
| CN103034592A (zh) * | 2012-12-05 | 2013-04-10 | 华为技术有限公司 | 数据处理方法和装置 |
| CN103186350A (zh) * | 2011-12-31 | 2013-07-03 | 北京快网科技有限公司 | 混合存储系统及热点数据块的迁移方法 |
| CN103218173A (zh) * | 2013-03-27 | 2013-07-24 | 华为技术有限公司 | 存储控制方法及装置 |
| CN104020964A (zh) * | 2014-06-18 | 2014-09-03 | 浪潮集团有限公司 | 一种嵌入式视频存储方法 |
| CN107122136A (zh) * | 2017-04-25 | 2017-09-01 | 浙江宇视科技有限公司 | 一种容量获取方法及装置 |
| CN107168793A (zh) * | 2017-05-10 | 2017-09-15 | 郑州云海信息技术有限公司 | 一种虚拟存储空间的动态流动方法 |
| CN107800730A (zh) * | 2016-08-30 | 2018-03-13 | 阿里巴巴集团控股有限公司 | 一种虚拟磁盘的扩容方法以及装置 |
| CN108121600A (zh) * | 2016-11-30 | 2018-06-05 | 中兴通讯股份有限公司 | 磁盘阵列控制器、输入输出io数据处理方法及装置 |
| WO2022028208A1 (zh) * | 2020-08-07 | 2022-02-10 | 华为技术有限公司 | 独立磁盘冗余阵列卡,处理命令的方法,存储装置和系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6173377B1 (en) * | 1993-04-23 | 2001-01-09 | Emc Corporation | Remote data mirroring |
| CN100349139C (zh) * | 2004-02-19 | 2007-11-14 | 华为技术有限公司 | 一种快照过程中向源卷写数据的方法 |
| CN101620569A (zh) * | 2008-07-03 | 2010-01-06 | 英业达股份有限公司 | 一种逻辑卷存储空间的扩展方法 |
| CN101840308A (zh) * | 2009-10-28 | 2010-09-22 | 创新科存储技术有限公司 | 一种分级存储系统及其逻辑卷管理方法 |
-
2010
- 2010-10-15 CN CN2010105080409A patent/CN101976181A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6173377B1 (en) * | 1993-04-23 | 2001-01-09 | Emc Corporation | Remote data mirroring |
| CN100349139C (zh) * | 2004-02-19 | 2007-11-14 | 华为技术有限公司 | 一种快照过程中向源卷写数据的方法 |
| CN101620569A (zh) * | 2008-07-03 | 2010-01-06 | 英业达股份有限公司 | 一种逻辑卷存储空间的扩展方法 |
| CN101840308A (zh) * | 2009-10-28 | 2010-09-22 | 创新科存储技术有限公司 | 一种分级存储系统及其逻辑卷管理方法 |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102164165B (zh) * | 2011-02-18 | 2013-06-12 | 杭州宏杉科技有限公司 | 一种网络存储系统的管理方法及装置 |
| CN102158538B (zh) * | 2011-02-18 | 2013-06-12 | 杭州宏杉科技有限公司 | 一种存储资源的管理方法及装置 |
| CN102158538A (zh) * | 2011-02-18 | 2011-08-17 | 杭州宏杉科技有限公司 | 一种网络存储系统的管理方法及装置 |
| CN102164165A (zh) * | 2011-02-18 | 2011-08-24 | 杭州宏杉科技有限公司 | 一种网络存储系统的管理方法及装置 |
| CN102123176B (zh) * | 2011-03-17 | 2015-05-06 | 杭州宏杉科技有限公司 | 一种网络存储系统空间分配管理方法及装置 |
| CN102123176A (zh) * | 2011-03-17 | 2011-07-13 | 杭州宏杉科技有限公司 | 一种网络存储系统空间分配管理方法及装置 |
| CN102147714A (zh) * | 2011-03-17 | 2011-08-10 | 杭州宏杉科技有限公司 | 一种网络存储系统的管理方法及装置 |
| CN102147714B (zh) * | 2011-03-17 | 2015-12-16 | 杭州宏杉科技有限公司 | 一种网络存储系统的管理方法及装置 |
| CN103186350B (zh) * | 2011-12-31 | 2016-03-30 | 北京快网科技有限公司 | 混合存储系统及热点数据块的迁移方法 |
| CN103186350A (zh) * | 2011-12-31 | 2013-07-03 | 北京快网科技有限公司 | 混合存储系统及热点数据块的迁移方法 |
| CN103034592A (zh) * | 2012-12-05 | 2013-04-10 | 华为技术有限公司 | 数据处理方法和装置 |
| WO2014094568A1 (zh) * | 2012-12-21 | 2014-06-26 | 浙江宇视科技有限公司 | 一种数据存储规划方法及装置 |
| CN102982182A (zh) * | 2012-12-21 | 2013-03-20 | 浙江宇视科技有限公司 | 一种数据存储规划方法及装置 |
| CN102982182B (zh) * | 2012-12-21 | 2017-02-08 | 浙江宇视科技有限公司 | 一种数据存储规划方法及装置 |
| US9852168B2 (en) | 2012-12-21 | 2017-12-26 | Zhejiang Uniview Technologies Co., Ltd | Data storage planning |
| CN103218173A (zh) * | 2013-03-27 | 2013-07-24 | 华为技术有限公司 | 存储控制方法及装置 |
| CN103218173B (zh) * | 2013-03-27 | 2016-03-09 | 华为技术有限公司 | 存储控制方法及装置 |
| CN104020964A (zh) * | 2014-06-18 | 2014-09-03 | 浪潮集团有限公司 | 一种嵌入式视频存储方法 |
| CN107800730A (zh) * | 2016-08-30 | 2018-03-13 | 阿里巴巴集团控股有限公司 | 一种虚拟磁盘的扩容方法以及装置 |
| CN107800730B (zh) * | 2016-08-30 | 2021-01-29 | 阿里巴巴集团控股有限公司 | 一种虚拟磁盘的扩容方法以及装置 |
| CN108121600A (zh) * | 2016-11-30 | 2018-06-05 | 中兴通讯股份有限公司 | 磁盘阵列控制器、输入输出io数据处理方法及装置 |
| WO2018099241A1 (zh) * | 2016-11-30 | 2018-06-07 | 中兴通讯股份有限公司 | 磁盘阵列控制器、数据处理方法及其装置 |
| CN108121600B (zh) * | 2016-11-30 | 2022-11-29 | 中兴通讯股份有限公司 | 磁盘阵列控制器、输入输出io数据处理方法及装置 |
| CN107122136A (zh) * | 2017-04-25 | 2017-09-01 | 浙江宇视科技有限公司 | 一种容量获取方法及装置 |
| CN107168793A (zh) * | 2017-05-10 | 2017-09-15 | 郑州云海信息技术有限公司 | 一种虚拟存储空间的动态流动方法 |
| WO2022028208A1 (zh) * | 2020-08-07 | 2022-02-10 | 华为技术有限公司 | 独立磁盘冗余阵列卡,处理命令的方法,存储装置和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101976181A (zh) | 一种存储资源的管理方法及管理装置 | |
| EP3832451B1 (en) | Data migration method and apparatus | |
| CN106687911B (zh) | 不损害数据完整性的在线数据移动 | |
| US6895467B2 (en) | System and method for atomizing storage | |
| US9600181B2 (en) | Live configurable storage | |
| CN101751228B (zh) | 磁盘阵列的实现方法和数据读写方法及装置 | |
| CN100419664C (zh) | 存储网络中执行备份操作的方法 | |
| US8566550B2 (en) | Application and tier configuration management in dynamic page reallocation storage system | |
| US7478177B2 (en) | System and method for automatic reassignment of shared storage on blade replacement | |
| CN101840308B (zh) | 一种分级存储系统及其逻辑卷管理方法 | |
| JP5944587B2 (ja) | 計算機システム及び制御方法 | |
| US20170177224A1 (en) | Dynamic storage transitions employing tiered range volumes | |
| CN102221982B (zh) | 块级虚拟化存储设备上实现重复数据删除的方法及系统 | |
| JP2017091548A (ja) | 分散格納システム及び分散格納方法並びに分散施設 | |
| WO2011045831A1 (en) | Storage apparatus and its control method | |
| US20120278560A1 (en) | Pre-fetching in a storage system that maintains a mapping tree | |
| WO2016051512A1 (ja) | 分散型ストレージシステム | |
| WO2007009910A2 (en) | Virtualisation engine and method, system, and computer program product for managing the storage of data | |
| CN106354431A (zh) | 一种数据存储方法及装置 | |
| US20060212495A1 (en) | Method and system for storing data into a database | |
| JP2016118821A (ja) | ストレージ管理装置、ストレージ管理方法およびストレージ管理プログラム | |
| CN101997919B (zh) | 一种存储资源的管理方法及管理装置 | |
| CN117032596B (zh) | 数据访问方法及装置、存储介质及电子设备 | |
| US11789622B2 (en) | Method, device and computer program product for storage management | |
| KR101679303B1 (ko) | 비대칭 분산 파일 시스템 및 그 데이터 처리 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20110216 |
|
| RJ01 | Rejection of invention patent application after publication |