[go: up one dir, main page]

CN111857547B - 用于管理数据存储的方法、设备和计算机可读介质 - Google Patents

用于管理数据存储的方法、设备和计算机可读介质 Download PDF

Info

Publication number
CN111857547B
CN111857547B CN201910354284.7A CN201910354284A CN111857547B CN 111857547 B CN111857547 B CN 111857547B CN 201910354284 A CN201910354284 A CN 201910354284A CN 111857547 B CN111857547 B CN 111857547B
Authority
CN
China
Prior art keywords
disk
slice
entry
physical
disk slice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910354284.7A
Other languages
English (en)
Other versions
CN111857547A (zh
Inventor
卓保特
徐鑫磊
刘友生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EMC Corp
Original Assignee
EMC IP Holding Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EMC IP Holding Co LLC filed Critical EMC IP Holding Co LLC
Priority to CN201910354284.7A priority Critical patent/CN111857547B/zh
Priority to US16/819,715 priority patent/US11500746B2/en
Publication of CN111857547A publication Critical patent/CN111857547A/zh
Application granted granted Critical
Publication of CN111857547B publication Critical patent/CN111857547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2094—Redundant storage or storage space
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/85—Active fault masking without idle spares

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开的实施例旨提供一种用于管理数据存储的方法、设备和计算机程序产品。该方法包括：响应于接收到使与第一物理盘上的第一盘切片相关联的逻辑存储单元与所述第一盘切片解除关联的请求，确定与所述第一盘切片相关联的信息；基于所述信息，生成与所述第一盘切片相对应的第一条目和第二条目；将所述第一条目添加到失效盘切片队列中，以使得存储在所述第一盘切片上的数据能够被清除；以及将所述第二条目添加到空闲盘切片队列中，以使得所述第一盘切片能够与另一逻辑存储单元关联。以此方式，能够显著改善系统的写I/O性能，增加了SSD的生命周期。

Description

用于管理数据存储的方法、设备和计算机可读介质
技术领域
本公开的实施例总体涉及数据存储，更具体地，涉及一种用于管理数据存储的方法、设备和计算机程序产品。
背景技术
固态盘(SSD)将数据存储在闪存单元中。该闪存单元被分组为通常4到16KB的页面并且被组合成通常为128到512页的块。例如512KB的闪存单元，其具有128页的块中的4KB的页。闪存单元只能在空的时候直接写入，否则必须先擦除它们。由于硬件限制，擦除命令总是影响整个块。当需要再次覆盖写入的页面时，SSD需要启动读取-擦除-修改周期：整个块的内容存储在缓存中，然后整个块被擦除，然后被覆盖的页面被写入缓存的块，然后才能将整个更新的块写入闪存介质。这种现象称为写入放大。
“解除关联(UNMAP)”(其在ATA命令集中称为TRIM，在SCSI命令集中称为UNMAP)允许操作系统通知SSD哪些数据块不再使用并且可以在内部擦除。取消关联后，SSD可以在数据再次写入块时直接擦除块，从而减少写入放大。UNMAP还增加了SSD的生命周期，因为SSD的后台碎片回收中的数据移动量减少了。
映射器(Mapper)可以启动解除关联的过程。当映射器发现逻辑存储单元的数据无用时，会向发送解除逻辑存储单元和与该逻辑存储单元相关联的盘切片的请求，以释放盘切片的资源。在当前的解除关联实现中，仅仅是盘切片被释放，从而使得这些盘切片被标记为空闲以用于后续的分配。然而，在该过程中对后端SSD不执行任何操作。也就是说，解除映射的逻辑存储单元的数据仍然存储在SSD上，尽管数据已经失效。
发明内容
本公开的实施例旨在提供一种用于数据处理的方法、设备和计算机程序产品，以解决现有技术中存在的问题。
在本公开的第一方面，提供一种用于管理数据存储的方法。所述方法包括响应于接收到使与第一物理盘上的第一盘切片相关联的逻辑存储单元与所述第一盘切片解除关联的请求，确定与所述第一盘切片相关联的信息；基于所述信息，生成与所述第一盘切片相对应的第一条目和第二条目；将所述第一条目添加到失效盘切片队列中，以使得存储在所述第一盘切片上的数据能够被清除；以及将所述第二条目添加到空闲盘切片队列中，以使得所述第一盘切片能够与另一逻辑存储单元关联。
在本公开的第二方面，提供一种用于管理数据存储的设备。所述设备包括至少一个处理器；以及与所述至少一个处理器耦合的存储器，所述存储器包含有存储于其中的指令，所述指令在被所述至少一个处理单元执行时，使得所述设备执行动作，所述动作包括：响应于接收到使与第一物理盘上的第一盘切片相关联的逻辑存储单元与所述第一盘切片解除关联的请求，确定与所述第一盘切片相关联的信息；基于所述信息，生成与所述第一盘切片相对应的第一条目和第二条目；将所述第一条目添加到失效盘切片队列中，以使得存储在所述第一盘切片上的数据能够被清除；以及将所述第二条目添加到空闲盘切片队列中，以使得所述第一盘切片能够与另一逻辑存储单元关联。
在本公开的第三方面，提供一种计算机程序产品，所述计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令，所述机器可执行指令在被执行时使机器执行上述第一方面所述的方法的步骤。
提供发明内容部分是为了简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开内容的关键特征或主要特征，也无意限制本公开内容的范围。
附图说明
通过参考附图阅读下文的详细描述，本公开的实施例的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例而非限制性的方式示出了本公开的若干实施例，其中：
图1示出了根据本公开的示例性的系统的示意图。
图2示出了能够实施本公开的实施例的示例性场景的示意图。
图3示出了根据本公开的实施例的方法300的流程图。
图4示出了根据本公开的实施例的失效盘切片队列的示意图。
图5示出了根据本公开的实施例的空闲盘切片队列的示意图。
图6示出了可以用来实施本公开的实施例的设备600的示意性框图。
在各个附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
在下文中，将参考附图详细描述本公开的各个示例性实施例。应当注意，这些附图和描述涉及的仅仅是作为示例性的实施例。应该指出的是，根据随后描述，很容易设想出此处公开的结构和方法的替换实施例，并且可以在不脱离本公开要求保护的原理的情况下使用这些替代实施例。
应当理解，给出这些示例性实施例仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。
在此使用的术语“包括”、“包含”及类似术语应该被理解为是开放性的术语，即“包括/包含但不限于”。术语“基于”是“至少部分地基于”。术语“一些实施例”表示“至少一些实施例”；术语“另一实施例”表示“至少一个另外的实施例”。其他术语的相关定义将在下文描述中给出。
图1示出了根据本公开的示例性的系统的示意图。如图1所示，系统100包括映射器102。映射器102用于将用户请求中的地址映射到存储数据的物理空间以便于用户读取或写入数据。
映射器102对上层应用可以提供预定大小的逻辑存储空间。在一些示例中，该逻辑存储空间的大小可以为8EB。上述示例仅是用于说明可以提供的逻辑存储空间的大小，而非对本公开的限定。可以基于需要设置任意大小的逻辑存储空间。
在映射器102中，可以采用任意合适的结构来维持逻辑地址与物理地址之间的映射。在一个示例中，其采用B+树来维持逻辑地址与物理地址之间的映射。该映射包括虚拟逻辑块到物理块的映射。虚拟逻辑块包括一个或多个节点。上述示例仅是用于说明，而非对本公开的限定。可以基于需要将映射器102内的逻辑地址与物理地址之间的映射关系设置为任意合适的结构。
在一个示例中，在该节点内存储物理块的地址。在一个示例中，该映射的最小粒度为4KB的页面。上述示例仅是用于说明，而非对本公开的限定。可以基于需要存储与物理块相关联的任意合适的信息和设置任意大小的映射粒度。
在一个示例中，如果映射器102接收到写请求，映射器102首先聚集足够多的4KB页面至一个2MB的物理大块(Physical Large Block，PLB)，然后以物理大块为单位执行写请求。而对于映射器102接收到读请求的情况，映射器102可以以小于等于2MB的物理地址为单位来执行读请求。
存储系统100还包括盘阵列104。在一个示例中，盘阵列可以为独立冗余盘阵列(RAID)。在另一示例中，盘阵列可以为任意合适类型的盘阵列。盘阵列具有预定的宽度。盘阵列的宽度是指组成盘阵列中的条带的盘的数目。在一个示例中，盘阵列的宽度为4+1的RAID5表明组成RAID5的条带的盘的数目为4+1，4个存储数据的盘，一个存储校验数据的盘。
盘阵列104包括切片池110。切片池110包括一个或多个盘108。每个盘108均被划分为一个或多个固定大小的盘切片。在图1中图示了一个盘108包括八个盘切片。上述示例仅是为了说明本公开，而非对本公开的限定。在其他实施例中，每个盘可以根据需要设置为包括任意数目的盘切片。
盘切片的大小可以依据需要设置为任意值。在一个示例中，盘切片的大小为4GB。上述示例仅是用于说明本公开，而非对本公开的限定。在其他实施例中，可以根据需要设置任意大小的盘切片。
切片池110中的各个盘均被集合到一个或多个RAID弹性组(RAID ResilienceSet，RRS)106-1、106-2、……、106-N(在本文中可以统称为RAID弹性组106)中，N为大于1的正整数。
RAID弹性组106中的切片可用于形成一个或多个逻辑存储单元。在一个示例中，一个逻辑存储单元中的切片均来自一个RAID弹性组。一个逻辑存储单元相当于一个传统的RAID。在一个示例中，在映射器102中存储逻辑存储单元与物理大块的映射关系。上述示例仅是用于说明本公开，而非对本公开的限定。
盘阵列104还包括一个或多个层。在图1中仅出于说明的目的示出了盘阵列包括层112。上述示例仅是用于说明本公开，而非对本公开的限定。可以基于需要设置任意合适数目的层。
层112由映射器102读取和/或调用。层112包括一个或多个逻辑存储单元。该逻辑存储单元可以被视作与多个盘切片相关联的RAID条带组。备选地或附加地，层112中的逻辑存储单元具有相同的盘阵列格式。在一个示例中，不同的层可以具有不同的盘阵列格式。在另一个示例中，不同的层可以具有相同的盘阵列格式。
在一些示例中，层112中的逻辑存储单元可以为具有合适的盘阵列类型和/或盘阵列宽度。例如，逻辑存储单元采用盘阵列宽度为4+1的RAID 5、盘阵列宽度为8+1的RAID 5或盘阵列宽度为16+1RAID 5。上述示例仅是用于说明，而非对本公开的限定。层中的逻辑存储单元可以基于需要采用任意合适的盘阵列类型和盘阵列宽度。
如上文所述，映射器102可以启动解除关联的过程。当映射器102发现逻辑存储单元的数据无用时，会向发送解除逻辑存储单元和与该逻辑存储单元相关联的盘切片的请求，以释放盘切片的资源。在当前的解除关联实现中，仅仅是盘切片被释放，从而使得这些盘切片被标记为空闲以用于后续的分配。然而，在该过程中对这些盘切片所在的物理盘(例如盘108)不执行任何操作。也就是说，解除映射的逻辑存储单元的数据仍然存储在物理盘上，尽管数据已经失效。
如果这些空闲的盘切片被再次分配时，当写I/O解除相应物理盘上这些盘切片的区域时，物理盘需要启动读取-擦除-修改周期。在该周期中，由多个页面组成的块的整个内容被存储在缓存中，然后整个块被擦除。之后被覆盖的页面被写入缓存的块，才能将整个更新的块写入闪存介质。这种现象称为写入放大。这会导致写I/O性能下降。
因此，本公开提出一种用于管理数据存储的方法，其一方面能够显著改善系统的写I/O性能，另一方面能够增加了物理盘的生命周期。
图2能够实施本公开的实施例的示例性场景的示意图。在图2的场景中示出了映射器存储空间210。该映射器存储空间210与多个逻辑存储单元2100，2101，2102…210N相关联。该多个逻辑存储单元2100，2101，2102…210N分别与物理盘中的多个盘切片存在映射关系。也就是说，这些盘切片可以被视作组成逻辑存储单元的条带。
例如在图2中示出了与物理盘池230相对应的虚拟盘池220。虚拟盘池220中的每个虚拟盘(2200，2201…2209)中的盘切片对应于物理盘池230中的相应物理盘(2300，2301…2309)中的存储空间。例如，逻辑存储单元2101可以与物理盘2305，2306…2309中的盘切片存在映射关系。该映射关系可以在虚拟盘池220中被表示为与虚拟盘中2205，2206…2209的盘切片2215，2216…2219具有映射关系。这些盘切片2215，2216…2219分别对应于物理盘2305，2306…2309中的相应的存储空间2405，2406…2409。
一旦逻辑存储单元接收到来自映射器的解除映射的请求，则解除该逻辑存储单元和与该逻辑存储单元相关联的盘切片之间的映射关系。以逻辑存储单元2101为例，一旦接收到来自映射器的解除映射的请求，则解除该逻辑存储单元2101与盘切片2215，2216…2219之间的映射关系。
以下结合图3至图5进一步详细描述根据本公开的实施例的方法。图2示出了示出了根据本公开的实施例的方法300的流程图。图3中示出的方法能够适用于在图2中描述的场景。为了方便描述，在图3中针对相同或相似的部件使用与图2一致的附图标记。
在框310，如果接收到使与物理盘2305上的盘切片2215相关联的逻辑存储单元2101与该盘切片2215解除关联的请求，则在框320，确定与盘切片2215相关联的信息。
在一些实施例中，确定信息可以包括确定物理盘2305的标识符盘切片2215在物理盘2305中的索引以及盘切片2215的容量中的至少一项。
在框330，基于所确定的信息生成第一条目和第二条目。
在一些实施例中，可以基于物理盘2305的标识符、盘切片2215在物理盘2305中的索引以及盘切片2215的容量来生成第一条目。
在一些实施例中，可以基于盘切片2215在物理盘2305中的索引来生成第二条目。可选的，也可以基于物理盘2305的标识符、盘切片2215在物理盘2305中的索引生成第二条目。
在框340，将第一条目添加到失效盘切片队列中，以使得存储在盘切片2215上的数据能够被清除。在框350，将第二条目添加到空闲盘切片队列中，以使得盘切片2215能够与另一逻辑存储单元关联。
图4示出了根据本公开的实施例的失效盘切片队列的示意图。图5示出了根据本公开的实施例的空闲盘切片队列的示意图。
如图4所示，第一条目414被添加到失效盘切片队列400中。该失效盘切片队列400可以被视作先进先出(FIFO)队列。一旦将第一条目414添加到失效盘切片队列400，则表示盘切片2215上的数据将被清除。如上文所述，该第一条目414可以基于物理盘2305的标识符、盘切片2215在物理盘2305中的索引以及盘切片2215的容量来生成。此外，在第一条目414中还可以包括清除数据的进度信息(checkpoint)，该进度信息的初始值被设定为0。
在一些实施例中，一旦确定该失效盘队列400中的条目的数目超出阈值数目，则从该数目的条目中选择待移除的条目。可选的，可以对该数目的条目的全部进行移除。如图4所示，如果待移除的条目是412，其对应于例如盘2306中的盘切片2216，则从盘2306中清除盘切片2216中的数据。如果盘切片2216中的数据从盘2306中被清除，则从失效盘切片队列400中移除条目412。
在一些实施例中，一旦物理盘接收到清除数据的命令，则能够从该命令中获取预定的数据失效量。例如，该命令可以被写作【盘切片偏移量+清除进度，盘切片偏移量+清除进度+32MB】。该盘切片偏移量等于盘切片容量乘以盘切片的索引。该命令指示每次清除的数据量，即预定数据失效量为32MB。
在一些实施例中，可以改预定数据失效量更新条目412中清除数据的进度信息，一旦清除进度信息指示已被清除的数据量等于盘切片2216的容量，则确定数据被清除。
除了失效盘切片队列400，针对每个物理盘存在空闲盘切片队列。可选的，也可以针对所有物理盘存在一个总的空闲盘切片队列。如图5所示，例如针对物理盘2305，存在空闲盘切片队列500。一旦条目554被添加到空闲盘切片队列500中，以表示相应的盘切片(例如盘切片2215)能够与另一逻辑存储单元关联。
在一些实施例中，如果该盘切片2215与另一逻辑存储单元建立关联，则可以从空闲盘切片队列500中移除条目554。一旦该条目554从空闲盘切片队列500中被移除，与盘切片2215相关联的条目414即便还没有从失效盘切片队列400被移除，也就是还没有完成相应盘中的数据清除进程，该条目414也将从失效盘切片队列400被移除。
以此方式，能够显著减少进行写入放大的次数，从而提高改善系统的写I/O性能，增加了SSD的生命周期。
图6示出了可以用来实施本公开内容的实施例的示例设备600的示意性框图。例如，如图1所示的102、104、110和112的任一项可以由设备600来实施。如图所示，设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的计算机程序指令或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序指令，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。CPU 601、ROM602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口505也连接至总线504。
设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理，例如方法300和400可由处理单元601执行。例如，在一些实施例中，方法300和400可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序被加载到RAM 603并由CPU 601执行时，可以执行上文描述的方法300和400的一个或多个动作。
本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (15)

1.一种用于管理数据存储的方法，包括：
响应于接收到使与第一物理盘上的第一盘切片相关联的逻辑存储单元与所述第一盘切片解除关联的请求，确定与所述第一盘切片相关联的信息；
基于所述信息，生成与所述第一盘切片相对应的第一条目和第二条目；
将所述第一条目添加到失效盘切片队列中，以使得存储在所述第一盘切片上的数据能够被清除；
将所述第二条目添加到空闲盘切片队列中，以使得所述第一盘切片能够与另一逻辑存储单元关联；
响应于所述失效盘切片队列中的条目的数目超出阈值数目，从所述数目的条目中选择待移除的第三条目，所述第三条目对应于第二物理盘上的第二盘切片；
从所述第二物理盘中清除所述第二盘切片中的数据；以及
响应于所述第二盘切片中的数据被清除，从所述失效盘切片队列中移除所述第三条目。
2.根据权利要求1所述的方法，其中清除所述数据包括：
响应于接收到清除所述数据的命令，从所述命令中获取预定数据失效量；
基于所述预定数据失效量更新所述第三条目中清除所述数据的进度信息；
响应于所述进度信息指示已被清除的数据量等于所述第二盘切片的容量，确定所述数据被清除。
3.根据权利要求1所述的方法，还包括：
响应于所述空闲盘切片队列中的所述第一盘切片与所述另一逻辑存储单元建立关联，从所述空闲盘切片队列中移除所述第二条目。
4.根据权利要求1所述的方法，其中确定所述信息包括确定以下中的至少一项：
所述第一物理盘的标识符，
所述第一盘切片在所述第一物理盘中的索引，以及
所述第一盘切片的容量。
5.根据权利要求4所述的方法，其中所述信息包括所述第一物理盘的标识符、所述第一盘切片在所述第一物理盘中的索引以及所述第一盘切片的容量并且生成所述第一条目包括：
基于所述第一物理盘的标识符、所述第一盘切片在所述第一物理盘中的索引以及所述第一盘切片的容量来生成第一条目。
6.根据权利要求4所述的方法，其中所述空闲盘切片队列与所述第一物理盘相关联，所述信息包括所述第一盘切片在所述第一物理盘中的所述索引，并且生成所述第二条目包括：
至少基于所述索引来生成所述第二条目。
7.根据权利要求4所述的方法，其中所述空闲盘切片队列与包括所述第一物理盘的多个物理盘相关联，所述信息包括所述第一盘切片在所述第一物理盘中的所述索引和所述第一物理盘的所述标识符，并且生成所述第二条目包括：
基于所述索引和所述标识符生成所述第二条目。
8.一种用于管理数据存储的设备，包括：
至少一个处理器；以及
与所述至少一个处理器耦合的存储器，所述存储器包含有存储于其中的指令，所述指令在被所述至少一个处理单元执行时，使得所述设备执行动作，所述动作包括：
响应于接收到使与第一物理盘上的第一盘切片相关联的逻辑存储单元与所述第一盘切片解除关联的请求，确定与所述第一盘切片相关联的信息；
基于所述信息，生成与所述第一盘切片相对应的第一条目和第二条目；
将所述第一条目添加到失效盘切片队列中，以使得存储在所述第一盘切片上的数据能够被清除；
将所述第二条目添加到空闲盘切片队列中，以使得所述第一盘切片能够与另一逻辑存储单元关联；
响应于所述失效盘切片队列中的条目的数目超出阈值数目，从所述数目的条目中选择待移除的第三条目，所述第三条目对应于第二物理盘上的第二盘切片；
从所述第二物理盘中清除所述第二盘切片中的数据；以及
响应于所述第二盘切片中的数据被清除，从所述失效盘切片队列中移除所述第三条目。
9.根据权利要求8所述的设备，其中清除所述数据包括：
响应于接收到清除所述数据的命令，从所述命令中获取预定数据失效量；
基于所述预定数据失效量更新所述第三条目中清除所述数据的进度信息；
响应于所述进度信息指示已被清除的数据量等于所述第二盘切片的容量，确定所述数据被清除。
10.根据权利要求8所述的设备，所述动作还包括：
响应于所述空闲盘切片队列中的所述第一盘切片与所述另一逻辑存储单元建立关联，从所述空闲盘切片队列中移除所述第二条目。
11.根据权利要求8所述的设备，其中确定所述信息包括确定以下中的至少一项：
所述第一物理盘的标识符，
所述第一盘切片在所述第一物理盘中的索引，以及
所述第一盘切片的容量。
12.根据权利要求11所述的设备，其中所述信息包括所述第一物理盘的标识符、所述第一盘切片在所述第一物理盘中的索引以及所述第一盘切片的容量并且生成所述第一条目包括：
基于所述第一物理盘的标识符、所述第一盘切片在所述第一物理盘中的索引以及所述第一盘切片的容量来生成第一条目。
13.根据权利要求11所述的设备，其中所述空闲盘切片队列与所述第一物理盘相关联，所述信息包括所述第一盘切片在所述第一物理盘中的所述索引，并且生成所述第二条目包括：
至少基于所述索引来生成所述第二条目。
14.根据权利要求11所述的设备，其中所述空闲盘切片队列与包括所述第一物理盘的多个物理盘相关联，所述信息包括所述第一盘切片在所述第一物理盘中的所述索引和所述第一物理盘的所述标识符，并且生成所述第二条目包括：
基于所述索引和所述标识符生成所述第二条目。
15.一种非瞬态计算机可读介质，其上存储有机器可执行指令，所述机器可执行指令在被执行时使机器执行根据权利要求1至7任一项所述的方法的步骤。
CN201910354284.7A 2019-04-29 2019-04-29 用于管理数据存储的方法、设备和计算机可读介质 Active CN111857547B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910354284.7A CN111857547B (zh) 2019-04-29 2019-04-29 用于管理数据存储的方法、设备和计算机可读介质
US16/819,715 US11500746B2 (en) 2019-04-29 2020-03-16 Method, device and computer program product for managing data storage

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910354284.7A CN111857547B (zh) 2019-04-29 2019-04-29 用于管理数据存储的方法、设备和计算机可读介质

Publications (2)

Publication Number Publication Date
CN111857547A CN111857547A (zh) 2020-10-30
CN111857547B true CN111857547B (zh) 2024-05-24

Family

ID=72917044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910354284.7A Active CN111857547B (zh) 2019-04-29 2019-04-29 用于管理数据存储的方法、设备和计算机可读介质

Country Status (2)

Country Link
US (1) US11500746B2 (zh)
CN (1) CN111857547B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118034605B (zh) * 2024-03-15 2024-10-11 上海正泰自动化软件系统有限公司 一种数据处理方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107003942A (zh) * 2014-10-27 2017-08-01 桑迪士克科技有限责任公司 对用于增强存储设备的性能和持久性的解除映射命令的处理

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2126698A2 (en) * 2006-12-06 2009-12-02 Fusion Multisystems, Inc. Apparatus, system, and method for a shared, front-end, distributed raid
US20140136575A1 (en) 2012-11-10 2014-05-15 Yuanyuan Zhao Log-structured garbage collection
US9875180B2 (en) * 2014-02-24 2018-01-23 Sandisk Technologies Llc Systems and methods for managing storage compression operations
US9880760B2 (en) * 2014-10-30 2018-01-30 Sandisk Technologies Llc Managing data stored in a nonvolatile storage device
US9891825B2 (en) * 2015-01-23 2018-02-13 Toshiba Memory Corporation Memory system of increasing and decreasing first user capacity that is smaller than a second physical capacity
US10891057B1 (en) 2015-12-31 2021-01-12 EMC IP Holding Company LLC Optimizing flash device write operations
US10628301B1 (en) 2018-06-21 2020-04-21 Lightbits Labs Ltd. System and method for optimizing write amplification of non-volatile memory storage media
CN110413211B (zh) 2018-04-28 2023-07-07 伊姆西Ip控股有限责任公司 存储管理方法、电子设备以及计算机可读介质
CN111124951B (zh) * 2018-10-31 2023-09-15 伊姆西Ip控股有限责任公司 管理数据访问的方法、设备和计算机程序产品
CN114385069B (zh) * 2020-10-22 2024-05-17 伊姆西Ip控股有限责任公司 存储管理的方法、设备和计算机程序产品

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107003942A (zh) * 2014-10-27 2017-08-01 桑迪士克科技有限责任公司 对用于增强存储设备的性能和持久性的解除映射命令的处理

Also Published As

Publication number Publication date
US11500746B2 (en) 2022-11-15
US20200341872A1 (en) 2020-10-29
CN111857547A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111949605B (zh) 用于实现文件系统的方法、设备和计算机程序产品
US11157449B2 (en) Managing data in storage according to a log structure
CN108733316B (zh) 用于管理存储系统的方法和管理器
CN110109915B (zh) 用于管理哈希表的方法、设备和计算机程序产品
CN109213696B (zh) 用于缓存管理的方法和设备
US20220083281A1 (en) Reading and writing of distributed block storage system
CN109725823B (zh) 用于管理混合存储盘阵列的方法和设备
US20160179398A1 (en) Two-Level Hierarchical Log Structured Array Architecture Using Coordinated Garbage Collection for Flash Arrays
US9916249B2 (en) Space allocation in a multi-grained writeback cache
US20140244901A1 (en) Metadata management for a flash drive
CN114442910B (zh) 管理存储系统的方法、电子设备和计算机可读介质
CN112748867B (zh) 用于存储管理的方法、电子设备以及计算机程序产品
US10628311B2 (en) Reducing defragmentation in a multi-grained writeback cache
CN111857559A (zh) 用于管理元数据的方法、装置和计算机程序产品
CN111857557B (zh) Raid类型转换的方法、设备和计算机程序产品
US11010091B2 (en) Multi-tier storage
CN111124253B (zh) 管理存储设备的方法、装置和计算机程序产品
CN110737397B (zh) 用于管理存储系统的方法、设备和计算机程序产品
US9817757B2 (en) Scalable metadata management in a multi-grained caching framework
US11287996B2 (en) Method, device and computer program product for storing data
CN112764662B (zh) 用于存储管理的方法、设备和计算机程序产品
CN113391945B (zh) 用于存储管理的方法、电子设备以及计算机程序产品
CN111124249A (zh) 用于数据处理的方法、设备和计算机程序产品
US11144243B2 (en) Method and device for managing redundant array of independent disks and computer program product
US11663127B2 (en) Method, electronic device and computer program product for managing storage system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant