CN110609817A - 一种防止文件碎片化的文件存储系统 - Google Patents

Abstract

本发明公开了一种防止文件碎片化的文件存储系统，包括：第一存储器、第二存储器以及主控制单元；第一存储器为采用整块读写的非易失性存储器；执行大文件的写入操作时，先将大文件的数据连续保存至第二存储器中，当第二存储器中保存的大文件的数据量达到一个存储块的容量时，将这些第一批数据转存至第一存储器的第一存储块中；大文件剩下的数据继续保存至第二存储器中，当数据量再次达到一个存储块的容量时，将这些第二批数据转存至第一存储器的第二存储块中，直到大文件的数据全部存入第一存储器中。本发明大大降低了文件碎片化的可能性；降低NAND的擦写次数，延长产品寿命；也会使得NAND在长期使用后，持续保持高性能。

Description

一种防止文件碎片化的文件存储系统

技术领域

本发明涉及一种文件存储系统，特别涉及一种防止文件碎片化的文件存储系统，属于文件存储技术领域。

背景技术

现在计算机、智能手机、平板电脑中，用户数据、文件被存在硬盘或者NAND闪存芯片中以及由NAND闪存组成的固态硬盘里。NAND和固态硬盘取代传统的机械硬盘又是一个产业发展的大趋势。

NAND是一种整块读写的存储设备，写(写入0)比读慢得多，擦除(写入1)则比写还要慢得多。最小可读写的单元叫页(page)，最小可擦除的单元叫块(block)，一个块(block)往往由很多页(page)组成，块(block)擦除后里面的页(page)可以进行单独的写入(program)操作。NAND闪存的一个问题是NAND具有有限的寿命。里面的每一个页(page)经过一定次数的擦写以后，就会永久失效不能继续使用。目前的产业发展趋势是NAND的容量和数据密度增长非常快，但却是以降低寿命为代价。可擦写次数从最初的10万次降低到目前的3000次左右。

在软件层面，手机和计算机的架构如下：应用软件向操作系统发出打开、关闭、读、写文件指令；操作系统中的文件系统软件部分把读、写文件的指令转化为读、写存储块的指令；NAND驱动与管理软件接受读写存储块区的指令，进行缓存、写均衡等优化，向芯片发出页(page)，写块(block)等指令；在计算机和手机中，NAND管理软件通常在SSD或者存储卡内部的控制芯片上运行；在手机中，有时候NAND读写软件也会作为跟操作系统紧密相关的软件模块，在主控芯片上运行。如果使用硬盘(HD)作为存储介质，软件系统稍简单。没有复杂的NAND管理软件，文件系统软件直接控制硬盘的读写。

因为NAND闪存的以上特性，SSD内部的NAND管理软件比较复杂。为了不使某些经常发生写操作的块提前损坏，需要进行写均衡处理。文件系统软件所识别的逻辑地址和物理地址是不同的，需要一个表把二者对应起来。由于NAND擦除太慢，一般修改一内容时不在原来的块区更新，而是把新的内容写到一个新的块区，旧块区标记为无效，等CPU空闲下来再擦除它。这样，逻辑地址物理地址的对照表是不断动态更新的。这个表正比于SSD的总容量，存在DDR DRAM里，另外在NAND里面也有相应的标记。随着市场上SSD容量的迅速增加，这个表成为DRAM最大的消耗者。

文件系统软件是操作系统软件中的一个重要部分，负责解决文件的存储问题，含有接口包括创建文件、打开文件、读取文件、写入文件等。它会把文件划分成一个个的块，一般每一个块和NAND闪存中的一个页对应。每当一个新文件创建，文件系统软件会分配给它一个块，当一个块写满后，再分配一个新的块。由于系统中很多文件都在增长，一个文件中的不同的块常常地址不连续。这就叫文件的碎片化。并且，一个文件删除后，释放出的空闲块会被新的文件占用。所以，随着产品的使用，文件的碎片化会越来越严重。

本发明的重要背景是MRAM技术的发展。MRAM是一种新的内存和存储技术，可以像RAM一样快速随机读写，还可以像NAND闪存一样在断电后永久保留数据。不像NAND，MRAM可以无限多次地擦写。但预计未来相当长一段时间内，MRAM的容量比NAND低，成本比NAND高。

如果使用硬盘，文件的碎片化是一个大问题，因为硬盘的磁头在寻找新的地址块时需要很长的时间，文件碎片化导致系统的性能显著降低。

如果使用NAND存储，寻找新地址的时间基本不是问题，碎片化对性能的影响比较小。但碎片化对NAND寿命还是有很大影响的。NAND最小可擦除的单位是块(block)，一个块可能有512个页，如果一个512个页的文件被存到512个不同的块，那么这个文件被删除时就会擦除512个块(block)。如果一个块(block)中保存着512个文件，当其中任何一个文件被删除或者被修改，其他文件的数据也要随之被擦除再重写一遍。

这一方面导致存储卡或固态硬盘在使用一段时间后，由于清理垃圾跟不上，系统性能显著降低。另一方面，较多的NAND擦写次数会缩短NAND的寿命，导致固态硬盘或手机提前报废。

文件碎片化是计算系统的一个大问题，很多组织提供了各种解决方案。US20110119462A1提供了一种消碎片化(defragmentation)的算法。

自从MRAM开始进入这个行业的视野，也有人研究把MRAM引进到文件存储系统。US008626987B2仍然是消碎片化的思路，这这个过程中使用MRAM做缓存。

消碎片化是在存储装置使用过一段时间，发生了严重的碎片化，影响系统性能的时候，由用户启动一个特殊程序来完成的。具体的操作过程如图3，选自US008626987B2的图17。

这个过程需要对整个存储装置中的所有块进行检查，对文件进行腾挪，非常费时。常常导致几个小时系统不能被使用。经过消碎片化后，一个逻辑块中的所有页，被翻译到同一个物理块中。但真正消除碎片化，还需要文件系统进行配合，保证同一个文件中的不同页，尽量保存在同一个逻辑块中。这一点，上述已公开的发明并没有给出对策。

碎片化对于基于NAND闪存的存储系统造成的问题，在于擦写次数太多，导致不仅长期使用后性能降低，而且缩短寿命。对此，消碎片化程序效果有限。

怎样防止或者减少文件的碎片化，而不是在碎片化已经发生后消除它，目前被研究得非常少。

发明内容

本发明所要解决的技术问题：无论使用硬盘还是使用NAND存储文件，防止文件碎片化都有重要的意义。但主要是需要保证大的文件用整个块(block)来存储，不要把能用一个块(block)存储的数据分散到不同的块(block)里面。也就是说，最重要的是在块(block)的层面上防止文件碎片化。

为了解决上述技术问题，本发明修改了文件系统软件，增加新的接口；也修改NAND管理系统，制定新的接口。使用MRAM配合硬盘或固态硬盘，解决文件碎片化的问题。具体技术方案如下：

一种防止文件碎片化的文件存储系统，包括：

第一存储器、第二存储器以及主控制单元；第一存储器为采用整块读写的非易失性存储器，第二存储器为支持随机存储的非易失性存储器；

主控制单元中运行文件系统软件，在执行文件的创建操作时，对于等于或大于第一存储器的一个存储块容量的文件，文件系统软件标识为大文件；对于小于第一存储器的一个存储块容量的文件，文件系统软件标识为小文件；

执行大文件的写入操作时，先将大文件的第一批数据连续保存至第二存储器中，当第二存储器中保存的大文件的数据量达到一个存储块的容量时，将这些第一批数据转存至第一存储器的第一存储块中；

大文件剩下的第二批数据继续保存至第二存储器中，当数据量再次达到一个存储块的容量时，将这些第二批数据转存至第一存储器的第二存储块中，如此重复，直到大文件的数据全部存入第一存储器中。

进一步地，文件系统软件包含：创建文件接口、标识文件接口、打开文件接口、读取文件接口、写入文件接口。

进一步地，主控制单元记录第二存储器中每一个大文件写入的时间，当更多的大文件被写入导致第二存储器的存储空间不够时，将最长时间没有发生写操作的文件数据转入第一存储器。

进一步地，第二存储器为MRAM，第一存储器为硬盘，在硬盘中按顺序写入数据。

进一步地，第二存储器为MRAM，第一存储器为NAND。主控制单元或者闪存控制单元运行NAND管理软件。

进一步地，将NAND的一部分存储空间划分为大文件区，另一部分存储空间划分为小文件区。对于大文件区，以块为基础翻译逻辑地址和物理地址；对于小文件区，以页为基础翻译逻辑地址和物理地址。

进一步地，NAND管理软件包括整块写入接口，当进行大文件的写入操作时，调用整块写入接口，大文件的数据被写入到大文件区。

进一步地，对于大文件区中没有存满的存储块，存储块中的空闲页仍然能够接受小文件的存入。

本发明的有益效果：本发明大大降低了文件碎片化的可能性。减少文件系统的碎片化，会降低NAND的擦写次数，延长产品寿命，也会使得NAND在长期使用后，保持更高的性能。由于基于页的逻辑物理地址翻译表占用大量内存，基于块的翻译表至占几百分之一的内存，对NAND管理系统的修改，保证了不会因逻辑物理地址的翻译造成大文件碎片化的同时，相当一部分存储使用块翻译，大大地减少了内存的消耗，可以用更低的成本取得更好的性能。

跟之前的发明比，本发明使用大文件区，自动保证同一个逻辑块中不同的页被翻译到同一个物理块中。能有效地降低碎片化的可能，而不是在它发生后消除它。本发明能够减少影响使用的消碎片化操作。

附图说明

结合附图，并通过参考下面的详细描述，将会更容易地对本发明由更完整的理解并且更容易地理解其伴随的优点和特征，其中：

图1是现有技术中文件存储在软件层面的架构示意图；

图2是本发明实施例的文件存储系统的结构示意图；

图3是现有技术中去碎片化的流程图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。需说明的是，本发明附图均采用简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

本发明涉及操作系统中的文件系统软件和NAND管理软件的修改，是一种利用MRAM和NAND一起协同存储文件的方法，主要为了保障用整个块(block)来保持大文件。

如图2所示，本发明实施例提供的文件存储系统包括：主控制单元201、第一存储器202、第二存储器203。第一存储器202为采用整块读写的非易失性存储器，第二存储器203为支持随机存储的非易失性存储器，第二存储器203比第一存储器202具有更长的使用寿命以及同等或更快的读写速度。第一存储器202协同第二存储器203一起担任存储文件和用户数据任务。

主控制单元201中运行文件系统软件，文件系统软件包含：创建文件接口、打开文件接口、读取文件接口、写入文件接口，在创建文件接口时增加标识大小文件的选项。在执行文件的创建操作时，对于等于或大于第一存储器的一个存储块容量的文件，文件系统软件对其标识为大文件；对于小于第一存储器的一个存储块容量的文件，文件系统软件对其标识为小文件。

常用文件系统中，每一个文件的属性存储在被称为inode的数据结构中。inode中的信息包括文件名，存储地址，各类属性如拥有者、权限、上次写入时间等。所有的inode存储在存储设备的一个专区里。我们的修改需要在inode中增加一个属性：大/小文件。当文件被创建时，应用软件使用了大小标识功能，将这个属性记入inode。

执行大文件的写入操作时，先将大文件的第一批数据连续保存至第二存储器203中，当第二存储器203中保存的大文件的数据量达到第一存储器202的一个存储块的容量时，将这些第一批数据转存至第一存储器的第一存储块202中。大文件剩下的第二批数据继续保存至第二存储器203中，当数据量再次达到第一存储器202的一个存储块的容量时，将这些第二批数据转存至第一存储器202的第二存储块中，如此重复，直到大文件的数据全部存入第一存储器202中。inode中记录着文件存储位置信息，在执行上述步骤中，随着每一个步骤更改inode中的存储位置记录，就可以保证应用软件读写文件时，始终可以找到正确的地址。

主控制单元201记录第二存储器203中每一个大文件写入的时间，当更多的大文件被写入导致第二存储器203的存储空间不够时，将最长时间没有发生写操作的文件数据转入第一存储器202。在inode中可以查到文件的上次写入时间。

在本实施例中，以第二存储器203为磁性随机存储器(MRAM，Magnetic RandomAccess Memory)，第一存储器202为NAND闪存或固态硬盘为例进行说明。在其他实施例中，凡是满足“支持随机存储的非易失性存储器”、“采用整块读写的非易失性存储器”和“第二存储器比第一存储器具有更长的使用寿命以及同等或更快的读写速度”这些相应条件的存储器均可实现，例如：随着存储技术的发展，今后可能出现比MRAM更为合适的支持随机存储、使用寿命长、读写速度快的非易失性存储器作为第二存储器。当然，第一存储器202也可以是机械硬盘，在机械硬盘中按顺序写入数据。

MRAM是一种新的内存和存储技术，可以像随机存储器(RAM，Random AccessMemory)一样快速随机读写，还可以像NAND闪存一样在断电后永久保留数据。不像NAND，MRAM可以无限多次地擦写，但预计未来相当长一段时间内，MRAM的容量比NAND低，成本比NAND高，所以本发明实施例中采用了将MRAM和NAND协同进行文件存储的控制，MRAM协助NAND一起担任存储文件和用户数据任务。

本实施例中，第一存储器202和第二存储器203的使用寿命是通过可擦写的次数进行衡量的。由于MRAM的技术特点，其可以无限多次地擦写，而NAND经过一定次数的擦写以后，就会永久失效不能继续使用，所以MRAM的使用寿命远远高于NAND的使用寿命。

在实际实施时，主控制单元201可以通过软硬件结合的方式实现，其中软件部分体现在操作系统中文件系统软件的修改。文件系统软件的标准接口有创建、打开文件、读、写文件等，本实施例中的文件系统软件增加了一个独特的文件标识接口，应用软件创建文件时，如果已知或预期文件的大小将接近或超过一块(block，通常为4-8MB)，将创建的文件标明为大文件。或反之，对预期长度较短的页面标记为小文件。

而硬件部分则通过存储器控制器、中央处理器(CPU)等执行文件系统软件，例如在手机等通信终端中，操作系统中经过改进的文件系统软件可以在主控芯片上运行，在计算机中则通常在固态硬盘控制器上运行。当然，本领域技术人员可以理解的是，相应文件系统软件也可以通过固化到硬件的方式去实现。

主控制单元201或者闪存控制单元运行NAND管理软件。将NAND的一部分存储空间划分为大文件区，另一部分存储空间划分为小文件区。对于大文件区，设立一个逻辑块地址到物理块地址的翻译表，以块为基础翻译逻辑地址和物理地址；对于小文件区，设立一个逻辑页地址到物理页地址的翻译表，以页为基础翻译逻辑地址和物理地址。与文件系统软件的文件标识接口相对应，NAND管理软件包括整块写入接口。当进行大文件的写入操作时，调用整块写入接口，大文件的数据被写入到大文件区。对于大文件区中没有存满的存储块，如果没有用满，标记好空闲页的起点。存储块中的空闲页仍然能够接受小文件的存入。

本发明利用随机非易失存储和块存储设备组合使用，大大降低了文件碎片化的可能性。一个文件系统中的大文件，比如拷贝、网络传入的文件、照片、录像等多媒体文件，绝大部分在创建时应用软件就确定它是大文件。并且这些文件大部分情况下在都是在短时间连续写入的。这些文件将在使用本发明的系统中，经过MRAM暂存后，都被保存在完整的块(block)里面。减少文件系统的碎片化，会降低NAND的擦写次数，延长产品寿命。也会使得在长期使用后，保持更高的性能。

对NAND管理系统的修改，保证了不会因逻辑物理地址的翻译造成大文件碎片化的同时，大大地减少了RAM的消耗。因为一个文件系统的绝大部分，是由大文件占据的。基于页的翻译所需要的逻辑物理地址对照表需要大量的内存，一个块有512页，基于块翻译的逻辑物理地址对照表小于基于页的1/512。使得可以用更低的成本取得更好的性能。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (9)

1.一种文件存储系统，其特征在于，包括：

第一存储器、第二存储器以及主控制单元；所述第一存储器为采用整块读写的非易失性存储器，所述第二存储器为支持随机存储的非易失性存储器；

所述主控制单元中运行文件系统软件，在执行文件的创建操作时，对于等于或大于所述第一存储器的一个存储块容量的文件，所述文件系统软件标识为大文件；或者对于小于所述第一存储器的一个存储块容量的文件，所述文件系统软件标识为小文件；

执行所述大文件的写入操作时，先将所述大文件的第一批数据连续保存至所述第二存储器中，当所述第二存储器中保存的所述大文件的数据量达到一个所述存储块的容量时，将所述第一批数据全部转存至所述第一存储器的第一存储块中；

所述大文件剩下的第二批数据继续保存至所述第二存储器中，当数据量再次达到一个所述存储块的容量时，将所述第二批数据转存至所述第一存储器的第二存储块中，如此重复，直到所述大文件的数据全部存入所述第一存储器中。

2.根据权利要求1所述的一种文件存储系统，其特征在于，所述主控制单元记录第二存储器中每一个大文件上次写入的时间，当更多的大文件被写入导致所述第二存储器的存储空间不够时，将最长时间没有发生写操作的文件数据转入所述第一存储器。

3.根据权利要求2所述的一种文件存储系统，其特征在于，所述第二存储器为MRAM，所述第一存储器为硬盘，在所述硬盘中按顺序写入数据。

4.根据权利要求2所述的一种文件存储系统，其特征在于，所述第二存储器为MRAM，所述第一存储器为NAND。

5.根据权利要求4所述的一种文件存储系统，其特征在于，所述主控制单元或者闪存控制单元运行NAND管理软件。

6.根据权利要求5所述的一种文件存储系统，其特征在于，将所述NAND的一部分存储空间划分为大文件区，所述NAND的另一部分存储空间划分为小文件区。

7.根据权利要求6所述的一种文件存储系统，其特征在于，对于所述大文件区，以块为基础翻译逻辑地址和物理地址；对于所述小文件区，以页为基础翻译逻辑地址和物理地址。

8.根据权利要求7所述的一种文件存储系统，其特征在于，所述NAND管理软件包括整块写入接口，当进行所述大文件的写入操作时，调用所述整块写入接口，所述大文件的数据被写入到所述大文件区。

9.根据权利要求8所述的一种文件存储系统，其特征在于，对于所述大文件区中没有存满的存储块，所述存储块中的空闲页仍然能够接受所述小文件的存入。