JP4288929B2

JP4288929B2 - Data storage apparatus and data storage method

Info

Publication number: JP4288929B2
Application number: JP2002324131A
Authority: JP
Inventors: 純引田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-11-07
Filing date: 2002-11-07
Publication date: 2009-07-01
Anticipated expiration: 2022-11-07
Also published as: JP2004157859A

Description

【０００１】
【発明の属する技術分野】
本発明は、例えばネットワーク上に設けられる大規模記憶装置（Network Attached Storage ）に使用して好適なデータストレージ装置及びデータストレージ方法に関する。詳しくは、階層型ストレージ管理（Hierarchical Storage Management ）機能を応用して、安価で大容量、かつアクセス性に優れた機器を提供できるようにしたものである。
【０００２】
【従来の技術】
例えばネットワーク上に設けられる大規模記憶装置（Network Attached Storage ：以下、ＮＡＳと略称する）に使用して好適なデータストレージ装置としては、いわゆるハイエンドの機器とローエンドの機器が存在する。すなわち、ハイエンドの機器においては、信頼性の高いＳＣＳＩディスク等の記憶装置を用いて、高速のアクセスを可能としたものであるが、きわめて高価なものとなる。
【０００３】
これに対して、ローエンドの機器においては、ＩＤＥディスク等の比較的安価な記憶装置を用いており、比較的高速のアクセスは可能であるが、信頼性に欠けるものである。従って、信頼性を確保するためには、別途にネットワーク上にバックアップ等の処置を施す必要が生じるものである。
【０００４】
一方、データの管理方法として、例えば特許文献１に記載されているような階層型ストレージ管理（Hierarchical Storage Management ：以下、ＨＳＭと略称する）機能が知られている。
【０００５】
【特許文献１】
特開２０００−１４８５４７号公報
【０００６】
【発明が解決しようとする課題】
従来の階層型ストレージマネージメント（ＨＳＭ）ソフトウェアにおいて、アクセス速度、容量に対する価格から、半導体メモリ→ハードディスク→リムーバブルメディア（リムーバブルディスク（ＭＯ、ＤＶＤ等）→リムーバブルテープストリーマ）という階層定義が一般的であった。しかし、ハードディスクとリムーバブルメディアのアクセス性能に開きがあり、比較的サイズの小さいファイルへのアクセスにおいては、ハードディスクへの保存では容量が必要になり、リムーバブルメディアへの保存ではアクセスが遅くなるという問題があった。
【０００７】
この出願はこのような点に鑑みて成されたものであって、解決しようとする問題点は、従来の装置では、ハードディスクとリムーバブルメディアのアクセス性能に開きがあり、比較的サイズの小さいファイルへのアクセスにおいては、ハードディスクへの保存では容量が必要になり、リムーバブルメディアへの保存ではアクセスが遅くなるという問題があったというものである。
【０００８】
【課題を解決するための手段】
すなわち本発明においては、ＨＳＭにおいて保存先を移動する基準としている「アクセス頻度の高いファイルをなるべく安価で大容量なメディアへ移動する」ことに注目し、安価で大容量なメディアの前に、安価で信頼性が低いがアクセスが早いハードディスクをキャッシュ（セカンドキャッシュ）として採用し、リムーバブルメディアへのアクセスの不便さを補う仕組みを発明したものであって、これによれば、良好な大規模記憶装置（ＮＡＳ）を構成することができる。
【０００９】
【発明の実施の形態】
すなわち本発明においては、ファイルを低階層へ移動する処理方法として、
▲１▼ハードディスクからリムーバブルメディアへ移動されるファイルが、セカンドキャッシュを利用する閾値以下かを判断して、この閾値以下の場合にはセカンドキャッシュにも当該ファイルを記憶することを決定し、
▲２▼対象ファイルのデータをセカンドキャッシュとリムーバブルメディアへ移動（コピー）し、
▲３▼移動した場所の情報をデータベースに保存する。
【００１０】
また、移動されたファイルへのアクセスがハードディスクへ来た時の処理方法として、
▲１▼ファイルの実体がハードディスクに存在するかチェックし、存在する場合はハードディスクから読み出し、存在しない場合は移動先から読み出す処理を起動することを決定し、
▲２▼移動先から読み出す処理において、ファイルの実体がセカンドキャッシュに存在するかチェックし、存在する場合はセカンドキャッシュから読み出し、存在しない場合は移動先のリムーバブルメディアから読み出し、
▲３▼読み出した履歴をデータベースに保存する。
【００１１】
さらに、セカンドキャッシュの容量は有限であるため、その容量管理を行う処理方法として、
▲１▼セカンドキャッシュの容量管理を行い決められた使用率であるか、またはセカンドキャッシュ内のファイルが保存期間以内であるか調査し、
▲２▼閾値を越えるファイルについて削除または適切な場所へ移動し、
▲３▼削除また移動した情報をデータベースに保存する。
【００１２】
以下、図面を参照して本発明を説明するに、図１は本発明によるデータストレージ装置及びデータストレージ方法を適用した大規模記憶装置（ＮＡＳ）の一実施形態の構成を示すブロック図である。
【００１３】
図１において、中央処理装置（ＣＰＵ）１と主記憶装置（メモリ）２からなる本体装置にネットワーク接続ボード３が設けられて、このボード３を通じてネットワーク４００に接続される。このネットワーク４００には、任意のパーソナルコンピュータ（ＰＣ）１００、２００、３００が接続されているものである。
【００１４】
さらに、主記憶装置（メモリ）２に入出力チャネル４を介して、ＳＣＳＩディスクやディスクアレイ等の高価な磁気ディスク装置５、セカンドキャッシュとなる安価な磁気ディスク装置６、及びリムーバブルメディア７が接続される。なお、上述の磁気ディスク装置６はネットワーク上に存在するホストに接続されている安価な磁気ディスク装置でもよい。また、リムーバブルメディア７はリムーバブルメディアを複数管理できるライブラリ装置でもよい。ただし、リムーバブルメディア７の記憶容量は、磁気ディスク装置６より大きいものとする。
【００１５】
そして、この装置において、磁気ディスク装置５に記録されたデータを安価な磁気ディスク装置６と安価なリムーバブルメディア７を用いて、ファイルを階層構造状に配置された各ストレージデバイスへ記録・保管するシステムを考える。
【００１６】
すなわち、磁気ディスク装置５に書かれたファイルが、ＨＳＭソフトウェアの基準により、低階層のストレージへ移動することが決定した時を考える。従来のＨＳＭでは、リムーバブルメディアへファイルを移動し、磁気ディスク上にはファイルのインデックス情報等を残していた。
【００１７】
これに対して、本発明では、ファイルを移動する際、図２のように対象ファイルがセカンドキャッシュを使用する条件に合った場合、リムーバブルメディアだけでなく、安価なセカンドキャッシュへ同時にコピーを保存する。
【００１８】
すなわち図２において、ステップ〔１〕で、対象ファイルがセカンドキャッシュ使用対象サイズ以下であるか判断される。すなわち、ファイルサイズが大きい場合には、セカンドキャッシュとなる磁気ディスク装置６とリムーバブルメディア７とのアクセス性能が変わらなくなる。そこで、対象ファイルがセカンドキャッシュ使用対象サイズ以下でない場合（ＮＯ）には、ステップ〔２〕で対象ファイルをリムーバブルメディア７に移動（コピー）する。
【００１９】
また、ステップ〔１〕で、対象ファイルがセカンドキャッシュ使用対象サイズ以下の場合（ＹＥＳ）には、ステップ〔３〕で、セカンドキャッシュに対象ファイルを保存できる空き容量があるか判断される。そしてない場合（ＮＯ）には、ステップ〔４〕でセカンドキャッシュ内のファイル管理機能により、セカンドキャッシュに空き容量を確保する。
【００２０】
さらに、ステップ〔３〕でセカンドキャッシュに対象ファイルを保存できる空き容量があった場合（ＹＥＳ）と、ファイル管理機能によりセカンドキャッシュに空き容量が確保されると、ステップ〔５〕で、対象ファイルをセカンドキャッシュ及びリムーバブルメディア７に移動（コピー）する。
【００２１】
そして、上述のステップ〔２〕及びステップ〔５〕が終了すると、ステップ〔６〕で、ファイルの移動先情報を主記憶装置（メモリ）２等のデータベースに登録し、管理を行う。このようにして、磁気ディスク装置５に書かれたファイルのセカンドキャッシュ（磁気ディスク装置６）及びリムーバブルメディア７への移動（コピー）が行われる。
【００２２】
次に、磁気ディスクへファイルのアクセスがあった場合、図３のように処理が行われる。すなわち図３において、ステップ〔１１〕で対象ファイルの実体がハードディスク（磁気ディスク装置５）上に存在するか判断される。そして存在する場合（ＹＥＳ）は、ステップ〔１２〕で対象ファイルはそのままハードディスクから読み出される。
【００２３】
また、ステップ〔１１〕で対象ファイルの実体がハードディスク（磁気ディスク装置５）上に存在しない場合（ＮＯ）は、ステップ〔１３〕で対象ファイルがセカンドキャッシュ（磁気ディスク装置７）上に存在するか判断される。そして存在する場合（ＹＥＳ）は、ステップ〔１４〕でセカンドキャッシュが使用可能か判断され、使用可能のとき（ＹＥＳ）は、ステップ〔１５〕で対象ファイルをセカンドキャッシュから読み出し、ハードディスクへ戻す処理が行われる。
【００２４】
また、ステップ〔１３〕で対象ファイルがセカンドキャッシュ（磁気ディスク装置７）上に存在しない場合（ＮＯ）と、ステップ〔１４〕でセカンドキャッシュが使用可能でないとき（ＮＯ）は、ステップ〔１６〕で対象ファイルをリムーバブルメディアから読み出し、ハードディスクへ戻す処理が行われる。
【００２５】
さらに、ステップ〔１２〕、〔１５〕、〔１６〕が終了すると、ステップ〔１７〕で、読み出した履歴を主記憶装置（メモリ）２等のデータベースに保存し、管理を行う。
【００２６】
これにより、磁気ディスクにファイルの実体が存在していればそのまま磁気ディスクからファイルを読み込むことができる。また、磁気ディスク上にインデックス情報しかない場合、磁気ディスクへファイルの実体を戻す処理を行う。この時、リムーバブルメディアへアクセスする前にセカンドキャッシュに対象ファイルが存在するか確認し、セカンドキャッシュに存在すればそこからファイルを読み出し、磁気ディスクへファイルの実体を戻す。
【００２７】
また、セカンドキャッシュに存在しなければ、従来同様にリムーバブルメディアから読み出し磁気ディスクへファイルの実体を戻す。さらに、セカンドキャッシュに存在するが、セカンドキャッシュがアクセス不可能である場合、従来通りリムーバブルメディアから読み出す。このようにして、磁気ディスクへファイルのアクセスがあった場合の処理が行われる。
【００２８】
また、セカンドキャッシュの容量は有限であるため、セカンドキャッシュの容量管理が必要になる。図４のようにセカンドキャッシュの容量管理を行う処理を定義し、必要に応じてセカンドキャッシュ内のファイルを削除または適切な場所へ移動を行う。なお、この処理は常に実行されているものである。
【００２９】
すなわち図４において、ステップ〔２１〕では、セカンドキャッシュの磁気ディスクの使用状況をチェックする。次にステップ〔２２〕では、セカンドキャッシュの使用率が決められた閾値以上か判断される。そして、閾値以上のとき（ＹＥＳ）は、ステップ〔２３〕でアクセス頻度の低い順、または最新アクセス時間の古い順にファイルを削除、または適切な場所に移動する。
【００３０】
また、ステップ〔２２〕でセカンドキャッシュの使用率が決められた閾値以上でないとき（ＮＯ）は、ステップ〔２４〕でセカンドキャッシュ上に保存期間を越えたファイルが存在するか判断される。そして、存在するとき（ＹＥＳ）は、ステップ〔２５〕で対象ファイルを削除する。
【００３１】
さらに、ステップ〔２４〕でセカンドキャッシュ上に保存期間を越えたファイルが存在しないとき（ＮＯ）と、ステップ〔２３〕、〔２５〕が終了すると、ステップ〔２６〕で、削除または移動したファイルの状況を主記憶装置（メモリ）２等のデータベースに登録する。このようにして、セカンドキャッシュの容量管理が行われる。
【００３２】
また、セカンドキャッシュは安価ではあるが、信頼性も低いことを前提としているため、ハードウェアのトラブルにより使用不可能になる可能性がある。その場合、セカンドキャッシュのハードウェアを復旧後、図５の処理にしたがい、必要なファイルをリムーバブルメディアから復旧することで欠点を補うものとする。
【００３３】
すなわち図５において、ステップ〔３１〕では、一度使用できなくなったセカンドキャッシュがアクセス可能か判断され、セカンドキャッシュとなる磁気ディスク装置６が交換されるまで待機される。そして交換が行われて、アクセス可能か判断されたとき（ＹＥＳ）は、ステップ〔３２〕でセカンドキャッシュに本来存在すべきファイルがすべてあるか判断される。
【００３４】
さらに、ステップ〔３２〕でファイルがすべてあると判断されなかったとき（ＮＯ）は、ステップ〔３３〕で必要なファイルをリムーバブルメディアより復旧する処理が行われる。また、ステップ〔３２〕でファイルがすべてあると判断されたとき（ＹＥＳ）と、ステップ〔３３〕が終了すると、ステップ〔３４〕で、セカンドキャッシュが復旧していることを主記憶装置（メモリ）２等のデータベースに登録する。このようにして、セカンドキャッシュの交換時の管理が行われる。
【００３５】
こうして、本発明によれば、ＨＳＭソフトウェアにおいて、以下の点が大幅に改善される。
▲１▼アクセス頻度の高い、または最近アクセスされたファイルに対して、アクセス速度をあげるため、１次記憶用の高価な磁気ディスク容量への投資をさげることができる。
▲２▼セカンドキャッシュがハードドラブル等によりアクセス不可能になった場合でも、従来のHSM 機能により、リムーバブルメディアからファイルの復元が可能である。
▲３▼必要に応じて安価なセカンドキャッシュを追加することにより、安価にアクセス速度の早い領域を拡張することが可能になる。またこの時システムの運用をほぼ止めることなく容量拡張が可能になる。
▲４▼セカンドキャッシュを使用するファイルサイズの閾値を設定することにより、小さなファイルを頻繁にアクセスするシステムにおいてもＨＳＭの効果を利用することが可能になる。
【００３６】
従ってこの実施形態において、ＨＳＭにおいて保存先を移動する基準としている「アクセス頻度の高いファイルをなるべく安価で大容量なメディアへ移動する」ことに注目し、安価で大容量なメディアの前に、安価で信頼性が低いがアクセスが早いハードディスクをキャッシュ（セカンドキャッシュ）として採用し、リムーバブルメディアへのアクセスの不便さを補う仕組みを発明したことによって、良好な大規模記憶装置（ＮＡＳ）を構成することができる。
【００３７】
これによって、従来の装置では、ハードディスクとリムーバブルメディアのアクセス性能に開きがあり、比較的サイズの小さいファイルへのアクセスにおいては、ハードディスクへの保存では容量が必要になり、リムーバブルメディアへの保存ではアクセスが遅くなるという問題があったものを、本発明によればこれらの問題点を容易に解消することができるものである。
【００３８】
なお本発明は、上述の説明した実施の形態に限定されるものではなく、本発明の精神を逸脱することなく種々の変形が可能とされるものである。
【００３９】
【発明の効果】
従って発明によれば、ＨＳＭにおいて保存先を移動する基準としている「アクセス頻度の高いファイルをなるべく安価で大容量なメディアへ移動する」ことに注目し、安価で大容量なメディアの前に、安価で信頼性が低いがアクセスが早いハードディスクをキャッシュ（セカンドキャッシュ）として採用し、リムーバブルメディアへのアクセスの不便さを補う仕組みを発明したことによって、良好な大規模記憶装置（ＮＡＳ）を構成することができるものである。
【００４０】
これによって、従来の装置では、ハードディスクとリムーバブルメディアのアクセス性能に開きがあり、比較的サイズの小さいファイルへのアクセスにおいては、ハードディスクへの保存では容量が必要になり、リムーバブルメディアへの保存ではアクセスが遅くなるという問題があったものを、本発明によればこれらの問題点を容易に解消することができるものである。
【図面の簡単な説明】
【図１】本発明によるデータストレージ装置及びデータストレージ方法を適用した大規模記憶装置（ＮＡＳ）の一実施形態の構成を示すブロック図である。
【図２】その動作の説明のためのフローチャート図である。
【図３】その動作の説明のためのフローチャート図である。
【図４】その動作の説明のためのフローチャート図である。
【図５】その動作の説明のためのフローチャート図である。
【符号の説明】
１…中央処理装置（ＣＰＵ）、２…主記憶装置（メモリ）、３…ネットワーク接続ボード、４００…ネットワーク、１００，２００，３００…パーソナルコンピュータ（ＰＣ）、４…入出力チャネル、５…ＳＣＳＩディスクやディスクアレイ等の高価な磁気ディスク装置、６…セカンドキャッシュとなる安価な磁気ディスク装置、７…リムーバブルメディア[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a data storage device and a data storage method suitable for use in, for example, a large-scale storage device (Network Attached Storage) provided on a network. Specifically, the Hierarchical Storage Management function is applied to provide an inexpensive, large-capacity device with excellent accessibility.
[0002]
[Prior art]
For example, there are so-called high-end devices and low-end devices as data storage devices suitable for use in a large-scale storage device (Network Attached Storage: hereinafter abbreviated as NAS) provided on a network. That is, in a high-end device, high-speed access is possible using a storage device such as a highly reliable SCSI disk, but it is extremely expensive.
[0003]
On the other hand, a low-end device uses a relatively inexpensive storage device such as an IDE disk and can be accessed at a relatively high speed, but lacks reliability. Therefore, in order to ensure reliability, it is necessary to separately perform a backup process or the like on the network.
[0004]
On the other hand, as a data management method, for example, a hierarchical storage management (hereinafter abbreviated as HSM) function as described in Patent Document 1 is known.
[0005]
[Patent Document 1]
Japanese Patent Laid-Open No. 2000-148547 [0006]
[Problems to be solved by the invention]
In conventional hierarchical storage management (HSM) software, the hierarchical definition of semiconductor memory → hard disk → removable media (removable disk (MO, DVD, etc.) → removable tape streamer) is common because of the price for access speed and capacity. . However, there is a difference in the access performance of the hard disk and removable media, and access to a relatively small file requires more space for storage on the hard disk, and access to the removable media slows access. there were.
[0007]
This application has been made in view of the above points, and the problem to be solved is that, in the conventional apparatus, there is a difference in the access performance of the hard disk and the removable medium, and the file has a relatively small size. In the case of access, there is a problem that storage is required for storage on a hard disk and access is slow when storage is performed on a removable medium.
[0008]
[Means for Solving the Problems]
That is, in the present invention, paying attention to “move frequently accessed files to as cheap and large-capacity media as possible”, which is the standard for moving the storage destination in the HSM, and before the cheap and large-capacity media, Inventing a mechanism that compensates for the inconvenience of accessing removable media by adopting a hard disk that is low in reliability and quick to access as a cache (second cache). (NAS) can be configured.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
That is, in the present invention, as a processing method for moving a file to a lower hierarchy,
(1) It is determined whether the file to be transferred from the hard disk to the removable medium is below the threshold for using the second cache . If the file is below this threshold, it is decided to store the file in the second cache,
(2) Move (copy) the target file data to the second cache and removable media.
(3) Information on the moved location is stored in the database.
[0010]
In addition, as a processing method when access to the moved file comes to the hard disk,
(1) Check whether the actual file exists on the hard disk, and if it exists, decide to start the process of reading from the hard disk, and if not, starting from the destination.
(2) In the process of reading from the move destination, it is checked whether the file entity exists in the second cache. If it exists , the file is read from the second cache. If not , the file is read from the removable medium at the move destination.
(3) Save the read history in the database.
[0011]
Furthermore, since the capacity of the second cache is finite, as a processing method for managing the capacity,
(1) Investigate whether the usage rate is determined by managing the capacity of the second cache, or whether the file in the second cache is within the retention period,
(2) Delete files that exceed the threshold or move them to an appropriate location.
(3) The deleted or moved information is stored in the database.
[0012]
Hereinafter, the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration of an embodiment of a large-scale storage device (NAS) to which a data storage device and a data storage method according to the present invention are applied.
[0013]
In FIG. 1, a network connection board 3 is provided in a main unit composed of a central processing unit (CPU) 1 and a main storage device (memory) 2, and is connected to a network 400 through this board 3. Arbitrary personal computers (PCs) 100, 200, and 300 are connected to the network 400.
[0014]
Further, an expensive magnetic disk device 5 such as a SCSI disk or a disk array, an inexpensive magnetic disk device 6 serving as a second cache, and a removable medium 7 are connected to the main storage device (memory) 2 via an input / output channel 4. The Note that the above-described magnetic disk device 6 may be an inexpensive magnetic disk device connected to a host existing on a network. The removable medium 7 may be a library device that can manage a plurality of removable media. However, the storage capacity of the removable medium 7 is larger than that of the magnetic disk device 6.
[0015]
In this device, a system for recording / storing data recorded on the magnetic disk device 5 to each storage device arranged in a hierarchical structure using an inexpensive magnetic disk device 6 and an inexpensive removable medium 7 think of.
[0016]
That is, consider a case where it is determined that a file written in the magnetic disk device 5 is to be moved to a low-level storage according to the standard of the HSM software. In the conventional HSM, a file is moved to a removable medium, and the file index information is left on the magnetic disk.
[0017]
On the other hand, in the present invention, when moving a file, if the target file meets the conditions for using the second cache as shown in FIG. 2, a copy is simultaneously saved not only on the removable medium but also on an inexpensive second cache. .
[0018]
That is, in FIG. 2, it is determined in step [1] whether the target file is smaller than the second cache use target size. That is, when the file size is large, the access performance between the magnetic disk device 6 serving as the second cache and the removable medium 7 does not change. Therefore, if the target file is not smaller than the second cache use target size (NO), the target file is moved (copied) to the removable medium 7 in step [2].
[0019]
In step [1], if the target file is equal to or smaller than the second cache use target size (YES), it is determined in step [3] whether there is enough free space in the second cache to store the target file. If not (NO), a free capacity is secured in the second cache by the file management function in the second cache in step [4].
[0020]
Further, when there is free space that can store the target file in the second cache in step [3] (YES), and when free space is secured in the second cache by the file management function, in step [5], the target file is stored. Move (copy) to the second cache and removable media 7.
[0021]
When step [2] and step [5] are completed, in step [6], the file move destination information is registered in a database such as main memory (memory) 2 and managed. In this manner, the file written in the magnetic disk device 5 is moved (copied) to the second cache (magnetic disk device 6) and the removable medium 7.
[0022]
Next, when a file is accessed to the magnetic disk, processing is performed as shown in FIG. That is, in FIG. 3, it is determined in step [11] whether the object file exists on the hard disk (magnetic disk device 5). If it exists (YES), the target file is read from the hard disk as it is in step [12].
[0023]
If the target file does not exist on the hard disk (magnetic disk device 5) at step [11] (NO), whether the target file exists on the second cache (magnetic disk device 7) at step [13]. To be judged. If it exists (YES), it is determined in step [14] whether or not the second cache can be used. If it can be used (YES), the target file is read from the second cache and returned to the hard disk in step [15]. Done.
[0024]
If the target file does not exist on the second cache (magnetic disk device 7) in step [13] (NO), and if the second cache is not usable in step [14] (NO), then in step [16]. The target file is read from the removable medium and returned to the hard disk.
[0025]
Further, when Steps [12], [15], and [16] are completed, the read history is stored in a database such as the main storage device (memory) 2 and managed in Step [17].
[0026]
Thereby, if the file entity exists on the magnetic disk, the file can be read from the magnetic disk as it is. If there is only index information on the magnetic disk, a process of returning the file entity to the magnetic disk is performed. At this time, it is confirmed whether the target file exists in the second cache before accessing the removable medium. If the target file exists in the second cache, the file is read from the second cache and the substance of the file is returned to the magnetic disk.
[0027]
If it does not exist in the second cache, the file entity is read from the removable medium and returned to the magnetic disk as in the prior art. Further, if the second cache is inaccessible but is not accessible, it is read from the removable medium as usual. In this way, processing when a file is accessed to the magnetic disk is performed.
[0028]
Further, since the capacity of the second cache is finite, it is necessary to manage the capacity of the second cache. As shown in FIG. 4, a process for managing the capacity of the second cache is defined, and a file in the second cache is deleted or moved to an appropriate location as necessary. This process is always executed.
[0029]
That is, in FIG. 4, in step [21], the usage status of the second cache magnetic disk is checked. Next, in step [22], it is determined whether the usage rate of the second cache is equal to or greater than a predetermined threshold value. If it is equal to or greater than the threshold (YES), in step [23], the file is deleted or moved to an appropriate place in the order of low access frequency or oldest access time.
[0030]
When the usage rate of the second cache is not equal to or greater than the threshold value determined in step [22] (NO), it is determined in step [24] whether there is a file that has exceeded the storage period in the second cache. If it exists (YES), the target file is deleted in step [25].
[0031]
Furthermore, when there is no file whose retention period has been exceeded in the second cache in step [24] (NO), and when steps [23] and [25] are completed, in step [26] the file deleted or moved The status is registered in a database such as the main memory (memory) 2. In this way, the capacity management of the second cache is performed.
[0032]
The second cache is premised on being inexpensive but having low reliability, and may become unusable due to a hardware problem. In this case, after the second cache hardware is recovered, the necessary file is recovered from the removable medium in accordance with the processing shown in FIG.
[0033]
That is, in FIG. 5, in step [31], it is determined whether the second cache that has become unusable once can be accessed, and the system waits until the magnetic disk device 6 serving as the second cache is replaced. When the exchange is performed and it is determined whether the file can be accessed (YES), it is determined in step [32] whether all the files that should originally exist in the second cache are present.
[0034]
Further, when it is determined in step [32] that all the files are not present (NO), processing for recovering the necessary files from the removable medium is performed in step [33]. When it is determined in step [32] that all files are present (YES), and when step [33] is completed, it is determined in step [34] that the second cache has been restored to the main memory (memory). Register in the second database. In this way, management at the time of replacement of the second cache is performed.
[0035]
Thus, according to the present invention, the following points are greatly improved in the HSM software.
(1) In order to increase the access speed for a frequently accessed file or a recently accessed file, investment in an expensive magnetic disk capacity for primary storage can be reduced.
(2) Even if the second cache becomes inaccessible due to hard dubbing, etc., files can be restored from removable media using the conventional HSM function.
(3) By adding an inexpensive second cache as necessary, it is possible to expand an area with a high access speed at a low cost. At this time, the capacity can be expanded almost without stopping the operation of the system.
(4) By setting a file size threshold value that uses a second cache, the effect of HSM can be used even in a system that frequently accesses small files.
[0036]
Therefore, in this embodiment, paying attention to “move frequently accessed files to as cheap and large capacity media as possible”, which is the standard for moving the storage destination in HSM, and before the cheap and large capacity media, By adopting a mechanism that compensates for the inconvenience of accessing removable media by adopting a hard disk that is low in reliability and quick to access as a cache (second cache), and constructing a good large-scale storage device (NAS) Can do.
[0037]
As a result, the access performance of the hard disk and the removable media is greatly different in the conventional device. Access to a relatively small file requires a capacity for storage on the hard disk, and access for storage on the removable media. However, according to the present invention, these problems can be easily solved.
[0038]
Note that the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the spirit of the present invention.
[0039]
【The invention's effect】
Therefore, according to the invention, paying attention to “move frequently accessed files to as low-cost and large-capacity media as possible” which is the standard for moving the storage destination in HSM By adopting a mechanism that compensates for the inconvenience of accessing removable media by adopting a hard disk that is low in reliability and quick to access as a cache (second cache), and constructing a good large-scale storage device (NAS) It is something that can be done.
[0040]
As a result, the access performance of the hard disk and the removable media is greatly different in the conventional device. Access to a relatively small file requires a capacity for storage on the hard disk, and access for storage on the removable media. However, according to the present invention, these problems can be easily solved.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an embodiment of a large-scale storage device (NAS) to which a data storage device and a data storage method according to the present invention are applied.
FIG. 2 is a flowchart for explaining the operation.
FIG. 3 is a flowchart for explaining the operation.
FIG. 4 is a flowchart for explaining the operation.
FIG. 5 is a flowchart for explaining the operation.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Central processing unit (CPU), 2 ... Main memory (memory), 3 ... Network connection board, 400 ... Network, 100, 200, 300 ... Personal computer (PC), 4 ... I / O channel, 5 ... SCSI disk And expensive magnetic disk devices such as disk arrays, 6 ... inexpensive magnetic disk devices that serve as a second cache, 7 ... removable media

Claims

A first storage device provided with a means for increasing reliability;
A second storage device capable of relatively high speed access;
A third storage device that is relatively slow but capable of storing large volumes;
Have
As a process of moving a file determined to be moved from the first storage device to the third storage device ,
(1) It is determined whether the size of a file to be moved from the first storage device to the third storage device is less than a threshold value, and if it is less than the threshold value, it is also stored in the second storage device. Decide
(2) Move the file to both the second storage device and the third storage device,
(3) Information on the moved location is stored in a database, and processing when the moved file is accessed is as follows:
(1) It is determined whether or not the accessed file exists in the first storage device. When the file exists, reading from the first storage device is started, and when it does not exist, a process of reading from the destination is started. Decide
(2) In the process of reading from the migration destination, it is determined whether the accessed file exists in the second storage device. If the file exists, the file is read from the second storage device, and if not, the third file is read. Read from the storage device,
(3) A means for storing the read history in a database and performing the above processing is provided .
Data storage devices.

The data storage device according to claim 1, wherein
Further, as a process for capacity management of the second storage device,
(1) It is determined whether the usage rate of the capacity of the second storage device is within a predetermined range, and whether it is within the retention period of the file stored in the second storage device,
(2) When the usage rate exceeds the threshold value, the file exceeding the retention period is deleted or moved to an appropriate location.
(3) A means for storing the deleted or moved information in a database and performing the above processing is provided .
Data storage devices.

The data storage device according to claim 1, wherein
As a process when the second storage device is replaced,
(1) Determine whether the second storage device is usable,
(2) Determine whether all the files to be stored in the second storage device are stored. If not, restore the files from the third storage device.
(3) There is provided means for storing in the database information that all the files to be stored in the second storage device have been restored and performing the above processing .
Data storage devices.

As a process of moving a file that has been determined to be moved from the first storage device with the means for improving the reliability to the third storage device ,
(1) It is determined whether the size of a file to be moved from the first storage device to the third storage device is equal to or smaller than a threshold value . It decided to store in the second storage device,
(2) Move the file to both the second storage device and a third storage device capable of storing a relatively large amount of data,
(3) Information on the moved location is stored in a database, and processing when the moved file is accessed is as follows:
(1) It is determined whether or not the accessed file exists in the first storage device. When the file exists, reading from the first storage device is started, and when it does not exist, a process of reading from the destination is started. Decide
(2) In the process of reading from the migration destination, it is determined whether the accessed file exists in the second storage device. If the file exists, the file is read from the second storage device, and if not, the third file is read. Read from the storage device,
(3) Save the read history in the database
This data storage method.

The data storage method according to claim 4, wherein
Further, as a process for capacity management of the second storage device,
(1) It is determined whether the usage rate of the capacity of the second storage device is within a predetermined range, and whether it is within the retention period of the file stored in the second storage device,
(2) When the usage rate exceeds the threshold value, the file exceeding the retention period is deleted or moved to an appropriate location.
▲ 3 ▼ save the deleted or moved the information in the database
Data storage method.

The data storage method according to claim 4, wherein
As a process when the second storage device is replaced,
(1) Determine whether the second storage device is usable,
(2) Determine whether all the files to be stored in the second storage device are stored. If not, restore the files from the third storage device.
▲ 3 ▼ save the information to which the second file to be stored in the storage device is restored all databases
Data storage method.