JP2008016028A - 広域複製を持つ分散記憶システム - Google Patents

Abstract

【課題】記憶の広域配置能力を持つ分散記憶システムにおいて、Ｉ／Ｏコマンドの処理の負荷を記憶アレイ全体で均一に分担するような装置および方法を提供する。
【解決手段】アクセス・コマンドを遠隔装置と記憶空間との間で渡すための、ネットワークにより遠隔装置に接続可能な仮想エンジンを備える装置および方法を提供する。複数のインテリジェント記憶要素（ＩＳＥ）は、アクセス・コマンドが同時に仮想エンジンと第１のＩＳＥとの間で渡されていることとは独立に、未処理のアクセス・コマンドを処理するのに十分なだけのブロック・サイズのデータを第１のＩＳＥから第２のＩＳＥに複製する。
【選択図】図１２

Description

本発明は一般に分散データ記憶システムの分野に関するものであって、より詳しくは分散記憶システム内に読取り専用データを広域に複製するための機器および方法に関するが、これに限定するものではない。

産業標準構造のデータ転送速度がインテル（登録商標）社製の８０３８６プロセッサのデータ・アクセス速度に追いつかなくなると、コンピュータ・ネットワーク化が急速に広まった。ネットワーク内のデータ記憶容量を強化することにより、ローカル・エリア・ネットワーク（ＬＡＮ）は記憶エリア・ネットワーク（ＳＡＮ）に発展した。ＳＡＮ内の設備と、この設備が処理する関連するデータとを強化することにより、例えば直接付属する記憶装置より一回り大きな記憶を妥当なコストで処理することができるなどの非常に大きな利益をユーザは実現した。

最近の動向は、データ記憶サブシステムを制御するというネットワーク中心方式に移ってきた。すなわち、記憶を強化したのと同じようにして、記憶の機能を制御するシステムもサーバからネットワーク自身に移されている。例えば、ホスト・ベースのソフトウエアは、保全および管理の仕事をインテリジェント・スイッチにまたは専用のネットワーク記憶サービス・プラットフォームに任せる。機器ベースの方式を用いるのでホスト内で走るソフトウエアは必要でなくなり、またこの方式は企業内のノードとして設けられたコンピュータ内で動作する。いずれにしても、インテリジェント・ネットワーク方式は、記憶割当てルーチン、バックアップ・ルーチン、および耐故障性設計などの仕事をホストから独立して集中化することができる。

知能をホストからネットワークに移すことにより問題の一部は解決されるが、ホストへの仮想記憶の提示を変更することが一般に困難であるという固有の問題は解決されない。例えば、１台のコントローラの指示の下に記憶されたデータが別のコントローラの記憶空間内で一層効率的にアクセスできることがある。この場合は、ホストまたはネットワークはまずそのデータをコピーして別のコントローラが利用できるようにしなければならない。必要なのは、それぞれのデータ記憶容量を自発的に決定して割当て、管理し、保護して、その容量を仮想記憶空間としてネットワークに提示してシステム全体でＩ／Ｏ性能を最適にするインテリジェント・データ記憶サブシステムである。この仮想記憶空間は多重記憶ボリュームとして配置することができる。分散計算環境では、かかるインテリジェント記憶要素を用いてＩ／Ｏコマンドの処理の負荷を記憶アレイ全体でできるだけ均一に分担する。本発明の実施の形態はこの方式に関するものである。

本発明の実施の形態は、一般に広域複製能力を持つ分散記憶システムに関するものである。
或る実施の形態では、アクセス・コマンドを遠隔装置と記憶空間との間で渡すための、ネットワークにより遠隔装置に接続可能な仮想エンジンを備えるデータ記憶システムを提供する。複数のインテリジェント記憶要素（ＩＳＥ）は、アクセス・コマンドが同時に仮想エンジンと第１のＩＳＥとの間で渡されていることとは独立に、データを第１のＩＳＥから第２のＩＳＥに複製する。

或る実施の形態では、仮想エンジンとＩＳＥとの間のアクセス・コマンドを処理し、同時にデータをＩＳＥから別の記憶空間に複製する方法を提供する。
或る実施の形態では、仮想エンジンが個別にアドレス指定できる複数のＩＳＥと、インテリジェント記憶要素の間でデータを複製する手段とを備えるデータ記憶装置を提供する。
本発明の特徴を示すこれらの機能や利点は以下の詳細な説明を読みまた関連する図面を参照すれば明らかになる。

図１は本発明の実施の形態が有用である例示のコンピュータ・システム１００である。１台以上のホスト１０２が、ローカル・エリア・ネットワーク（ＬＡＮ）および／またはワイド・エリア・ネットワーク（ＷＡＮ）１０６を介して１台以上のネットワーク付属のサーバ（ＮＡＳ）１０４にネットワーク接続されている。好ましくは、ＬＡＮ／ＷＡＮ１０６は、ワールド・ワイド・ウェブにより通信するためにインターネット・プロトコル（ＩＰ）ネットワーキング・インフラストラクチャを用いる。ホスト１０２は、サーバ１０４内に常駐して多数のインテリジェント記憶要素（ＩＳＥ）１０８の１台以上に記憶されたデータを日常的に必要とするアプリケーションにアクセスする。このため、記憶されたデータにアクセスできるようにＳＡＮ１１０はサーバ１０４をＩＳＥ１０８に接続する。ＩＳＥ１０８は直列ＡＴＡやファイバ・チャネルなどの種々の選択された通信プロトコルによりデータを記憶するデータ記憶容量１０９のブロックを備え、その中に企業クラスまたはデスクトップ・クラスの記憶媒体を含む。

図２は、図１のコンピュータ・システム１００の簡単な線図である。ホスト１０２は、ネットワークまたは構造１１０を介して相互におよび１対のＩＳＥ１０８（それぞれＡおよびＢで示す）と情報を交換する。各ＩＳＥ１０８は二重冗長コントローラ１１２（Ａ１，Ａ２およびＢ１，Ｂ２で示す）を含む。好ましくはコントローラ１１２は、独立ドライブの冗長アレイ（ＲＡＩＤ）として特徴づけられる一組のデータ記憶装置であるデータ記憶容量１０９に作用する。コントローラ１１２およびデータ記憶容量１０９は好ましくは耐故障性配置を用いるので、種々のコントローラ１１２は並列の冗長なリンクを用い、システム１００内に記憶されるユーザ・データの少なくとも一部はデータ記憶容量１０９の少なくとも一組内に冗長形式で記憶される。

更に、Ａホスト・コンピュータ１０２およびＡ−ＩＳＥ１０８は物理的に第１のサイトにあり、Ｂホスト・コンピュータ１０２およびＢ−ＩＳＥ１０８は物理的に第２のサイトにあり、Ｃホスト・コンピュータ１０２は更に第３のサイトにあってよい。ただしこれは単なる例であって、限定するものではない。分散コンピュータ・システム上の全てのエンティティは或るタイプのコンピュータ・ネットワークにより接続される。

図３は本発明の実施の形態に従って構築されたＩＳＥ１０８を示す。棚１１４は、コントローラ１１２を受けて係合して中央板１１６と電気的に接続するための空洞を定義する。棚１１４はキャビネット（図示しない）内に支持される。棚１１４は１対の多重ディスク組立体（ＭＤＡ）１１８を中央板１１６の同じ側に受けて係合する。中央板１１６の反対側には、緊急電源である二重電池１２２、二重交流電源１２４、および二重インターフェース・モジュール１２６が接続する。好ましくは、二重構成要素ではＭＤＡ１１８の一方または両方が同時に動作するので、１つの構成要素が故障した場合はバックアップ保護を行うことができる。

図４は本発明の或る実施の形態に従って構築されたＭＤＡ１１８の拡大部分組立分解等角図である。ＭＤＡ１１８は上部１３０と下部１３２とを有し、それぞれは５個のデータ記憶装置１２８を支持する。区画１３０，１３２は、中央板１１６（図３）と係合するコネクタ１３６を有する共通回路板１３４と接続できるようにデータ記憶装置１２８を揃える。カバー１３８は電磁妨害を遮蔽する。ＭＤＡ１１８のこの例示の実施の形態は、特許出願１０／８８４，６０５、「多重ディスク・アレイの搬送装置および方法（Ｃａｒｒｉｅｒ Ｄｅｖｉｃｅ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ ａ Ｍｕｌｔｉｐｌｅ Ｄｉｓｃ Ａｒｒａｙ）」の主題である。これは本発明の被譲渡人に譲渡されたものであって、ここに援用する。ＭＤＡの別の例示の実施の形態は同じタイトルの特許出願１０／８１７，３７８の主題である。これも本発明の被譲渡人に譲渡されたものであって、ここに援用する。後で説明するが、別の同等の実施の形態では、密閉された容器内にＭＤＡ１１８を収めてよい。

図５は、本発明の実施の形態で用いるのに適した、回転する媒体ディスク・ドライブの形の例示のデータ記憶装置１２８の等角図である。以下の説明のために、動くデータ記憶媒体と共に回転するスピンドルを用いるが、別の同等の実施の形態では、固体メモリ装置などの非回転媒体装置を用いる。データ記憶ディスク１４０はモータ１４２により回転して、ディスク１４０のデータ記憶位置を読取り／書込みヘッド（単に「ヘッド」と呼ぶ）１４３に提示する。ヘッド１４３は、ディスク１４０の内側と外側のトラックの間にヘッド１４３を半径方向に動かす回転アクチュエータ１４４の先端に支持される。ヘッド１４３は可撓回路１４６により回路板１４５に電気的に接続する。回路板１４５はデータ記憶装置１２８の機能を制御する制御信号を受けたり送ったりする。コネクタ１４８は回路板１４５に電気的に接続し、データ記憶装置１２８とＭＤＡ１１８の回路板１３４（図４）とを接続する。

図６は本発明の実施の形態に従って構築されたＩＳＥ１０８の線図である。コントローラ１１２はインテリジェント記憶プロセッサ（ＩＳＰ）１５０と共に動作してデータの完全性の信頼性を管理する。ＩＳＰ１５０は、コントローラ１１２内、ＭＤＡ１１８内、またはＩＳＥ１０８内のどこか別のところに常駐してよい。

管理された信頼性の態様はＲＡＩＤ方式などの信頼できるデータ記憶フォーマットを作ることを含む。例えば、複数の異なるＲＡＩＤフォーマットの選択された１つを選択的に用いるシステムを形成することによりデータ記憶のための比較的強いシステムを作り、またＭＤＡ１１８を管理するのに用いるソフトウエアの複雑さを軽減すると共に記憶の故障状態から比較的速く回復できるようにファームウエア・アルゴリズムを最適にすることができる。この多重ＲＡＩＤフォーマット・システムのこれらの態様は、特許出願１０／８１７，２６４、「記憶媒体データ構造および方法（Ｓｔｏｒａｇｅ Ｍｅｄｉａ Ｄａｔａ Ｓｔｒｕｃｔｕｒｅ ａｎｄ Ｍｅｔｈｏｄ）」に記述されている。これは本発明の被譲渡人に譲渡されたものであって、ここに援用する。

管理された信頼性は、システムを監視して使用することに基づく診断および訂正ルーチンのスケジューリングも含んでよい。データ回復の方法はデータをコピーしまた再構築することで行う。ＩＳＰ１５０は、データを失わずにデータ記憶容量全体を「自己治癒」しやすくするようにしてＭＤＡ１１８と共に組み込む。ここで考えた管理された信頼性のこれらの態様は、特許出願１０／８１７，６１７、「管理された信頼性の記憶システムおよび方法（Ｍａｎａｇｅｄ Ｒｅｌｉａｂｉｌｉｔｙ Ｓｔｏｒａｇｅ Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ）」に開示されている。これは本発明の被譲渡人に譲渡されたものであって、ここに援用する。管理された信頼性の他の態様は、予め決められた規則に関する予測的故障表示への応答の速さを含む。これは例えば、特許出願１１／０４０，４１０、「分散記憶システムにおける予測された故障からの決定論的な予防的回復（Ｄｅｔｅｒｍｉｎｉｓｔｉｃ Ｐｒｅｖｅｎｔｉｖｅ Ｒｅｃｏｖｅｒｙ Ｆｒｏｍ ａ Ｐｒｅｄｉｃｔｅｄ Ｆａｉｌｕｒｅ ｉｎ ａ Ｄｉｓｔｒｉｂｕｔｅｄ Ｓｔｏｒａｇｅ Ｓｙｓｔｅｍ）」に開示されている。これは本発明の被譲渡人に譲渡されたものであって、ここに援用する。

図７は１対の冗長なＩＳＰ１５０が常駐するＩＳＰ回路板１５２を示す線図である。ＩＳＰ１５０は、データ記憶容量１０９とＳＡＮ構造１１０とをインターフェースする。各ＩＳＰ１５０は、経路選択、ボリューム管理、およびデータ移動および複製などの種々の記憶サービスを管理してよい。ＩＳＰ１５０はＩＳＰ回路板１５２を、バス１５８により結合される２つのＩＳＰサブシステム１５４，１５６に分割する。ＩＳＰサブシステム１５４は「Ｂ」で示すＩＳＰ１５０を含む。これはリンク１６０によりＳＡＮ構造１１０に、またリンク１６２によりデータ記憶容量１０９に接続する。ＩＳＰサブシステム１５４は実時間オペレーティング・システムを実行するポリシー・プロセッサ１６４も含む。ＩＳＰ１５０とポリシー・プロセッサ１６４とはバス１６６により通信し、また両者はメモリ１６８と通信する。

図８は、本発明の実施の形態に従って構築された例示のＩＳＰサブシステム１５４の線図である。ＩＳＰ１５０は、クロス・ポイント・スイッチ（ＣＰＳ）１８６メッセージ・クロスバーを介してリスト・マネージャ１８２，１８４と通信する多数の機能コントローラ（１７０−１８０）を含む。このように、機能コントローラ（１７０−１８０）は所定の条件に応じてそれぞれＣＰＳメッセージを生成し、ＣＰＳ１８６を通してこのメッセージをリスト・マネージャ１８２，１８４に送り、メモリ・モジュールにアクセスしたりＩＳＰ１５０の活動を起こしたりしてよい。同様に、リスト・マネージャ１８２，１８４からの応答はＣＰＳ１８６を介して機能コントローラ（１７０−１８０）のどれかに送ってよい。図８の配置および関連する説明は例であって、本発明の考えられる実施の形態を制限するものでなない。

ポリシー・プロセッサ１６４は、ＩＳＰ１５０を介して望ましい動作を実効するようプログラムすることができる。例えば、ポリシー・プロセッサ１６４はＣＰＳ１８６を介してリスト・マネージャ１８２，１８４と通信して（すなわち、メッセージを送りまた受けて）よい。ポリシー・プロセッサ１６４への応答は、メモリ１６８レジスタの読取りを知らせる割込みとして働いてよい。

図９は、インテリジェント・コントローラ１１２により、予め選択された複数の通信プロトコル（ＦＣ、ｉＳＣＳＩ、またはＳＡＳなど）のどれかでホスト１０２と通信するＩＳＥ１０８の優れた柔軟性を示す線図である。ＩＳＥ１０８は、ホスト・コマンドの取出しレベルを確認し、これに従ってコマンドに関連する物理的記憶１０９に仮想記憶ボリュームをマップするようプログラムしてよい。

本発明の目的では、「仮想記憶ボリューム」という用語は、物理的記憶の論理的取出しに一般に対応する論理エンティティを意味する。「仮想記憶ボリューム」は、例えば、固定のブロック構造内の連続的にアドレス指定されたアドレス・ブロックまたはカウント・キー・データ（ｃｏｕｎｔ-ｋｅｙ−ｄａｔａ）構造内の記録であるかのように（論理的に）扱われるエンティティを含んでよい。仮想記憶ボリュームは物理的に２つ以上の記憶要素上にあってよい。

図１０は、任意のホスト１０２と独立にＩＳＥ１０８が行ってよいデータ管理サービスのタイプを示す線図である。例えば、耐故障性のデータ完全性のためにＲＡＩＤ管理を局所で制御して、データのストライピングは望ましい数のデータ記憶装置１２８₁，１２８₂，１２８₃，．．．，１２８_n内で行ってよい。仮想化サービスを局所で制御して、メモリ容量を論理エンティティに割り当てたり割り当てを外したりしてよい。上に説明した管理された信頼性方式や同じＩＳＥ１０８内の論理ボリュームの間のデータの複製などのアプリケーション・ルーチンも同様に局所で制御してよい。この記述およびクレームの目的では、「移動する」または「移動」という用語はデータを原始から宛先に移すことにより、移動完了の一部として原始のデータをなくすことを指す。これはデータを「複製する」または「複製」とは逆で、複製の場合はデータを原始から宛先に複写する。ただし、宛先で別の名前になる。本発明では、データの完全性を保つ場所以外でデータの読取り専用コピーを効率的に作るために複製を行う。

図１１は、アクセス・コマンド（Ｉ／Ｏコマンド）をホスト装置１０２と複数のＩＳＥ１０８の選択された１台との間で渡すために仮想エンジン２００がＳＡＮ１０６により遠隔ホスト装置１０２と通信する、というデータ記憶システム１００の実施の形態を示す。各ＩＳＥ１０８は、アクセス・コマンドを渡すために仮想エンジン２００がユニークにアドレス指定できる２つのポート２０２，２０４および２０６，２０８を有する。データ転送ボトルネックを作らずにデータ複製を促進するため、以下にこの実施の形態が、ホスト・アクセス・コマンドの処理とは独立にまた同時に、ＩＳＥ１０８の間でデータを複製する方法を説明する。また、データを複製するときのデータ転送速度を変えることにより、システム１００のアプリケーション性能への影響を最適にすることができる。

ＩＳＥ１０８−１では、ＩＳＰ１５０はデータ記憶装置１２８の物理的データ・パック２１２に関する論理ボリューム２１０を作成する。説明のために、データ・パック２１２の記憶容量の４０％を論理ボリューム２１０内の論理ディスク２１４に割り当てたと仮定する。やはり説明のために、データ・パック２１２および以下の全ての他のデータ・パックは、データ記憶のための８個のデータ記憶装置１２８と２個の予備データ記憶装置１２８とを含むと仮定する。更に図１１から認識されるように、ＩＳＥ１０８−１では他方のデータ・パック２１６は９３％を論理ディスク２１８に割り当て、ＩＳＥ１０８−２ではデータ・パック２２０，２２２は論理ディスク２２４，２２６にそれぞれ３０％および４０％を割り当てたと仮定する。

仮想エンジン２００は論理ディスク２１４から論理ボリューム２２４を作成し、またホストからの記憶空間の要求に応じて論理ディスク２２６を作成してこれをホスト１０２にマップした。

或る予め定義された条件では、特定のＬＵＮ（論理ユニット番号）ではユニット・マスタ・コントローラ以外のコントローラでアクセス・コマンドを処理する方がよい。冗長のために予め決められたアレイ内の全てのデータをコピーするミラリングとは異なり、この実施の形態は、比較的高い性能でアクセス・コマンドを処理できそうな条件下で、狭い、データの読取り専用コピーをターゲット記憶空間に向ける。

説明のための例として、ＬＵＮ内のデータのアクセス・コマンドを受けたが、ＩＳＥ１０８−１内のコントローラＡは現在順次のデータ・アクセス・コマンドをストリーミング中であるとする。この並列のコマンドを処理するために、コマンドのストリーミングを中断したりストリーミングが終わるまで待ったりするのではなく、コントローラＡはＬＵＮの全てまたは一部の読取り専用コピーを、図１２に示すＩＳＥ１０８−２などの異なる記憶空間に複製してよい。

一般に、ユニット・マスタ・コントローラは未処理のアクセス・コマンドを処理するために、システムを見渡して比較的高い処理能力を有する別の記憶空間を識別することができる。この別の記憶空間は内部にそのユニット・マスタ・コントローラ内にあっても、外部に同じＩＳＥ１０８内の別のコントローラ内にあっても、または広域に別のＩＳＥ１０８内にあってもよい。いずれの場合も、比較的な処理能力は任意の多数の望ましいパラメータに関して決めてよい。例えば、アクセス・コマンドを処理するための資源の利用可能度を比較してよい。別の例では、Ｉ／Ｏコマンド・キュー深さの質または量の比較を用いてもよいし、管理された信頼性要因の比較を用いてもよい。

認識されるように、この実施の形態は、特定のアクセス・コマンドを処理するためにデータのスナップショット・コピーだけを別の記憶空間に複製することを考える。データの完全性は原始ＬＵＮ内で保たれる。
また認識されるように、図１２の例示の実施の形態は全ＬＵＮを別の記憶空間内に複製することを示す。または、未処理のアクセス・コマンドを処理するのにＬＵＮの一部だけが必要な場合は、その部分だけを複製してよい。同様に、それぞれ割り当てられたサブＬＵＮと共にＬＵＮの全てまたは一部だけを、またはサブＬＵＮの全てまたは一部だけをコピーしてもよい。一般に、複製されたデータは未処理のアクセス・コマンドを処理するのに必要なものだけにすべきである。

図１３は、本発明の実施の形態に係る広域複製の方法２５０を実行するステップの例の流れ図である。この方法はブロック２５２で、システムの通常のＩ／Ｏ処理モードで実行する。ブロック２５４で、最後のＩ／Ｏコマンドの処理が終わったかどうか判定する。イエスの場合はこの方法は終了する。

ブロック２５６で広域複製を考える方がよい条件が存在するかどうか判定する。例えば、現在複数のＩＳＥの間で負荷が比較的均一に分担されていて、ユニット・コントローラ自身の記憶空間を使うのがよいという結果になりそうな場合は、アクセス・コマンドを記憶するときにいつも最適な記憶空間を探すことに決めない方が、貴重な資源を保存できるであろう。しかし当業者が認識するように、広域複製モードを実行する方がよい条件が他に存在することがある。例えば、管理された信頼性が特定のＩＳＥ１０８に関する場合や、コントローラが順次データの処理にかかっている場合や、特定のＩＳＥ１０８は現在遊休状態なので利用可能な比較的大きな資源ベースを有する場合などであるが、これらに限定されるわけではない。

ブロック２５６の判定がイエスの場合は、ブロック２５８で、広域複製の候補のアクセス・コマンドが存在するかどうか判定する。この場合も、各アクセス・コマンドを調べるのではなくシステム性能を低下させそうなものを調べるためのしきい値を決定するとよい。例えば、ユニット・マスタ・コントローラが順次データの処理にかかっているという上に述べた状況は、未処理の並列のアクセス・コマンドを処理する候補になりそうである。別の例は、ユニット・マスタ・コントローラがショート・ストローキング・ルーチンにかかっているので、未処理のアクセス・コマンドをルーチンから外す必要がある場合である。

ブロック２５８の判定がイエスの場合は、ブロック２６０で、未処理のアクセス・コマンドを処理するのに最適な記憶空間を決定する。上に述べたように、この決定は一般に、未処理のアクセス・コマンドを処理するのにどの記憶空間が比較的高い処理能力を持っているかについて行う。「比較的高い処理能力」は、資源の利用可能性、未処理のＩ／Ｏコマンド・キュー深さ、および管理された信頼性に関して決定してよいが、これらに限定されるわけではない。ターゲットの記憶空間はユニット・マスタ・コントローラに関して内部に、外部に、または広域にあってよい。

最後に、ブロック２６２で、ユニット・マスタ・コントローラはブロック２６０で決定した記憶空間に読取り専用コピーを複製する。上に説明したように、複製されたデータ・ブロックのサイズは好ましくは未処理のアクセス・コマンドを処理するのに必要なだけのサイズでよい。例えば、複製されたデータはＬＵＮの全てまたは一部だけ、ＬＵＮおよびその各サブＬＵＮの全てまたは一部だけ、またはサブＬＵＮの全てまたは一部だけを含んでよい。

当業者が認識するように、この方法は、データをどこに記憶するかを予め決めて原始データの完全コピーを記憶するデータ・ミラリングとは異なる。この実施の形態はデータを第２のＩＳＥ１０８内に複製して第１のアクセス・コマンドを処理し、次に同じデータを別の第３のＩＳＥ１０８内に複製して第２のアクセス・コマンドを処理してよい。

最後に、図１４は図４と同様の図であるが、複数のデータ記憶装置１２８および回路板１３４は、ベース１９０とこれに付属する密閉カバー１９２とで形成される密閉容器内に収められる。ＭＤＡ１１８Ａを形成するデータ記憶装置１２８を密閉して係合すると、データ記憶装置１２８の配置が予め選択された最適配置から変わることがないなどの種々の利点がある。またデータ記憶装置１２８の数、サイズ、タイプを明確に定義できる場合は、かかる配置によりＭＤＡ１１８Ａの製作者は最適性能になるようにシステムを調整することができる。

またＭＤＡ１１８Ａを密閉すると、製作者は内部の記憶媒体のグループの信頼性および耐故障性を最大にすることができると同時に、ＭＤＡ１１８Ａの寿命がある限りほとんどサービスをしなくてよい。これは、多スピンドル配置のドライブを最適化することにより行う。設計の最適化により、コストが下がり、性能が向上し、信頼性が向上し、ＭＤＡ１１８Ａ内のデータの寿命が一般に延びる。更に、ＭＤＡ１１８Ａ自体の設計により回転振動がほとんどなくなり、冷却効率の高い環境が得られる。これは出願中の米国特許出願１１／１４５，４０４、「強化されたＲＶＩを持つ記憶アレイ（Ｓｔｏｒａｇｅ Ａｒｒａｙ ｗｉｔｈ Ｅｎｈａｎｃｅｄ ＲＶＩ）」の主題である。これは本出願の被譲渡人に譲渡されている。これにより、ＭＤＡ１１８の信頼性、性能、または容量を落とさずに内部の記憶媒体を低コストで製作することができる。このようにＭＤＡ１１８Ａを密閉すると、単点故障がなくなり、回転振動の除去と冷却効率がほとんど完全になる。これにより、ディスク媒体特性が最適になるようにＭＤＡ１１８Ａを設計し、コストを下げ、同時に信頼性および性能を高めることができる。

要約すると、複数の回転可能なスピンドルを含む分散記憶システム用の内蔵のＩＳＥを提供する。各スピンドルはそれぞれ独立に動くアクチュエータに近接して記憶媒体を支持し、アクチュエータは記憶媒体との間でデータを記憶しまた検索する。ＩＳＥは更に、分散記憶システムの遠隔装置が用いるように仮想記憶ボリュームを複数の媒体にマップするＩＳＰを含む。

或る実施の形態では、ＩＳＥは共通の密閉されたハウジング内に収められた複数のスピンドルおよび媒体を有する。好ましくは、ＩＳＰはＲＡＩＤ方式などの故障に耐える方法でデータを記憶するために仮想記憶ボリューム内にメモリを割り当てる。更にＩＳＰはデータ記憶プロセス中に、予測される記憶の故障を検出すると決定論的な予防的回復ステップを自発的に開始するなどの管理された信頼性方式を実行することができる。好ましくは、ＩＳＥは、それぞれが２個以上のディスクのデータ記憶媒体から形成されディスク・スタックを有する複数のデータ記憶装置で形成する。

別の実施の形態では、ＩＳＥは、内蔵の複数の離散的データ記憶装置と、データ記憶装置と通信して遠隔装置から受信したコマンドを取り出してこれに関係するメモリを関連付けるＩＳＰとを備える分散記憶システムに用いる。好ましくは、分散記憶システムの１つ以上の遠隔装置が用いるために、ＩＳＰは仮想記憶ボリュームを複数のデータ記憶装置にマップする。前と同様に、複数のデータ記憶装置および媒体は共通の密閉されたハウジング内に収めてよい。好ましくは、ＲＡＩＤ方式などの故障に耐える方法でデータを記憶するために、ＩＳＰは仮想記憶ボリューム内にメモリを割り当てる。更にＩＳＰは、予測される記憶の故障を検出するとデータ記憶装置内で決定論的な予防的回復ステップを自発的に開始する。

別の実施の形態では、ホストと、ネットワークによりホストと通信する後部記憶サブシステムと、ホストに無関係に内蔵の記憶容量を仮想化する手段とを備える分散記憶システムを提供する。

仮想化する手段は、複数の離散的で個別にアクセス可能なデータ記憶ユニットを特徴としてよい。仮想化する手段は、複数のデータ記憶ユニットに関連する記憶容量の仮想ブロックをマップすることを特徴としてよい。仮想化する手段は、複数のデータ記憶ユニットおよび関連する制御を密閉して収めることを特徴としてよい。仮想化する手段は、限定されないがＲＡＩＤ方式などの故障に耐える方法でデータを記憶することを特徴としてよい。仮想化する手段は、予測される記憶の故障を検出すると決定論的な予防的回復ステップを自発的に開始することを特徴としてよい。仮想化する手段は、多重スピンドル・データ記憶アレイを特徴としてよい。

ここの目的では、「仮想化する手段」という用語は、それぞれのデータ記憶サブシステム以外のどこかにデータ記憶空間をマップするためのシステム知能を含む前に試みた解決策を明白には考えない。例えば、「仮想化する手段」は記憶マネージャを用いてデータ記憶サブシステムの機能を制御することは考えないし、またＳＡＮ構造内またはホスト内にマネージャまたはスイッチを置くことも考えない。

またはこの実施の形態は、アクセス・コマンドを遠隔装置と記憶空間との間で渡すための、ネットワークにより遠隔装置に接続する仮想エンジンを備えるデータ記憶システムを特徴とする。データ記憶システムは更に、アクセス・コマンドを渡すために仮想エンジンがユニークにアドレス指定できる複数のインテリジェント記憶要素（ＩＳＥ）を有する。仮想エンジンと第１のＩＳＥとの間でアクセス・コマンドを渡すのとは無関係に、同時にＩＳＥは第１のＩＳＥから第２のＩＳＥにデータを移す。

或る実施の形態では、各ＩＳＥは複数の回転可能なスピンドルを有し、各スピンドルはそれぞれ独立に動くアクチュエータに近接して記憶媒体を支持し、アクチュエータは記憶媒体との間でデータを記憶しまた検索する。複数のスピンドルおよび媒体は共通の密閉されたハウジング内に収めてよい。

各ＩＳＥは仮想記憶ボリュームを複数の媒体にマップして管理するためのプロセッサを有する。各ＩＳＥプロセッサは、好ましくは複数の異なる独立ドライブの冗長アレイ（ＲＡＩＤ）方式の選択された１つなどの故障に耐える方法でデータを記憶するために仮想記憶容量内にメモリを割り当てる。

各ＩＳＥプロセッサは記憶の故障を検出すると決定論的な予防的回復ステップを自発的に行ってよい。これを行うとき、各ＩＳＥプロセッサは記憶の故障を検出すると第２の仮想記憶容量を割り当ててよい。或る実施の形態では、各ＩＳＥプロセッサは異なるＩＳＥ内に第２の仮想記憶容量を割り当てる。

この実施の形態は更に、仮想エンジンとインテリジェント記憶要素との間のアクセス・コマンドを処理し、同時にインテリジェント記憶要素から別の記憶空間にデータを移すための方法として特徴づけられる。

処理するステップは、インテリジェント記憶要素が仮想記憶ボリュームを内蔵の物理的記憶にマップして管理することを特徴としてよい。好ましくは移すステップは、記憶の故障を検出するとインテリジェント記憶要素が決定論的な予防的回復ステップを自発的に開始することを特徴とする。

移すステップは、記憶の故障を検出するとインテリジェント記憶要素が第２の仮想記憶ボリュームを割り当てることを特徴としてよい。或る実施の形態では、移すステップは、処理するステップで仮想エンジンが異なるアドレスを指定した物理的記憶に関して第２の仮想記憶ボリュームを割り当てることを特徴とする。例えば、移すステップは、第２の仮想記憶ボリュームをインテリジェント記憶要素の内部で割り当てることを特徴としてよい。または、移すステップは、第２の仮想記憶ボリュームをインテリジェント記憶要素の外部で割り当てることを特徴としてよい。すなわち、移すステップは、第２のインテリジェント記憶要素内に第２の仮想記憶ボリュームを割り当てることを特徴とする。

処理するステップは、メモリを割り当てて故障に耐える方法でデータを記憶することを特徴としてよい。また処理するステップは、共通の密閉されたハウジング内でデータを転送しながらデータ転送要素および記憶媒体を互いに動かすことを特徴としてよい。

またはこの実施の形態は、仮想エンジンが個別にアドレス指定できる複数のインテリジェント記憶要素と、データをインテリジェント記憶要素の間で移す手段とを持つデータ記憶システムを特徴とする。この記述およびクレームの目的では、ここに説明した構造およびその同等物に関して「移す手段」という用語は、ホストのアクセス・コマンドに関連する通常のＩ／Ｏコマンド処理を中断せずにデータを或る論理ユニットから別の論理ユニットに複製することを意味する。

またはこの実施の形態は、アクセス・コマンドを遠隔装置と記憶空間との間で渡すための、ネットワークにより遠隔装置に接続可能な仮想エンジンを備えるデータ記憶システムを特徴とする。複数のＩＳＥは、アクセス・コマンドが同時に仮想エンジンと第１のＩＳＥとの間で渡されていることとは独立に、データを第１のＩＳＥから第２のＩＳＥに複製する。各ＩＳＥは複数の回転可能なスピンドルを有し、各スピンドルはそれぞれ独立に動くアクチュエータに近接して記憶媒体を支持し、アクチュエータは記憶媒体との間でデータを記憶しまた検索する。

複製されたデータは、一般に未処理のアクセス・コマンドを処理するのに十分なだけのブロック・サイズの読取り専用コピーを生成する。すなわち、ＩＳＥはＬＵＮの全てまたは一部だけ、ＬＵＮおよびその各サブＬＵＮの全てまたは一部だけ、またはサブＬＵＮの全てまたは一部だけを複製してよい。
第１のＩＳＥ（ユニット・マスタ）は、複製されたデータに関連するアクセス・コマンドを処理するのに比較的高い処理能力を有するものとして複数のＩＳＥの中から第２のＩＳＥを識別する。処理能力の決定は、資源の利用可能性、未処理のＩ／Ｏコマンド・キュー深さ、および管理された信頼性に関して行ってよい。

または、この実施の形態は仮想エンジンとＩＳＥとの間のアクセス・コマンドを処理し、同時にデータをＩＳＥから別の記憶空間に複製する方法を特徴とする。一般に、この方法は未処理のアクセス・コマンドを処理するのに必要なデータだけを複製することを考える。或る実施の形態では、複製するステップは第１のＩＳＥ内のＬＵＮの一部だけを第２のＩＳＥ内の読取り専用コピーに複製することを特徴とする。または、複製するステップは第１のＩＳＥ内の全ＬＵＮを第２のＩＳＥ内の読取り専用コピーに複製することを特徴とする。または、複製するステップは第１のＩＳＥ内のＬＵＮおよびそのそれぞれのサブＬＵＮを第２のＩＳＥ内の読取り専用コピーに複製することを特徴とする。または、複製するステップは第１のＩＳＥ内のサブＬＵＮだけを第２のＩＳＥ内の読取り専用コピーに複製することを特徴とする。

処理するステップは、複製されたデータに関連するアクセス・コマンドを処理するのに比較的高い処理能力を有するものとして、複数のＩＳＥの第１のＩＳＥが複数のＩＳＥの中から第２のＩＳＥを識別することを特徴とする。処理能力の決定は、資源の利用可能性、未処理のＩ／Ｏコマンド・キュー深さ、および管理された信頼性に関して行ってよい。処理能力を決定すると、第１のＩＳＥに関して内部に、外部に、または広域に複製を行う。

この方法は更に、ターゲット記憶空間の望ましい性能に関してデータを移す速度を選択することを特徴とする。一般に、複製は読取り専用コピーを複数のターゲット記憶空間のどれかに向けて行う。例えば、この方法はデータを第１のＩＳＥから第２のＩＳＥに複製して第１の未処理のアクセス・コマンドを処理し、次に同じデータについてデータを第２のＩＳＥに複製して次のアクセス・コマンドを処理する。

またはこの実施の形態は、仮想エンジンが個別にアドレス指定できる複数のＩＳＥと、インテリジェント記憶要素の間でデータを複製する手段とを持つデータ記憶システムを特徴とする。この説明の目的およびクレームの意味では、「複製する手段」という用語は、ユニット・マスタ・コントローラがシステム全体の性能パラメータを評価し、これに従って未処理のアクセス・コマンドを処理するためにデータの複製を指示することのできる、ここに開示した構造を必要とする。

理解されるように、これまでの記述で本発明の種々の実施の形態の多くの特徴および利点を、本発明の種々の実施の形態の構造および機能の詳細と共に述べたが、この詳細な記述は単なる例示であって、詳細に関しては、特に本発明の原理内の部分の構造および配置に関してクレームを表現する用語の広い一般的な意味で示す範囲で、変更を行ってよい。例えば、本発明の精神と範囲から逸れない限り特定の要素を特定の処理環境に従って変えてよい。

更に、ここに述べた実施の形態はデータ記憶アレイに関するものであるが、当業者が認識するように、クレームされた主題はこれに限定されるものではなく、本発明の精神および範囲から逸れない限り種々の他の処理システムを用いてよい。

本出願は２００５年６月３日に出願されて本出願の被譲渡人に譲渡された米国出願番号１１／１４５，４０３の一部継続出願である。

図１は、本発明の実施の形態が有用であるコンピュータ・システムの線図である。 図２は、図１のコンピュータ・システムの簡単な線図である。 図３は、本発明の実施の形態に従って構築されたインテリジェント記憶要素の組立分解等角図である。 図４は、図３のインテリジェント記憶要素の多重ディスク・アレイの部分的組立分解等角図である。 図５は、図４の多重ディスク・アレイに用いられる例示のデータ記憶装置である。 図６は、図３のインテリジェント記憶要素の機能的ブロック図である。 図７は、図３のインテリジェント記憶要素のインテリジェント記憶プロセッサ回路板の機能的ブロック図である。 図８は、図３のインテリジェント記憶要素のインテリジェント記憶プロセッサの機能的ブロック図である。 図９は、図３のインテリジェント記憶要素が行うコマンド取出しおよび関連するメモリ・マッピング・サービスの機能的ブロック図表現である。 図１０は、図３のインテリジェント記憶要素が行う別の例示のデータ・サービスの機能的ブロック図である。 図１１は、本発明の実施の形態に係る広域複製の方法を示す線図である。 図１２は、本発明の実施の形態に係る広域複製の方法を示す線図である。 図１３は、本発明の実施の形態に係る広域複製の方法を実行するステップの流れ図である。 図１４は、図３と同様であるが、密閉された容器の中にデータ記憶装置および回路板を収めるものを示す図である。

符号の説明

１０２ 遠隔装置（ホスト）
１０８ インテリジェント記憶要素（ＩＳＥ）
１０９ 記憶空間
２００ 仮想エンジン

Claims (21)

1. データ記憶システムであって、
   アクセス・コマンドを遠隔装置と記憶空間との間で渡すための、ネットワークにより前記遠隔装置に接続可能な仮想エンジンと、
   複数のインテリジェント記憶要素（ＩＳＥ）であって、前記アクセス・コマンドが同時に前記仮想エンジンと第１のＩＳＥとの間で渡されていることとは独立に、データを前記第１のＩＳＥから第２のＩＳＥに複製する、前記ＩＳＥと、
   を備える前記データ記憶システム。
2. 各ＩＳＥは複数の回転可能なスピンドルを備え、各スピンドルはそれぞれ独立に動くアクチュエータに近接して記憶媒体を支持し、前記アクチュエータは記憶媒体との間でデータを記憶しまた検索する、請求項１記載のデータ記憶システム。
3. 前記ＩＳＥは前記第１のＩＳＥ内の論理ユニット番号（ＬＵＮ）の一部だけを前記第２のＩＳＥ内の読取り専用コピーにコピーする、請求項２記載のデータ記憶システム。
4. 前記ＩＳＥは前記第１のＩＳＥ内の全ＬＵＮを前記第２のＩＳＥ内の読取り専用コピーにコピーする、請求項２記載のデータ記憶システム。
5. 前記ＩＳＥは前記第１のＩＳＥ内のＬＵＮとその対応するサブＬＵＮとを前記第２のＩＳＥ内の読取り専用コピーにコピーする、請求項２記載のデータ記憶システム。
6. 前記ＩＳＥは前記第１のＩＳＥ内のサブＬＵＮだけを前記第２のＩＳＥ内の読取り専用コピーにコピーする、請求項２記載のデータ記憶システム。
7. 前記第１のＩＳＥは、前記複製されたデータに関連するアクセス・コマンドを処理するのに比較的高い処理能力を有するものとして、前期複数のＩＳＥから前記第２のＩＳＥを識別する、請求項１記載のデータ記憶システム。
8. 前記処理する能力は、資源の利用可能性、未処理のＩ／Ｏコマンド・キュー深さ、および管理された信頼性から成る一組のパラメータの中の或るパラメータに関して決定する、請求項７記載のデータ記憶システム。
9. 仮想エンジンとＩＳＥとの間のアクセス・コマンドを処理し、同時にデータを前記ＩＳＥから別の記憶空間に複製することを含む方法。
10. 前記複製するステップは第１のＩＳＥ内のＬＵＮの一部だけを第２のＩＳＥ内の読取り専用コピーに複製することを特徴とする、請求項９記載の方法。
11. 前記複製するステップは第１のＩＳＥ内の全ＬＵＮを第２のＩＳＥ内の読取り専用コピーに複製することを特徴とする、請求項９記載の方法。
12. 前記複製するステップは第１のＩＳＥ内のＬＵＮおよびそのそれぞれのサブＬＵＮを第２のＩＳＥ内の読取り専用コピーに複製することを特徴とする、請求項９記載の方法。
13. 前記複製するステップは第１のＩＳＥ内のサブＬＵＮだけを第２のＩＳＥ内の読取り専用コピーに複製することを特徴とする、請求項９記載の方法。
14. 前記処理するステップは、前記複製されたデータに関連するアクセス・コマンドを処理するのに比較的高い処理能力を有するものとして、複数のＩＳＥから前記第２のＩＳＥを識別する、複数のＩＳＥの第１のＩＳＥを特徴とする、請求項９記載の方法。
15. 前記処理する能力は、資源の利用可能性、未処理のＩ／Ｏコマンド・キュー深さ、および管理された信頼性から成る一組のパラメータからの或るパラメータに関して決定する、請求項１４記載の方法。
16. 前記処理するステップは、データを前記ＩＳＥの内部に複製することを特徴とする、請求項９記載の方法。
17. 前記処理するステップは、データを前記ＩＳＥの外部に複製することを特徴とする、請求項９記載の方法。
18. 前記処理するステップはデータを第２のＩＳＥ内に複製することを特徴とする、請求項９記載の方法。
19. 前記処理するステップはターゲット記憶空間の望ましい性能に関してデータを移す速度を選択することを特徴とする、請求項９記載の方法。
20. 前記処理するステップは前記第２のＩＳＥとは異なる第３のＩＳＥ内にデータを複製することを特徴とする、請求項１８記載の方法。
21. データ記憶システムであって、
    仮想エンジンが個別にアドレス指定できる複数のＩＳＥと、
    インテリジェント記憶要素の間でデータを複製する手段と、
    を備えるデータ記憶システム。

Images