JP2008250961A - 記憶媒体の制御装置、データ記憶装置、データ記憶システム、方法、及び制御プログラム - Google Patents
記憶媒体の制御装置、データ記憶装置、データ記憶システム、方法、及び制御プログラム Download PDFInfo
- Publication number
- JP2008250961A JP2008250961A JP2007095169A JP2007095169A JP2008250961A JP 2008250961 A JP2008250961 A JP 2008250961A JP 2007095169 A JP2007095169 A JP 2007095169A JP 2007095169 A JP2007095169 A JP 2007095169A JP 2008250961 A JP2008250961 A JP 2008250961A
- Authority
- JP
- Japan
- Prior art keywords
- command
- data storage
- delay
- time
- random read
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
- G06F3/0611—Improving I/O performance in relation to response time
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0689—Disk arrays, e.g. RAID, JBOD
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
【課題】本発明は、シーケンシャル、ランダムが混在してもランダムの滞留を防止できる記憶媒体の制御装置を提供する。
【解決手段】記憶媒体の制御装置は、データ記憶媒体に対しシーケンシャルアクセス要求とランダムアクセス要求とを含む複数の要求に基づいて処理を行うデータ記憶装置に用いられる。記憶媒体の制御装置50は、要求の応答時間が特定の遅延許容限界時間を超えたか否かで要求の応答遅延を監視する要求応答遅延監視手段51と、遅延許容限界時間を超えると、シーケンシャルアクセス要求の並べ替え処理を抑止し、時間を経過すると経過時点での特定要求順に処理を行わせる要求制御手段58・62とを含む。
【選択図】図1
【解決手段】記憶媒体の制御装置は、データ記憶媒体に対しシーケンシャルアクセス要求とランダムアクセス要求とを含む複数の要求に基づいて処理を行うデータ記憶装置に用いられる。記憶媒体の制御装置50は、要求の応答時間が特定の遅延許容限界時間を超えたか否かで要求の応答遅延を監視する要求応答遅延監視手段51と、遅延許容限界時間を超えると、シーケンシャルアクセス要求の並べ替え処理を抑止し、時間を経過すると経過時点での特定要求順に処理を行わせる要求制御手段58・62とを含む。
【選択図】図1
Description
本発明は、記憶媒体の制御装置、データ記憶装置、データ記憶システム、データ記憶装置の制御方法、及びデータ記憶装置の制御プログラムに関し、より詳細には、シーケンシャル・ランダムアクセス混在時のHDD応答制御を備えたものに関する。
ディスクアレイ装置に用いられるRAID(Redundant Array of Inexpensive Disks)とは、複数のHDD(Hard・Disk・Drive:ハードディスク装置)に対して、データを分割して並列にデータの読み書きを行う方式のことをいう。RAIDでは、データの読み書きの際に、ストライピング、ミラーリングといった様々な工夫を行うことで、高速化、高信頼性、耐故障性を高めている。
また、このようなディスクアレイ装置の関連技術として、例えば以下に示す特許文献1乃至特許文献3が挙げられる。
特許文献1では、ディスク制御装置を開示している。このディスク制御装置は、各要求が個別に有する遅延可能時間以内に当該各要求を並べ替えてディスク装置に発行するものである。ディスク制御装置の並べ替え制御部は、遅延時間管理部およびアクセス時間管理部から与えられる情報に基づいて、シーク距離が短くなるように、要求管理部が管理する処理待ち要求の並び(キュー)の任意の位置に受付た要求を挿入する(段落番号0073)。
さらに、特許文献1の並べ替え制御部は、要求テーブルをキューの最後尾から順にスキャンし、要求R(x)と種類が等しく、かつ、論理アドレスaが論理アドレスa(x)の1ブロック分だけ前後に設定された要求R(i)が存在するか否かを検索し(段落番号0095図10のステップS204)、該当する要求R(i)が見つかった場合、要求R(x)を要求R(i)の直前又は直後の位置に仮挿入し、要求R(x)のアクセスタイプを「連続」に設定する(段落番号0096、図10ステップS206、ステップS207)。
要求R(i)が見つからなかった場合であって、挿入しようとする要求R(x)の論理アドレスa(x)がすべての要求Rの論理アドレスaの間である場合には、論理アドレスaの順序を乱さない(昇順または降順となる)位置にR(x)を仮挿入し、要求R(x)のアクセスタイプtype(x)を「独立」に設定する(段落番号0098、図10のステップS212)。さらに、挿入しようとする要求R(x)の論理アドレスa(x)が要求Rの論理アドレスaの間に位置しない場合には、キューの最後尾に要求R(x)を仮挿入し、要求R(x)のアクセスタイプtype(x)を「独立」に設定する(段落番号0098、図10のステップS213)。この時、最後尾または挿入位置直前の要求Rの禁止フラグflagをONにする(要求Rの前に新たな要求を挿入できない)。
また、キューの中に要求R(x)を仮挿入した場合において、アクセス時間を考慮し新たに算出した要求R(x)の完了予定時刻e(x)、要求R(x)以降の要求R(x+n)の完了予定時刻e(x+n)が、現在の時刻に許容遅延時間delay(x)を加えることで算出される要求R(x)の完了時刻f(x)、要求R(x+n)の完了時刻f(x+n)以内であるか否かを確認し(段落番号0105、図10ステップS215)、全て完了時刻以内である場合には、要求R(x)の仮挿入位置を本挿入位置として並べ替え処理を終了する。
一方、全て完了時刻以内でない場合には、仮挿入位置は不適当と判断し、今まで行った各要求Rの完了予定時刻eの変更を仮挿入処理前の状態に戻し、要求R(x)をキューの最後尾に挿入し、要求R(x)のアクセスタイプtype(x)を「独立」に設定して並び替え処理を修了する(段落番号0105、図10のステップS216)。
一方、全て完了時刻以内でない場合には、仮挿入位置は不適当と判断し、今まで行った各要求Rの完了予定時刻eの変更を仮挿入処理前の状態に戻し、要求R(x)をキューの最後尾に挿入し、要求R(x)のアクセスタイプtype(x)を「独立」に設定して並び替え処理を修了する(段落番号0105、図10のステップS216)。
特許文献2では、記憶媒体に対するリード/ライトシーケンシャル処理に関して開示されている。シーケンシャル処理は、シーケンシャル処理が終了するセクタを示すシーケンシャル処理終了セクタと、シーケンシャル処理を延長可能な範囲を示すシーケンシャル処理最大延長セクタとを用いて、シーケンシャル処理中に受信したリード/ライトコマンドがシーケンシャルアクセスでない場合に、受信コマンドの先頭セクタと該シーケンシャル処理終了セクタ及びシーケンシャル処理最大延長セクタを比較する比較ステップと、前記比較の結果、前記記録媒体上の先頭セクタが、該シーケンシャル処理最終セクタ以前にあるか、或いは、該シーケンシャル処理最大延長セクタより後ろにある場合に、前記受信したリード/ライトコマンドをコマンドキューにキューイングしてシーケンシャル処理を継続させる処理ステップとを含む。
コマンド処理部は、ホスト装置より受信したコマンドを解析し、ホスト転送処理部及びディスク制御部に処理を指示することで、コマンドを実行する。リード/ライトコマンドの実行では、ランダムアクセス又はシーケンシャルアクセスといったコマンドの性質と、コマンドキューのコマンド保持状態とを解析して、ディスク制御部にリード/ライト処理の指示を行う。コマンドキューは、コマンド処理部で直ちに実行しないか、或いは、直ちに実行できないと解析されたコマンドを、一時的に保持(キューイング)する。コマンドをコマンドキューにキューングすることで、コマンド処理部は、コマンドの実行順序を変えることができる(段落番号0018)。ホスト装置からシーケンシャルとなるコマンド群が発行されている時に、別のホスト装置からコマンドが発行された場合でも、シーケンシャル処理を停止することなく、コマンド処理速度を大幅に改善可能とする(段落番号0008)、ことを主眼とする技術である。
特許文献3では、ハードディスク装置は、ハードディスク装置全体を制御する制御プロセッサと、ディスク制御装置と接続するディスクインターフェースの制御を行うディスクインターフェース制御部と、各種の情報の格納やキャッシュとして用いるメモリと、ディスクの制御を行うディスク制御部と、実際にデータを記憶するディスクから構成される。メモリ内には、制御プロセッサ上で実行するコマンド処理プログラムと、データを格納してキャッシュとして使用するキャッシュ領域と、ディスク制御装置から受信したコマンドの管理を行うコマンド管理テーブルと、実行待ち状態のコマンドを格納するコマンドキューと、コマンドキューに登録中のコマンド数を管理するコマンドキュー管理情報と、シーケンシャルリードコマンドの処理状態を管理するためのシーケンサシャルリードコマンド管理テーブルと、コマンドをコマンドキューに再登録するための再登録待ちキューとがある(段落番号0018)。
シーケンシャルリードコマンドは、シーケンシャルリードコマンド管理テーブルをもとに実行され、コマンドで指定した回数まで、リード処理を繰り返す。一回のリード処理が終わると再度コマンドキューに登録する。コマンドキューが満杯の場合は、再登録待ちキューに登録する(段落番号0019)。コマンドキューのフォーマットには、リードやライト等のコマンドの種別を示すコマンドフィールドが形成される。(段落番号0022、図3)
特開2000−56932号公報
特開2004−102440号公報
特開平11−85661号公報
ところで、ハードディスク装置は、ランダムリードとシーケンシャルリードが混在した場合、シーケンシャルリードを優先するようにコマンド実行順序の並び替えを実行する。その結果、ランダムリードは、ハードディスク装置内のコマンドの並び替えによって、シーケンシャルリードの後に実施することとなり、ランダムリードの応答が遅延するという問題があった。
また、ハードディスク制御において、ハードディスク装置内で行われるコマンドの並び替えは、ハードディスク装置の動作を高速化するために有用であるが、ランダムアクセスの応答遅延という課題があり、ハードディスク装置を制御するRAIDコントローラ側で、その並び替えを抑止することが困難であった。
特許文献1では、並び替え制御部により、完了予定時刻以内でない要求R(x)を、キューの並びの最後尾にまわされるため、その要求R(x)の処理が遅延するという問題がある。つまり、完了時刻を超えた要求は、キュー内に滞留するという問題がある。加えて、並べ替え制御部にて並べ替え処理が行われるために、ランダムリードの応答が遅延するという問題がある。
特許文献2では、ホスト装置からシーケンシャルとなるコマンド群が発行されている時に、別のホスト装置からコマンドが発行された場合でも、シーケンシャル処理を停止させないために、ランダムリードの応答が遅延するという問題がある。
また、特許文献2では、シーケンシャル処理中に、ランダムコマンド等のシーケンシャルでないコマンドを受信すると、シーケンシャル処理が完了するまで全てランダムコマンドとしてキューイングされること(段落番号0006)が開示されているが、シーケンシャル処理が完了するまでは、ランダムコマンドが滞留するという問題がある。
特許文献3では、シーケンシャルリードコマンドによる処理についてのみの技術であるために、ランダムリードの応答遅延について考慮されていない。
本発明は、上記した技術の問題点を解決することを課題としてなされたものであって、その目的とするところは、シーケンシャルリードコマンドとランダムリードコマンドとが混在する環境にあっても、ランダムリードコマンドの滞留を防止して処理速度の向上を図ることのできる記憶媒体の制御装置、データ記憶装置、データ記憶システム、データ記憶装置の制御方法、及びデータ記憶装置の制御プログラムを提供することにある。
上記目的は、独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は、発明の更なる有利な具体例を規定する。この発明の概要は、必要な特徴すべてを列挙しているものではなく、よってこれらの特徴群の下位結合(サブコンビネーション)も発明になり得る。
本発明の記憶媒体の制御装置は、データが記憶されるデータ記憶媒体に対し、シーケンシャルアクセス要求とランダムアクセス要求とを含む複数の要求に基づいて処理を行うデータ記憶装置に用いられる記憶媒体の制御装置であって、要求応答遅延監視手段と、要求制御手段と、を含む構成とした。前記要求応答遅延監視手段は、前記要求の応答時間が、特定の遅延許容限界時間を超えたか否かにより前記要求の応答遅延を監視する。前記要求制御手段は、前記要求応答遅延監視手段での応答遅延監視結果に基づいて、前記遅延許容限界時間を超えた場合に、前記ランダムアクセス要求に優先される前記シーケンシャルアクセス要求の並べ替え処理を抑止し、前記時間を経過すると経過時点での特定要求順に処理を行わせるように制御する。
本発明の記憶媒体の制御装置は、データが記憶されるデータ記憶媒体に対し、シーケンシャルアクセス要求とランダムアクセス要求とを含む複数の要求に基づいて処理を行うデータ記憶装置に用いられる記憶媒体の制御装置であって、要求応答遅延監視手段と、要求制御手段と、を含む構成とした。前記要求応答遅延監視手段は、前記要求の応答時間が、特定の遅延許容限界時間を超えたか否かにより前記要求の応答遅延を監視する。前記要求制御手段は、前記要求応答遅延監視手段での応答遅延監視結果に基づいて、前記遅延許容限界時間を超えた場合に、前記ランダムアクセス要求に優先される前記シーケンシャルアクセス要求の並べ替え処理を抑止し、前記時間を経過すると経過時点での特定要求順に処理を行わせるように制御する。
本発明のデータ記憶システムの一態様は、ホストコンピュータと、前記第ホストコンピュータとネットワークを介して通信可能に形成され、前記ホストコンピュータからのデータをデータ記憶媒体に格納するデータ記憶装置と、前記データ記憶装置と前記ネットワークを介して通信可能に形成された保守端末と、を含む。前記データ記憶装置は、コマンド応答遅延監視手段と、コマンド発行制御手段と、を含む構成とした。前記コマンド応答遅延監視手段は、前記データ記憶媒体に対するコマンド情報の応答時間が、前記データ記憶媒体の遅延許容限界時間を越えたか否かにより前記コマンド情報の応答遅延を監視する。前記コマンド発行制御手段は、前記コマンド応答遅延監視手段での応答遅延監視結果に基づいて、前記遅延許容限界時間の経過後に特定順序を規定した1回目のコマンドを新たに発行し、前記データ記憶媒体に対する制御を行う。
本発明のデータ記憶システムの他の態様は、ホストコンピュータと、前記第ホストコンピュータとネットワークを介して通信可能に形成され、前記ホストコンピュータからのデータをデータ記憶媒体に格納するデータ記憶装置と、前記データ記憶装置と前記ネットワークを介して通信可能に形成された保守端末と、を含む。前記データ記憶装置は、ランダムリード応答遅延監視手段と、コマンド発行制御手段と、を含む構成とした。前記ランダムリード応答遅延監視手段は、前記データ記憶媒体に対するランダムリードコマンドの応答時間が、ランダムリードの遅延許容限界時間を越えたか否かにより前記ランダムリードの応答遅延を監視する。前記コマンド発行制御手段は、前記ランダムリード応答遅延監視手段での応答遅延監視結果に基づいて、限界時間経過後に特定順序を規定した1回目のコマンドを新たに発行して前記データ記憶媒体に対する制御を行う。
本発明のデータ記憶装置の制御方法の一態様は、少なくとも一つのHDDを含むデータ記憶装置の制御方法であって、コマンド応答遅延監視ステップと、コマンド発行制御ステップと、を含む手順とした。前記コマンド応答遅延監視ステップは、前記HDDに対するコマンド情報の応答時間が、前記HDDの遅延許容限界時間を越えたか否かにより前記コマンド情報の応答遅延を監視する。前記コマンド発行制御ステップは、前記コマンド応答遅延監視ステップでの応答遅延監視結果に基づいて、前記HDDの遅延許容限界時間の経過後に特定順序を規定した1回目のコマンドを新たに発行し、前記HDDに対する制御を行う。
本発明のデータ記憶装置の制御方法の他の態様は、少なくとも一つのHDDを含むデータ記憶装置の制御方法であって、ランダムリード応答遅延監視ステップと、コマンド発行制御ステップと、を含む手順とした。前記ランダムリード応答遅延監視ステップは、前記HDDに対するランダムリードコマンドの応答時間が、ランダムリードの遅延許容限界時間を越えたか否かにより前記ランダムリードの応答遅延を監視する。前記コマンド発行制御ステップは、前記ランダムリード応答遅延監視ステップでの応答遅延監視結果に基づいて、前記ランダムリードの遅延許容限界時間の経過後に特定順序を規定した1回目のコマンドを新たに発行し、前記HDDに対する制御を行う。
本発明の制御プログラムの一態様は、少なくとも一つのHDDを含むデータ記憶装置の制御プログラムであって、コンピュータに、コマンド応答遅延監視手段と、コマンド発行制御手段として、機能させることを特徴としている。前記コマンド応答遅延監視手段は、前記HDDに対するコマンド情報の応答時間が、前記HDDの遅延許容限界時間を越えたか否かにより前記コマンド情報の応答遅延を監視する。前記コマンド発行制御手段は、前記コマンド応答遅延監視手段での応答遅延監視結果に基づいて、前記遅延許容限界時間の経過後に特定順序を規定した1回目のコマンドを新たに発行し、前記HDDに対する制御を行う。
本発明の制御プログラムの他の態様は、少なくとも一つのHDDを含むデータ記憶装置の制御プログラムであって、コンピュータに、ランダムリード応答遅延監視手段と、コマンド発行制御手段として、機能させることを特徴としている。前記ランダムリード応答遅延監視手段は、前記HDDに対するランダムリードコマンドの応答時間が、ランダムリードの遅延許容限界時間を越えたか否かにより前記ランダムリードの応答遅延を監視する。前記コマンド発行制御手段は、前記ランダムリード応答遅延監視手段での応答遅延監視結果に基づいて、限界時間経過後に経過後に特定順序を規定した1回目のコマンドを新たに発行して前記HDDに対する制御を行う。
本発明によれば、要求制御手段により要求の並び替えが発生しないように制御でき、記憶媒体の要求の並び替えを防止できる。これにより、要求の並び替えによって未処理のままとなったランダムアクセス要求が滞留することを抑止できる。
この際、要求応答遅延監視手段は、要求の応答遅延を監視しているために、要求制御手段は、特定の応答遅延条件を超えない場合には、通常通り並べ替えを行うが、特定の応答遅延条件を超えた場合には、並べ替えを行うことを抑止する制御ができ、並び替えを許容範囲内に収めることができ、通常時の性能低下なく記憶媒体の応答を制御できる。
この際、要求応答遅延監視手段は、要求の応答遅延を監視しているために、要求制御手段は、特定の応答遅延条件を超えない場合には、通常通り並べ替えを行うが、特定の応答遅延条件を超えた場合には、並べ替えを行うことを抑止する制御ができ、並び替えを許容範囲内に収めることができ、通常時の性能低下なく記憶媒体の応答を制御できる。
なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また、実施の形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
以下、本発明の好適な実施の形態の一例について、図面を参照して具体的に説明する。
〔第1の実施の形態〕
先ず、本実施の形態の特徴である記憶媒体の制御装置(例えば符号50)では、データが記憶されるデータ記憶媒体に対し、シーケンシャルアクセス要求とランダムアクセス要求とを含む要求群に基づいて処理を行うデータ記憶装置に用いられる。記憶媒体の制御装置は、前記要求の応答遅延を監視する要求応答遅延監視手段(例えば符号51)と、前記要求応答遅延監視手段での応答遅延監視結果に基づいて、前記遅延許容限界時間を超えた場合に、前記ランダムアクセス要求に優先される前記シーケンシャルアクセス要求の並べ替え処理を抑止し、前記時間を経過すると経過時点での特定要求順に処理を行わせるように制御する要求制御手段(例えば符号56と符号58とによる構成)と、を含んで構成される。
〔第1の実施の形態〕
先ず、本実施の形態の特徴である記憶媒体の制御装置(例えば符号50)では、データが記憶されるデータ記憶媒体に対し、シーケンシャルアクセス要求とランダムアクセス要求とを含む要求群に基づいて処理を行うデータ記憶装置に用いられる。記憶媒体の制御装置は、前記要求の応答遅延を監視する要求応答遅延監視手段(例えば符号51)と、前記要求応答遅延監視手段での応答遅延監視結果に基づいて、前記遅延許容限界時間を超えた場合に、前記ランダムアクセス要求に優先される前記シーケンシャルアクセス要求の並べ替え処理を抑止し、前記時間を経過すると経過時点での特定要求順に処理を行わせるように制御する要求制御手段(例えば符号56と符号58とによる構成)と、を含んで構成される。
なお、本実施の形態では、「要求応答遅延監視手段」の一例として、HDDのコマンド(要求)に対する応答時間を監視するコマンド応答時間監視手段51を構成する場合を説明する。
(データ記憶システムの全体構成)
前記のような特徴的構成の説明に先立って、本実施の形態のデータ記憶システムの全体構成について、図1を参照して説明する。図1は、本実施の形態によるデータ記憶システムの全体の概略構成の一例を示すブロック図である。
前記のような特徴的構成の説明に先立って、本実施の形態のデータ記憶システムの全体構成について、図1を参照して説明する。図1は、本実施の形態によるデータ記憶システムの全体の概略構成の一例を示すブロック図である。
本実施の形態のデータ記憶システム1は、データ記憶媒体への要求(シーケンシャルリードコマンド)の並び替えを抑止するものであり、図1に示すように、ホストコンピュータ10と、ホストコンピュータ10とネットワークを介して通信可能に形成され、前記ホストコンピュータ10からのデータをデータ記憶媒体に記憶するデータ記憶装置の一態様であるディスクアレイ装置20と、前記ディスクアレイ装置20とネットワークを介して通信可能に形成され、前記ディスクアレイ装置20を保守管理するための保守端末90と、を含んで構成される。
ホストコンピュータ10は、ディスクアレイ装置20に対して、リードコマンド(要求)、ライトコマンド(要求)、などを送信する。保守端末90は、ディスクアレイ装置20に対する設定の変更及び表示を行う。
なお、ホストコンピュータ10、及び保守端末90の各ハードウエア構成は、図示しないが、種々の情報等を表示するための表示手段(スクリーン)、この表示手段の表示画面上(の各種入力欄等)にデータを操作入力するための操作入力手段(例えばキーボード・マウス等)、各種信号・データを送受信するための送受信手段(通信手段)、各種プログラム・各種データを記憶しておく記憶手段(例えばメモリ、ハードディスク等)、これらの制御を司る制御手段(例えばCPU等)などを各々有している。
また、ホストコンピュータ10、及び保守端末90は、プログラム制御により動作するものであり、ネットワーク関連の機能を有していれば、デスクトップ、ラップトップコンピュータその他無線・有線通信機能を有する情報機器、またはこれに類するコンピュータなどいかなるコンピュータでもよく、移動式・固定式を問わない。
ディスクアレイ装置20は、図1に示すように、ホストインターフェース30、キャッシュメモリ40、RAIDコントローラ10、RAID構成80等を備えている。
RAIDコントローラ10は、少なくとも一つのHDDを有するRAID構成80を有するディスクアレイ装置20に用いられるRAID制御装置であり、RAID構成80を制御する。
RAIDコントローラ10は、少なくとも一つのHDDを有するRAID構成80を有するディスクアレイ装置20に用いられるRAID制御装置であり、RAID構成80を制御する。
RAID構成80(第1構成)は、少なくとも一つのデータ記憶媒体であるHDD(例えばSCSIディスクドライブ)を有し、例えば図2に示すように、RAID構成80は、HDD82a、82b、82c、82d、82e、82fの六つ又はそれ以上のHDDから成る。図2は、図1におけるデータ記憶装置の一例であるディスクアレイ装置のRAID構成の一例を示すブロック図である。RAID構成80において、HDD82a、82b、82c、82d、82e、82fでRAID6を組むことにより、2HDDのRAID構成80を実現している。
2HDDのRAID構成80では、二つのHDDへのリードが不可能な場合でも、他のHDDからリードすることでデータの生成が可能となる。また、RAID1、RAID4又はRAID5を構成する場合は、RAID構成80内で一つのHDDがリード不可能な場合でも、他のHDDからリードすることでデータの生成が可能となる。
ディスクアレイ装置20は、ホストコンピュータ10からのリードコマンド及びライトコマンドを受信し、RAID構成80が備えるHDD82a、82b、82c、82d、82e、82fに対して、データのリード及びライトを実施する。
ホストインターフェース30は、ホストコンピュータ10からのリードコマンド、ライトコマンドなどを受信する。キャッシュメモリ40は、ホストコンピュータ10から受信したデータ又はホストコンピュータ10へ送信したデータをキャッシュしておく。
また、ホストインターフェース30は、ホストコンピュータ10からリードコマンドを受信したとき、キャッシュメモリ40にその要求するデータが存在する場合には、そのデータをホストコンピュータ10へ送信する。一方、キャッシュメモリ40にそのデータが存在しない場合には、ホストインターフェース30は、RAID構成80からデータをリードするようRAIDコントローラ50に要求し、RAIDコントローラ50を介して得られた要求データをホストコンピュータ10へ送信する。
更に、ホストインターフェース30は、ホストコンピュータ10からライトコマンドを受信したとき、キャッシュメモリ40に対して要求データの書き込みを行い、ホストコンピュータ10へ応答を返す。キャッシュメモリ40に書き込みが行われると、その後、RAIDコントローラ50は、RAID構成80への書き込みを開始する。
(ディスクアレイ装置の詳細構成)
次に、本実施の形態の特徴であるディスクアレイ装置20のより詳細な構成について、図3を参照しつつ説明する。図3は、図1のデータ記憶システムのディスクアレイ装置のさらに詳細な構成の一例を示すブロック図である。
次に、本実施の形態の特徴であるディスクアレイ装置20のより詳細な構成について、図3を参照しつつ説明する。図3は、図1のデータ記憶システムのディスクアレイ装置のさらに詳細な構成の一例を示すブロック図である。
本実施の形態のディスクアレイ装置20では、ランダムリード(ランダムアクセス要求)とシーケンシャルリード(シーケンシャルアクセス要求)とがHDDに対して混在し、HDDのコマンド並び替えによってHDDのランダムリードの応答が遅延する場合、その遅延時間を監視し、ランダムリードの遅延時間を、システムが定める許容範囲内におさめることができる機能を有する。
この機能を具現化するため、記憶媒体の制御装置の一例であるRAID制御装置としてのRAIDコントローラ50は、図3に示すように、コマンド応答時間監視手段51(コマンド応答遅延監視手段)、HDD遅延許容限界時間設定制御手段56、新コマンド発行制御手段56、コマンド応答順序保障手段62(キュー制御手段)、その他の各処理部64、コマンド情報記憶手段72、コマンド時刻情報記憶手段74、HDD遅延許容限界時間情報記憶手段76、判定結果情報記憶手段78などを含んで構成される。
この機能を具現化するため、記憶媒体の制御装置の一例であるRAID制御装置としてのRAIDコントローラ50は、図3に示すように、コマンド応答時間監視手段51(コマンド応答遅延監視手段)、HDD遅延許容限界時間設定制御手段56、新コマンド発行制御手段56、コマンド応答順序保障手段62(キュー制御手段)、その他の各処理部64、コマンド情報記憶手段72、コマンド時刻情報記憶手段74、HDD遅延許容限界時間情報記憶手段76、判定結果情報記憶手段78などを含んで構成される。
さらに、RAIDコントローラ50のコマンド応答時間監視手段51は、コマンド発行時刻記憶処理手段52、コマンド応答時間判定処理手段54を含む。
保守端末90は、RAID構成80内の少なくとも一つのHDDの遅延許容限界時間を設定するHDD遅延許容限界時間設定手段92と、HDD遅延許容限界時間設定手段92にて設定された設定情報を図示しない通信手段を介してディスクアレイ装置20に対して送信制御する制御機能なその他の各部の制御を司る機能を有する端末制御手段94と、を含んで構成される。
なお、HDD遅延許容限界時間設定手段92は、例えば、RAID構成80内にHDDが1台の場合には、そのHDDに対するHDD遅延許容限界時間を設定できる。また、RAID構成内にHDDがN台(Nは1以上の自然数)有する場合には、N台の各HDDに対する第1〜第Nの各HDD遅延許容限界時間を設定できる第1〜第Nの各HDD遅延許容限界時間設定部を構成してよい。
なお、図3に示すブロック図におけるRAIDコントローラ50内の各ブロック(例えば符号51、52、54、56、58、62、及び64等)は、コンピュータが適宜なメモリに格納された各種プログラムを実行することにより、該プログラムにより機能化された状態を示すソフトウエアモジュール構成である。すなわち、物理的構成は例えば一又は複数のCPU(或いは一又は複数のCPUと一又は複数のメモリ)等ではあるが、各手段によるソフトウエア構成は、プログラムの制御によってCPUが発揮する複数の機能を、それぞれ複数の手段による構成要素として表現したものである。CPUがプログラムによって実行されている動的状態(プログラムを構成する各手順を実行している状態)を機能表現した場合、CPU内に各手段が構成されることになる。プログラムが実行されていない静的状態にあっては、各手段の構成を実現するプログラム全体(或いは各手段の構成に含まれるプログラム各部)は、メモリなどの記憶領域に記憶されている。以下に示す各手段の説明は、プログラムにより機能化されたコンピュータをプログラムの機能と共に説明したものと解釈することも出来るし、また、固有のハードウエアにより恒久的に機能化された複数の電子回路ブロックからなる装置を説明したものとも解釈することが出来ることは、当然である。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現でき、いずれかに限定されるものではない。
すなわち、コマンド発行時刻記憶処理手段52およびコマンド応答時間判定処理手段54を含むコマンド応答時間監視手段51、HDD遅延許容限界時間設定制御手段56、新コマンド発行制御手段56、コマンド応答順序保障手段62(キュー制御手段)、その他の各処理部64、コマンド情報記憶手段72、コマンド時刻情報記憶手段74、HDD遅延許容限界時間情報記憶手段76、判定結果情報記憶手段78などは、例えばRAIDコントローラ50内のコンピュータにプログラムで実現することができる。
コマンド応答時間監視手段51は、RAID構成80内の各HDDに対する各コマンドの応答時間を監視する。
コマンド発行時刻記憶処理手段52は、HDDに対するコマンドの発行時に時刻を記憶する。
コマンド応答時間判定処理手段54は、コマンドの応答が、保守端末90のHDD遅延許容限界時間設定手段92(第1の設定手段)によって設定されたHDDの遅延許容限界時間を越えても完了しなかった場合、HDDの応答遅延があったと判断する処理を行う。応答遅延があった場合の判定結果情報は、判定結果情報記憶手段78に記憶される。
コマンド発行時刻記憶処理手段52は、HDDに対するコマンドの発行時に時刻を記憶する。
コマンド応答時間判定処理手段54は、コマンドの応答が、保守端末90のHDD遅延許容限界時間設定手段92(第1の設定手段)によって設定されたHDDの遅延許容限界時間を越えても完了しなかった場合、HDDの応答遅延があったと判断する処理を行う。応答遅延があった場合の判定結果情報は、判定結果情報記憶手段78に記憶される。
HDD遅延許容限界時間設定制御手段56は、HDD遅延許容限界時間情報記憶手段76のHDDの遅延許容限界時間を参照して、保守端末90のHDD遅延許容限界時間設定手段92によって設定された、HDDの遅延許容限界時間を、HDD遅延許容限界時間情報記憶手段76に記憶する制御処理を行う。なお、HDD遅延許容限界時間は、HDDに対するコマンドタイムアウトよりも短い値とする。
コマンド応答順序保障手段62(キュー制御手段)は、例えばSCSI規格のOrdered・Queueによる制御等が挙げられ、各コマンドをキューバッファに蓄積するとともに、各コマンドのタグなどにOrdered・Queue識別子を割り当てることによって、コマンド実行順序の特定順序とする制御を行う。
なお、ここで、「Ordered・Queue:(オーダードキュー」とは、コマンドを受けたデバイス内で、受信したコマンドの順番を守って順次処理するよう規約されたキュー制御手法である。HDDは、Ordered・Queueでコマンドを受信すると、Ordered・Queue受信以前と以後間でのコマンドの並び替えをおこなうことはできない。Ordered・Queueによって,コマンドの応答順序を保障するためである。すなわち、HDDは、Ordered・Queueを受信することで、Ordered・Queue受信以前のコマンドをすべて処理したあと、Ordered・Queueのコマンドの応答をおこない、その後、Ordered・Queue受信後に新たに受信したコマンドの処理をおこなう。
新コマンド発行制御手段58は、判定結果情報記憶手段78の判定結果情報を参照し、コマンド応答時間判定処理手段54にて応答遅延があったと判定された場合であって、上記HDDの遅延許容限界時間が経過したことを検出した場合に、HDDの遅延許容限界時間経過後に、HDDに発行する1回目のコマンドをSCSI規格のOrdered・Queueタスクアトリビュートで発行するよう前記コマンド応答順序保障手段62に対する制御処理を行う。
新コマンド発行制御手段58は、Ordered・Queue制御の特徴を用い、HDD内にキューイングされ、処理されないままでいるコマンドを検出し、検出後に発行する新規コマンドをOrdered・Queueでコマンド発行する。そして、Ordered・Queueコマンド発行以降に発行したコマンドと、処理が遅延したコマンド間でのコマンド制御順序並び替えを抑止し、HDDは、処理が遅延したコマンドの処理を、Ordered・Queueのコマンドよりも前におこなうよう制御する。
これによって、HDD内に滞留し、応答が遅延したコマンドをRAIDコントローラ50が検出したとき、RAIDコントローラ50の制御によってHDD内に滞留したコマンドの応答を制御できる。
その他の各処理部64には、前記各手段の実行順序ならびに各手段による制御を司るモジュール制御手段を含んでよい。
コマンド情報記憶手段72は、コマンドの種別が如何なるものであるかを示す情報を記憶している。
コマンド時刻情報記憶手段74は、コマンド発行時刻記憶処理手段52によって、HDDに対するコマンド発行時のコマンド発行時刻情報などを記憶している。なお、RAID構成80内にHDDが複数台有する場合には、コマンド発行時刻情報を各HDD毎に記憶している。
コマンド時刻情報記憶手段74は、コマンド発行時刻記憶処理手段52によって、HDDに対するコマンド発行時のコマンド発行時刻情報などを記憶している。なお、RAID構成80内にHDDが複数台有する場合には、コマンド発行時刻情報を各HDD毎に記憶している。
HDD遅延許容限界時間情報記憶手段76は、保守端末90のHDD遅延許容限界時間設定手段92にて設定され、HDD遅延許容限界時間設定制御手段56にて設定制御処理されたHDD遅延許容限界時間情報などを記憶している。なお、RAID構成80内にHDDが1台の場合には、そのHDDに対するHDD遅延許容限界時間情報を格納している。また、RAID構成内にHDDをN台(Nは1以上の自然数)有する場合には、N台の各HDDに対する第1〜第Nの各HDD遅延許容限界時間の設定情報を、各HDDに対応づけて記憶(蓄積処理)される。設定変更があった場合には、更新処理される。
判定結果情報記憶手段78は、コマンド応答時間判定処理手段54にて、HDDの応答遅延があったと判断された場合の判定結果情報などが記憶される。なお、RAID構成80内に、HDDを複数台有する場合には、各HDDに対応づけて判定結果情報が記憶される。
(実施の形態の構成要件と請求項の構成要件との対応関係)
なお、以上の本実施の形態の構成のコマンド応答時間監視手段51により、本発明の記憶媒体の制御装置にいう「要求応答遅延監視手段」を構成できる。また、新コマンド発行制御手段58とコマンド応答順序保障手段62とにより、本発明の記憶媒体の制御装置にいう「要求制御手段」を構成できる。「要求応答遅延監視手段」は、前記要求の応答時間が、特定の遅延許容限界時間を超えたか否かにより前記要求の応答遅延を監視する。「要求制御手段」は、前記要求応答遅延監視手段での応答遅延監視結果に基づいて、前記遅延許容限界時間を超えた場合に、前記ランダムアクセス要求に優先される前記シーケンシャルアクセス要求の並べ替え処理を抑止し、前記時間を経過すると経過時点での特定要求順に処理を行わせるように制御する。この際、「要求制御手段」は、前記遅延許容限界時間の経過後に、複数の各要求に対して特定順序で処理することを示す特定処理順序識別子を、各要求に対して割り当てた上で各要求の処理を行わせるように制御することもできる。具体的には、前記遅延許容限界時間の経過後に、オーダードキュー制御により1回目の要求を発行する制御を行うことが好ましい。
なお、以上の本実施の形態の構成のコマンド応答時間監視手段51により、本発明の記憶媒体の制御装置にいう「要求応答遅延監視手段」を構成できる。また、新コマンド発行制御手段58とコマンド応答順序保障手段62とにより、本発明の記憶媒体の制御装置にいう「要求制御手段」を構成できる。「要求応答遅延監視手段」は、前記要求の応答時間が、特定の遅延許容限界時間を超えたか否かにより前記要求の応答遅延を監視する。「要求制御手段」は、前記要求応答遅延監視手段での応答遅延監視結果に基づいて、前記遅延許容限界時間を超えた場合に、前記ランダムアクセス要求に優先される前記シーケンシャルアクセス要求の並べ替え処理を抑止し、前記時間を経過すると経過時点での特定要求順に処理を行わせるように制御する。この際、「要求制御手段」は、前記遅延許容限界時間の経過後に、複数の各要求に対して特定順序で処理することを示す特定処理順序識別子を、各要求に対して割り当てた上で各要求の処理を行わせるように制御することもできる。具体的には、前記遅延許容限界時間の経過後に、オーダードキュー制御により1回目の要求を発行する制御を行うことが好ましい。
さらに、コマンド応答時間監視手段51は、本発明のデータ記憶システムにおいて「コマンド応答遅延監視手段」ということもできる。また、新コマンド発行制御手段58とコマンド応答順序保障手段62とにより、本発明のデータ記憶システムにいう「コマンド発行制御手段」を構成することもできる。「コマンド応答遅延監視手段」は、前記データ記憶媒体に対するコマンド情報の応答時間が、前記データ記憶媒体の遅延許容限界時間を越えたか否かにより前記コマンド情報の応答遅延を監視する。「コマンド発行制御手段」は、コマンド応答遅延監視手段での応答遅延監視結果に基づいて、前記遅延許容限界時間の経過後に特定順序を規定した1回目のコマンドを新たに発行し、前記データ記憶媒体に対する制御を行う。
また、HDD遅延許容限界時間設定手段92により、本発明のデータ記憶システムにいう「第1の設定手段」を構成できる。なお、記憶媒体の制御装置を含むデータ記憶装置の一例であるディスクアレイ装置が第1の設定手段を備えていてよい。この場合、本発明の記憶媒体の制御装置にいう第1の設定手段を構成できる。第1の設定手段は、前記データ記憶媒体に対する要求の遅延許容限界時間を設定する。従って、「要求制御手段」は、第1の設定手段にて設定された第1遅延許容限界時間に基づいて、制御を行う。また、第1遅延許容限界時間は、コマンドタイムアウトよりも短い値であることが好ましい。
(システムの概略動作)
次に、上述のような構成からなるデータ記憶システムの概略動作について、図1、図2、図3を参照しつつ、詳細に説明する。
次に、上述のような構成からなるデータ記憶システムの概略動作について、図1、図2、図3を参照しつつ、詳細に説明する。
保守端末90のHDD遅延許容限界時間設定手段92によってオペレータは、HDDの遅延許容限界時間を設定しておく。なお、HDD遅延許容限界時間は、HDDに対するコマンドタイムアウトよりも短い値とする。
RAIDコントローラ50のコマンド応答時間監視手段51は、RAID構成80内のHDDに対するコマンドの応答時間を監視する。RAIDコントローラ50のコマンド発行時刻記憶処理手段52は、HDDに対するコマンドの発行時に時刻をコマンド時刻情報記憶手段72に記憶する。
RAIDコントローラ50のコマンド応答時間判定処理手段54は、コマンドの応答が、保守端末90のHDD遅延許容限界時間設定手段92によって設定され、HDD遅延許容限界時間情報記憶手段76に記憶されたHDDの遅延許容限界時間を越えても完了しなかった場合、HDDの応答遅延があったと判断し、応答遅延があった旨の判定結果情報を判定結果情報記憶手段78に記憶する制御処理を行う。
そして、新コマンド発行制御手段58は、判定結果情報記憶手段78の判定結果情報を参照することによって、応答時間に遅延を検出した場合、応答遅延があるとみなされた対応するHDDに対するコマンドを、SCSIのOrdered・Queue タスクアトリビュートで発行するよう、コマンド応答順序保障手段62を制御する。これにより、検出以前に発行していたコマンドと、検出後に発行するコマンドの間の並び替えを抑止し、HDD内に滞留しているランダムリードコマンドの応答遅延を抑止する。
(処理手順について)
次に、方法クレームをサポートするため、上述のような構成を有するデータ記憶システムにおける各種の処理手順について、図4を参照しつつ説明する。図4は、本実施の形態によるデータ記憶システムにおいて、データ記憶装置のRAIDコントローラ内で行われる処理手順の一例を示すフローチャートである。
次に、方法クレームをサポートするため、上述のような構成を有するデータ記憶システムにおける各種の処理手順について、図4を参照しつつ説明する。図4は、本実施の形態によるデータ記憶システムにおいて、データ記憶装置のRAIDコントローラ内で行われる処理手順の一例を示すフローチャートである。
先ず、予め図1に示す保守端末90のHDD遅延許容限界時間設定手段92によってオペレータは、HDDの遅延許容限界時間を設定しておく。なお、HDD遅延許容限界時間は、HDDに対するコマンドタイムアウトよりも短い値とする。
RAIDコントローラ50は、コマンドの発行時に時刻を記憶する処理を行う(ステップS101)<コマンド発行時刻記憶処理ステップ>。
RAIDコントローラ50は、コマンドの応答時間が、HDDの遅延許容限界時間を超えたか否かを判定する処理を行う(ステップS102)<コマンド応答時間判定処理ステップ>。
RAIDコントローラ50は、コマンドの応答時間が、HDDの遅延許容限界時間を超えたか否かを判定する処理を行う(ステップS102)<コマンド応答時間判定処理ステップ>。
前記ステップS102のコマンド応答時間判定処理ステップにて、コマンドの応答時間が、HDDの遅延許容限界時間を超えていないと判定された場合には、RAIDコントローラ50は、コマンド完了していなければ一定時間待機する処理を行う(S104)<一定時間待機処理ステップ>。そのため、ステップS102に戻る。
前記ステップS102のコマンド応答時間判定処理ステップにて、コマンドの応答時間が、HDDの遅延許容限界時間を超えたものと判定された場合には、RAIDコントローラ50は、HDDの応答遅延があったと判断し、応答遅延が検出されたものとみなす(ステップS103)<応答遅延検出ステップ>。
なお、以上のステップS101乃至ステップS103により、本発明にいう「コマンド応答遅延監視ステップ」を構成できる。この「コマンド応答遅延監視ステップ」は、前記HDDに対するコマンド情報の応答時間が、前記HDDの遅延許容限界時間を越えたか否かにより前記コマンド情報の応答遅延を監視する。
RAIDコントローラ50は、上記HDDの遅延許容限界時間が経過したかどうかを記憶しており、上記HDDの遅延許容限界時間が経過したことを検出した場合、HDDの遅延許容限界時間経過後に、HDDに発行する1回目のコマンドをSCSIのOrdered・Queueタスクアトリビュートで発行する<コマンド発行ステップ>。なお、本ステップにより、本発明にいう「コマンド発行制御ステップ」を構成できる。この「コマンド発行制御ステップ」は、前記コマンド応答遅延監視ステップでの応答遅延監視結果に基づいて、前記HDDの遅延許容限界時間の経過後に特定順序を規定した1回目のコマンドを新たに発行し、前記HDDに対する制御を行う。
これにより、検出以前に発行していたコマンドと、検出後に発行するコマンドの間の並び替えを抑止し、HDD内に滞留しているコマンドの応答遅延を抑止する。加えて、HDDに対するコマンドのHDDからの応答時間を、HDDの遅延許容限界時間内に収めることで,この限界時間内にRAID構成を含むディスクアレイ装置が接続されたホストコンピュータにコマンドの応答を返すことができるという利点もある.
さらに、RAIDコントローラ50は、RAID構成80内の他のHDD82b、82c、82d、82e、82fなどに対するコマンド(要求)の有無をチェックし、上記処理をHDD82a、82b、82c、82d、82e、82f6を変えて繰り返すことで、RAID構成80内の全てのHDD82a、82b、82c、82d、82e、82f6に対する応答遅延を防止できる。
以上のように本実施の形態によれば、要求制御手段により要求の並び替えが発生しないように制御でき、記憶媒体の要求の並び替えを防止できる。これにより、要求の並び替えによって未処理のままとなったランダムアクセス要求が滞留することを抑止できる。
この際、要求応答遅延監視手段は、要求の応答遅延を監視しているために、要求制御手段は、特定の応答遅延条件を超えない場合には、通常通り並べ替えを行うが、特定の応答遅延条件を超えた場合には、並べ替えを行うことを抑止する制御ができ、並び替えを許容範囲内に収めることができ、通常時の性能低下なく記憶媒体の応答を制御できる。
すなわち、HDDの応答時間を監視し、HDDの応答に遅延があった場合、HDD内のコマンド並び替えによって未処理のままコマンドが滞留することを抑止できるという効果がある。
また、HDDの遅延許容時間を設定することによって、RAID装置の接続ホストに対しての最大応答時間が設定できる効果がある。さらに、HDDに対するコマンド自体をHDDのコマンド並び替えが発生しないように制御する手段を用いて、HDD内のコマンド並び替えを許容範囲内に収めることができる。コマンドの遅延が発生しない状態であれば、HDDはコマンド並び替えを行うことができるため、通常時の性能低下なく、HDDの応答を制御することができる。
[第2の実施の形態]
次に、本発明にかかる第2の実施の形態について、図5乃至図6に基づいて説明する。なお、以下には、前記第1の実施の形態の実質的に同様の構成に関しては説明を省略し、異なる部分についてのみ述べる。図5は、本発明のデータ記憶システムの第2の実施の形態の一例を示すブロック図である。
次に、本発明にかかる第2の実施の形態について、図5乃至図6に基づいて説明する。なお、以下には、前記第1の実施の形態の実質的に同様の構成に関しては説明を省略し、異なる部分についてのみ述べる。図5は、本発明のデータ記憶システムの第2の実施の形態の一例を示すブロック図である。
上述の第1の実施の形態のデータ記憶装置では、HDDに対するコマンドの応答時間を監視する構成としたが、本実施の形態では、HDDに対するランダムリードの応答時間を監視する構成としている。すなわち、本実施の形態では、「要求応答遅延監視手段」の一例として、HDDに対するランダムリードに対する応答時間を監視するランダムリード応答時間監視手段51を構成する場合を説明する。
具体的には、本実施の形態のデータ記憶システム100は、前記第1の実施の形態同様、図5に示すように、ホストコンピュータ110、ディスクアレイ装置120、保守端末190を含んで構成される。
ディスクアレイ装置120は、ホストインターフェース130、キャッシュメモリ140、RAIDコントローラ150、RAID構成180を有する。
RAIDコントローラ150は、ランダムリード応答時間監視手段151、ランダムリード遅延許容限界時間設定制御手段159、新コマンド発行制御手段162、コマンド応答順序保障手段164(キュー制御手段)、その他の各処理部166、コマンド情報記憶手段172、要求アドレス履歴情報記憶手段174、ランダムリードアクセスコマンド発行時刻情報記憶手段176、ランダムリード遅延許容限界時間情報記憶手段178、判定結果情報記憶手段179などを含んで構成される。
ランダムリード応答時間監視手段151は、要求アドレス履歴情報記憶処理手段152、アクセス種別分析手段154、ランダムリードアクセスコマンド発行時刻記憶処理手段156、ランダムリードアクセスコマンド応答時間判定処理手段158を含んで構成される。なお、その他の各処理部166には、前記各手段の実行順序ならびに各手段による制御を司るモジュール制御手段を含んでよい。
保守端末190は、RAID構成80内の少なくとも一つのHDDに対してのランダムリードの遅延許容限界時間を設定するランダムリード遅延許容限界時間設定手段192(第2の設定手段)と、ランダムリード遅延許容限界時間設定手段192にて設定された設定情報を図示しない通信手段を介してディスクアレイ装置120に対して送信制御する制御機能なその他の各部の制御を司る機能を有する端末制御手段194と、を含んで構成される。
なお、ランダムリード遅延許容限界時間設定手段192は、例えば、RAID構成180内にHDDが1台の場合には、そのHDDに対するランダムリード遅延許容限界時間を設定できる。また、RAID構成内にHDDがN台(Nは1以上の自然数)有する場合には、N台の各HDDに対する第1〜第Nの各ランダムリード遅延許容限界時間を設定できる第1〜第Nの各ランダムリード遅延許容限界時間設定部を構成してよい。
ランダムリード応答時間監視手段151は、ランダムリードの応答時間を監視する。要求アドレス履歴情報記憶処理手段152は、HDDに発行するリードコマンドの要求アドレスの履歴を要求アドレス履歴情報記憶手段174に記憶する制御処理を行う。
アクセス種別分析手段154は、前記要求アドレス履歴情報記憶手段174の要求アドレス情報に基づいて、そのアドレス履歴から以前に発行したコマンドのアドレスを参照し、今回発行しようとしているコマンドが、前回発行したコマンドに対して連続していていれば、シーケンシャルアクセスと分析し、今回発行しようとしているコマンドが、前回発行したコマンドに対して不連続であればランダムアクセスとの分析をすることによって、HDDに対するランダムリードアクセスを検出する制御を行う。
ランダムリードアクセスコマンド発行時刻記憶処理手段156は、アクセス種別分析手段154によりランダムリードが検出された場合に、その検出したランダムリードアクセスコマンドの発行時の時刻を、ランダムリードアクセスコマンド発行時刻情報記憶手段176に記憶する処理を行う。
ランダムリードアクセスコマンド応答時間判定処理手段158は、ランダムリード遅延許容限界時間情報記憶手段178のHDDの遅延許容限界時間を参照して、コマンドの応答が、保守端末190のランダムリード遅延許容限界時間設定手段192によって設定されたHDDのランダムリード遅延許容限界時間を越えても完了しなかった場合、HDDのランダムリードの応答遅延があったと判断する制御処理を行う。応答遅延があった場合の判定結果情報は、判定結果情報記憶手段179に記憶される。
ランダムリード遅延許容限界時間設定制御手段159は、保守端末190のランダムリード遅延許容限界時間設定手段192によって設定された、ランダムリードの遅延許容限界時間を、ランダムリード遅延許容限界時間情報記憶手段178に記憶する制御処理を行う。なお、ランダムリード遅延許容限界時間は、HDDに対するコマンドタイムアウトよりも短い値とする。
コマンド応答順序保障手段164(キュー制御手段)は、SCSI規格のOrdered・Queueによる制御等が挙げられ、各コマンドをキューバッファに蓄積するとともに、各コマンドのタグなどにOrdered・Queue識別子を割り当てることによって、コマンド実行順序の特定順序とする制御を行う。
新コマンド発行制御手段162は、判定結果情報記憶手段179を参照し、ランダムリードアクセスコマンド応答時間判定処理手段158にて応答遅延があったと判定された場合であって、ランダムリード遅延許容限界時間情報記憶手段178のHDDの遅延許容限界時間を参照して、上記HDDの遅延許容限界時間が経過したことを検出した場合に、ランダムリードの遅延許容限界時間経過後に、HDDに発行する1回目のコマンドをSCSI規格のOrdered・Queueタスクアトリビュートで発行するよう前記コマンド応答順序保障手段164に対する制御処理を行う。
(実施の形態の構成要件と請求項の構成要件との対応関係)
なお、以上の本実施の形態の構成のランダムリード応答時間監視手段151により、本発明の記憶媒体の制御装置にいう「要求応答遅延監視手段」を構成できる。また、新コマンド発行制御手段162とコマンド応答順序保障手段164とにより、本発明の記憶媒体の制御装置にいう「要求制御手段」を構成できる。「要求応答遅延監視手段」は、前記要求の応答時間が、特定の遅延許容限界時間を超えたか否かにより前記要求の応答遅延を監視する。「要求制御手段」は、前記要求応答遅延監視手段での応答遅延監視結果に基づいて、前記遅延許容限界時間を超えた場合に、前記ランダムアクセス要求に優先される前記シーケンシャルアクセス要求の並べ替え処理を抑止し、前記時間を経過すると経過時点での特定要求順に処理を行わせるように制御する。この際、「要求制御手段」は、前記遅延許容限界時間の経過後に、複数の各要求に対して特定順序で処理することを示す特定処理順序識別子を、各要求に対して割り当てた上で各要求の処理を行わせるように制御することもできる。具体的には、前記遅延許容限界時間の経過後に、オーダードキュー制御により1回目の要求を発行する制御を行うことが好ましい。
なお、以上の本実施の形態の構成のランダムリード応答時間監視手段151により、本発明の記憶媒体の制御装置にいう「要求応答遅延監視手段」を構成できる。また、新コマンド発行制御手段162とコマンド応答順序保障手段164とにより、本発明の記憶媒体の制御装置にいう「要求制御手段」を構成できる。「要求応答遅延監視手段」は、前記要求の応答時間が、特定の遅延許容限界時間を超えたか否かにより前記要求の応答遅延を監視する。「要求制御手段」は、前記要求応答遅延監視手段での応答遅延監視結果に基づいて、前記遅延許容限界時間を超えた場合に、前記ランダムアクセス要求に優先される前記シーケンシャルアクセス要求の並べ替え処理を抑止し、前記時間を経過すると経過時点での特定要求順に処理を行わせるように制御する。この際、「要求制御手段」は、前記遅延許容限界時間の経過後に、複数の各要求に対して特定順序で処理することを示す特定処理順序識別子を、各要求に対して割り当てた上で各要求の処理を行わせるように制御することもできる。具体的には、前記遅延許容限界時間の経過後に、オーダードキュー制御により1回目の要求を発行する制御を行うことが好ましい。
さらに、ランダムリード応答時間監視手段51は、本発明のデータ記憶システムにおいて「ランダムリード応答遅延監視手段」ということもできる。また、新コマンド発行制御手段162とコマンド応答順序保障手段164とにより、本発明のデータ記憶システムにいう「コマンド発行制御手段」を構成することもできる。「ランダムリード応答遅延監視手段」は、前記データ記憶媒体に対するランダムリードコマンドの応答時間が、ランダムリードの遅延許容限界時間を越えたか否かにより前記ランダムリードの応答遅延を監視する。「コマンド発行制御手段」は、前記ランダムリード応答遅延監視手段での応答遅延監視結果に基づいて、限界時間経過後に特定順序を規定した1回目のコマンドを新たに発行して前記データ記憶媒体に対する制御を行う。
また、ランダムリード遅延許容限界時間設定手段192により、本発明のデータ記憶システムにいう「第2の設定手段」を構成できる。なお、記憶媒体の制御装置を含むデータ記憶装置の一例であるディスクアレイ装置が第2の設定手段を備えていてよい。この場合、本発明の記憶媒体の制御装置にいう第2の設定手段を構成できる。「第2の設定手段」は、前記ランダムアクセス要求の遅延許容限界時間を設定する。従って、「要求制御手段」は、前記第2の設定手段にて設定された第2遅延許容限界時間に基づいて、制御を行う。また、第2遅延許容限界時間は、コマンドタイムアウトよりも短い値であることが好ましい。
(概略動作)
上述のような構成からなるデータ記憶システムのディスクアレイ装置120において、概略次のように動作する。すなわち、予め図5に示す保守端末190のランダムリード遅延許容限界時間設定手段192によってオペレータは、ランダムリードの遅延許容限界時間を設定しておく。ランダムリード遅延許容限界時間は、HDDに対するコマンドタイムアウトよりも短い値とする。前記ランダムリード遅延許容限界時間は、例えば、RAIDコントローラ150内のランダムリード遅延許容限界時間情報記憶手段178に記憶される。
上述のような構成からなるデータ記憶システムのディスクアレイ装置120において、概略次のように動作する。すなわち、予め図5に示す保守端末190のランダムリード遅延許容限界時間設定手段192によってオペレータは、ランダムリードの遅延許容限界時間を設定しておく。ランダムリード遅延許容限界時間は、HDDに対するコマンドタイムアウトよりも短い値とする。前記ランダムリード遅延許容限界時間は、例えば、RAIDコントローラ150内のランダムリード遅延許容限界時間情報記憶手段178に記憶される。
また、RAIDコントローラ150は、ランダムリードの応答時間を監視する。RAIDコントローラ150は、HDDに発行するリードコマンドの要求アドレスの履歴を記憶し、そのアドレス履歴から以前に発行したコマンドのアドレスを参照し、今回発行しようとしているコマンドが、前回発行したコマンドに対して連続していていれば、シーケンシャルアクセス、不連続であればランダムアクセスとの分析をし、HDDに対するランダムリードアクセスを検出する。
そして、RAIDコントローラ150は、ランダムリードが検出された場合、その検出したランダムリードアクセスコマンドの発行時に時刻を記憶し、コマンドの応答が、保守端末190のランダムリード遅延許容限界時間設定手段192によって設定されたHDDのランダムリード遅延許容限界時間を越えても完了しなかった場合、HDDのランダムリードの応答遅延があったと判断する。
(処理手順について)
次に、方法クレームをサポートするため、上述のような構成を有するデータ記憶システムにおける各種の処理手順について、図6を参照しつつ説明する。図6は、本実施の形態によるデータ記憶システムにおいて、データ記憶装置のRAIDコントローラ内で行われる処理手順の一例を示すフローチャートである。
次に、方法クレームをサポートするため、上述のような構成を有するデータ記憶システムにおける各種の処理手順について、図6を参照しつつ説明する。図6は、本実施の形態によるデータ記憶システムにおいて、データ記憶装置のRAIDコントローラ内で行われる処理手順の一例を示すフローチャートである。
先ず、RAIDコントローラ150は、ランダムリードの応答時間を監視する。そして、RAIDコントローラ150は、例えば、要求アドレス履歴情報記憶手段174に、HDDに発行するリードコマンドの要求アドレスを記憶する処理を行う(ステップS201)<要求アドレス履歴情報記憶処理ステップ>。
次に、RAIDコントローラ150は、前回のリードコマンドの要求アドレスに対してシーケンシャルか否かを判定する処理を行う(ステップS202)<アクセス種別分析ステップ>。
前記S202のアクセス種別分析ステップにて、前回のリードコマンドの要求アドレスに対してシーケンシャルであると判定された場合には、すなわち、シーケンシャルリードコマンドであると判定された場合には、RAIDコントローラ150は、処理を終了する。
一方、前記S202のアクセス種別分析ステップにて、前回のリードコマンドの要求アドレスに対してシーケンシャルでないものと判定された場合、すなわち、ランダムリードコマンドであると判定された場合には、RAIDコントローラ150は、HDDに対するランダムリードアクセスを検出する処理を行う(ステップS203)<ランダムリードアクセス検出ステップ>。
すなわち、以上のステップS201〜ステップS203により、のアドレス履歴から以前に発行したコマンドのアドレスを参照し、今回発行しようとしているコマンドが、前回発行したコマンドに対して連続していていれば、シーケンシャルアクセス、不連続であればランダムアクセスとの分析をし、HDDに対するランダムリードアクセスを検出する。
さらに、RAIDコントローラ150は、コマンド発行時に時刻を記憶する処理を行う(ステップS204)<ランダムリードアクセスコマンド発行時刻記憶処理ステップ>。
次いで、RAIDコントローラ150は、コマンドの応答時間が、ランダムリードアクセスの許容限界時間を超えたか否かを判定する(ステップS205)<ランダムリード応答時間判定処理ステップ>。
次いで、RAIDコントローラ150は、コマンドの応答時間が、ランダムリードアクセスの許容限界時間を超えたか否かを判定する(ステップS205)<ランダムリード応答時間判定処理ステップ>。
前記ステップS205のランダムリード応答時間判定処理ステップにて、コマンドの応答時間が、ランダムリードの遅延許容限界時間を超えていないと判定された場合には、RAIDコントローラ50は、コマンド完了していなければ一定時間待機する処理を行う(S206)<一定時間待機処理ステップ>。そのため、ステップS205に戻る。
前記ステップS205のランダムリードコマンド応答時間判定処理ステップにて、ランダムリードコマンドの応答時間が、ランダムリードの遅延許容限界時間を超えたものと判定された場合には、RAIDコントローラ50は、ランダムリードの応答遅延があったと判断し、応答遅延が検出されたものとみなす(ステップS207)<ランダムリード応答遅延検出ステップ>。
すなわち、以上のステップS205〜ステップS207において、RAIDコントローラ150は、ランダムリードが検出された場合、その検出したランダムリードアクセスコマンドの発行時に時刻を記憶し、コマンドの応答が、保守端末190のランダムリード遅延許容限界時間設定手段192によって設定されたHDDのランダムリード遅延許容限界時間を越えても完了しなかった場合、HDDのランダムリードの応答遅延があったと判断する。
なお、以上のステップS201乃至ステップS207により、本発明にいう「ランダムリード応答遅延監視ステップ」を構成できる。この「ランダムリード応答遅延監視ステップ」は、記憶媒体(HDD)に対するランダムリードコマンドの応答時間が、ランダムリードの遅延許容限界時間を越えたか否かにより前記ランダムリードの応答遅延を監視する。ここで、前記遅延許容限界時間は、コマンドタイムアウトよりも短い値であることが好ましい。
また、「ランダムリード応答遅延監視ステップ」は、記憶媒体(HDD)に発行するリードコマンドの要求アドレスの履歴情報を記憶し、前記履歴情報から以前に発行したコマンドのアドレスを参照し、今回発行しようとしているコマンドが、前回発行したコマンドに対して連続している場合に、シーケンシャルアクセスを検出し、不連続である場合に、ランダムアクセスとの分析をし、前記ランダムリードが検出された場合に、その検出したランダムリードアクセスコマンドの発行時に時刻を記憶し、前記ランダムリードアクセスコマンドの応答が、予め設定された記憶媒体(HDD)のランダムリード遅延許容限界時間を越えても完了しなかった場合、記憶媒体(HDD)のランダムリードの応答遅延があったと判定する。
そして、RAIDコントローラ50は、上記ランダムリードの遅延許容限界時間が経過したかどうかを記憶しており、上記ランダムリードの遅延許容限界時間が経過したことを検出した場合、ランダムリードの遅延許容限界時間経過後に、HDDに発行する1回目のコマンドをSCSIのOrdered・Queueタスクアトリビュートで発行する<コマンド発行ステップ>。
なお、本ステップにより、本発明にいう「コマンド発行制御ステップ」を構成できる。この「コマンド発行制御ステップ」は、「ランダムリード応答遅延監視ステップ」での応答遅延監視結果に基づいて、前記ランダムリードの遅延許容限界時間の経過後に特定順序を規定した1回目のコマンドを新たに発行し、記憶媒体(HDD)に対する制御を行う。
以上のように本実施の形態によれば、シーケンシャルリードコマンドがランダムリードコマンドに優先されてシーケンシャルリードコマンドとランダムリードコマンドとが並び替えられる処理を抑止して、HDD内にランダムリードコマンドが滞留せずに済み、ランダムリードコマンドの応答遅延を抑止できる。
[第3の実施の形態]
次に、本発明にかかる第3の実施の形態について、図7に基づいて説明する。なお、以下には、前記第1の実施の形態の実質的に同様の構成に関しては説明を省略し、異なる部分についてのみ述べる。図7は、本発明の第3の実施の形態によるデータ記憶システムのディスクアレイ装置の構成の一例を示すブロック図である。
次に、本発明にかかる第3の実施の形態について、図7に基づいて説明する。なお、以下には、前記第1の実施の形態の実質的に同様の構成に関しては説明を省略し、異なる部分についてのみ述べる。図7は、本発明の第3の実施の形態によるデータ記憶システムのディスクアレイ装置の構成の一例を示すブロック図である。
上述の第1の実施の形態では、要求制御手段として、オーダードキュー制御を用いた構成としたが、本実施の形態では、要求制御手段として、HDDの遅延許容限界時間を超えたことを検出した場合に、検出前に発行された要求(コマンド)の処理が全て終了するまで、検出後にはHDDに対する要求(コマンド)の発行を制限する場合を示している。すなわち、応答遅延を検出した時、Ordered・Queue発行の代わりに、以降のHDDに対するコマンド発行を、発行中のコマンドがすべて終了するまでまつ場合を示している。
具体的には、本実施の形態のデータ記憶システム200は、前記第1の実施の形態同様、図7に示すように、ホストコンピュータ210、ディスクアレイ装置220、保守端末290を含んで構成される。
保守端末290は、HDD遅延許容限界時間設定手段292、端末制御手段294を含んで構成される。
ディスクアレイ装置220は、ホストインターフェース230、キャッシュメモリ240、RAIDコントローラ250、RAID構成280を含んで構成される。
RAIDコントローラ250は、前記第1の実施の形態同様の構成である、コマンド発行時刻記憶処理手段252とコマンド応答時間判定処理手段254とを含むコマンド応答時間監視手段251、HDD遅延許容限界時間設定制御手段256、新コマンド発行制御手段258、その他の各処理部264、コマンド情報記憶手段272、コマンド時刻情報記憶手段274、HDD遅延許容限界時間情報記憶手段276、判定結果情報記憶手段278、に加えて、発行中コマンド終了待機手段262を含んで構成される。
発行中コマンド終了待機手段262は、コマンド応答時間監視手段251がHDDのコマンドの応答遅延を検出した場合に、前記第1の実施の形態のようなOrdered・Queue発行の代わりに、以降のHDDに対するコマンド発行を、発行中のコマンドがすべて終了するまで待機することでコマンドの発行を制限する制御を行う。
また、「コマンド発行制御ステップ」では、発行中のコマンドがすべて終了するまで、以降の記憶媒体(HDD)に対するコマンド発行を待つように制御する。
以上のように本実施の形態によれば、前記第1の実施の形態と同様の作用効果を奏しながらも、SCSIのOrdered・Queue制御を持たない、SATA―HDD制御などに有用となる。
[第4の実施の形態]
次に、本発明にかかる第4の実施の形態について、図8に基づいて説明する。なお、以下には、前記第3の実施の形態の実質的に同様の構成に関しては説明を省略し、異なる部分についてのみ述べる。図8は、本発明の第4の実施の形態によるデータ記憶システムのディスクアレイ装置の構成の一例を示すブロック図である。
次に、本発明にかかる第4の実施の形態について、図8に基づいて説明する。なお、以下には、前記第3の実施の形態の実質的に同様の構成に関しては説明を省略し、異なる部分についてのみ述べる。図8は、本発明の第4の実施の形態によるデータ記憶システムのディスクアレイ装置の構成の一例を示すブロック図である。
上述の第3の実施の形態では、要求制御手段として、HDDの遅延許容限界時間を超えたことを検出した場合に、検出前に発行された要求(コマンド)の処理が全て終了するまで、検出後にはHDDに対する要求(コマンド)の発行を制限する場合を示したが、本実施の形態では、遅延許容限界時間として、前記第2の実施の形態のように、ランダムリードの遅延許容限界時間とした場合の例を示している。
具体的には、本実施の形態のデータ記憶システム300は、前記第2の実施の形態同様、図8に示すように、ホストコンピュータ310、ディスクアレイ装置320、保守端末390を含んで構成される。
保守端末390は、ランダムリード遅延許容限界時間設定手段392、端末制御手段394を含んで構成される。
ディスクアレイ装置320は、ホストインターフェース330、キャッシュメモリ340、RAIDコントローラ350、RAID構成380を含んで構成される。
RAIDコントローラ350は、前記第2の実施の形態同様の構成である、要求アドレス履歴情報記憶処理手段352とアクセス種別分析手段354とランダムリードアクセスコマンド発行時刻記憶処理手段356とランダムリードアクセスコマンド応答時間判定処理手段358とを含むランダムリード応答時間監視手段351、ランダムリード遅延許容限界時間設定制御手段359、その他の各処理部366、コマンド情報記憶手段372、要求アドレス履歴情報記憶手段374、ランダムリードアクセスコマンド発行時刻情報記憶手段376、ランダムリード遅延許容限界時間情報記憶手段378、判定結果情報記憶手段379、新コマンド発行制御手段362、に加えて、発行中コマンド終了待機手段364を含んで構成される。
発行中コマンド終了待機手段364は、ランダムリード応答時間監視手段351がHDDのコマンドの応答遅延を検出した場合に、前記第2の実施の形態のようなOrdered・Queue発行の代わりに、以降のHDDに対するコマンド発行を、発行中のコマンドがすべて終了するまで待機することでコマンドの発行を制限する制御を行う。
また、「コマンド発行制御ステップ」では、発行中のコマンドがすべて終了するまで、以降の記憶媒体(HDD)に対するコマンド発行を待つように制御する。
以上のように本実施の形態によれば、シーケンシャルリードコマンドがランダムリードコマンドに優先されてシーケンシャルリードコマンドとランダムリードコマンドとが並び替えられる処理を抑止して、HDD内にランダムリードコマンドが滞留せずに済み、ランダムリードコマンドの応答遅延を抑止できる、という前記第2の実施の形態と同様の作用効果を奏しながらも、SCSIのOrdered・Queue制御を持たない、SATA―HDD制御などに有用となる。
(各種変形例)
なお、本発明にかかるデータ記憶システム、記憶装置の制御方法、そのいくつかの特定の実施の形態に従って説明してきたが、本発明の主旨および範囲から逸脱することなく本発明の本文に記述した実施の形態に対して種々の変形が可能である。
なお、本発明にかかるデータ記憶システム、記憶装置の制御方法、そのいくつかの特定の実施の形態に従って説明してきたが、本発明の主旨および範囲から逸脱することなく本発明の本文に記述した実施の形態に対して種々の変形が可能である。
例えば、上述の各実施の形態では、保守端末のHDD遅延許容限界時間設定手段(第1の設定手段)によりオペレータはHDDの遅延許容限界時間を設定し、保守端末のランダムリード遅延許容限界時間設定手段392(第2の設定手段)によりランダムリードの遅延許容限界時間を設定する構成としたが、データ記憶システムを構成するデータ記憶装置が自動設定する構成としてもよい。その場合の第1の設定手段による第1遅延許容限界時間の設定値、第2の設定手段による第2遅延許容限界時間の設定値は、それぞれ、コマンドタイムアウトよりも短い値とすることが好ましい。
また、RAID構成のHDDは、RAID構成を組んでいない第1構成であってもよい。この第1構成は、少なくとも1つのHDDを含む。さらには、第1構成は、たとえば、PCに接続された1つのHDDであってもよい。このような構成に対しても、本発明は適用可能である。なぜなら、HDD個体に対してのコマンド遅延を監視しているためである。
さらに、シーケンシャルリードコマンドとランダムリードコマンドとが混在する状況の例について説明したが、シーケンシャルアクセス要求、ランダムアクセス要求であれば、シーケンシャルライトコマンドとランダムライトコマンドとが混在する場合であってもよい。その場合、ランダムライトアクセスコマンド応答時間監視手段を構成してよい。さらに、シーケンシャルリードコマンド応答時間監視手段やシーケンシャルライトコマンド応答時間監視手段を構成してもよい。これらの応答時間の監視には、ランダムライト遅延許容限界時間設定手段、シーケンシャルリード遅延許容限界時間設定手段、シーケンシャルライト遅延許容時間設定手段、をそれぞれ設け、設定してよい。
さらに、ランダムリードコマンド、HDD内のコマンドの各遅延許容時間の設定は、複数のHDDで共通に設定する構成としても、1つのHDD毎に個別に設定する構成としてもよい。この場合、第1記憶媒体に対する第(1・1)遅延許容限界時間設定手段、第1記憶媒体へのランダムリードの第(1・2)遅延許容限界時間設定手段、第2記憶媒体に対する第(2・1)遅延許容限界時間設定手段、第1記憶媒体へのランダムリードの第(2・2)遅延許容限界時間設定手段、・・・、第N記憶媒体に対する第(N・1)遅延許容限界時間設定手段、第N記憶媒体へのランダムリードの第(N・2)遅延許容限界時間設定手段を設けてよい。
また、要求制御手段は、各要求(コマンド)のキュー内の配列分布や統計分布を考慮して、制御するようにしてもよい。
さらに、第1の設定手段あるいは第2の設定手段などにおいて、1つのコマンド(要求)に対して、複数の遅延許容限界時間(真の遅延許容限界時間の前に第1の仮の遅延許容時間や第2の仮の遅延許容時間など)を設定してもよい。
さらに、前記第1の実施の形態のコマンド応答時間監視手段と、前記第2の実施の形態のランダムリード応答時間監視手段とを備えた構成としてよい。この場合、「要求応答遅延監視手段」は、コマンド応答時間監視手段と、ランダムリード応答時間監視手段と、を含む構成となる。
また、上述の実施の形態では、ホストコンピュータ10が1台の例で説明したが、複数台形成してもよい。また、前記実施の形態においては、保守端末及びホストコンピュータを各々構成する場合を例に挙げたがこれに限らず、ホストコンピュータ及び保守端末の機能を一つの情報処理装置として構成しても構わない。
また、前記実施の形態における「システム」とは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない。このため、本発明は、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
なお、データ記憶システムにおいて、保守端末とディスクアレイ装置とをネットワークを介して通信可能に形成する際のネットワーク、ホストコンピュータとディスクアレイ装置とをネットワークを介して通信可能に形成する際のネットワークとしては、例えば携帯電話回線網(基地局及び交換システムを含む)、公衆電話回線網、IP電話網、ISDN回線網などこれに類する各種回線網、インターネット(乃ち、TCP・IPプロトコルを用いた通信態様)やイントラネット、LAN(イーサネット:登録商標、やギガビットイーサネットなどを含む)、WAN、光ファイバー通信網、電力線通信網、ブロードバンド対応可能な各種専用回線網などいずれのハードウエア構成でもよい。さらに、ネットワークは、TCP・IPプロトコルの他、種々の通信プロトコルを用いたネットワークあるいはソフトウエア的に構築された仮想ネットワークやこれに類するあらゆるネットワークを含むネットワークなどいかなる通信プロトコルであってもよい。また、ネットワークは、有線に限らず、無線(衛星通信、各種高周波通信手段等を含む)ネットワーク(例えば、簡易電話システムや携帯電話のようなシングルキャリア通信システム、W―CDMAやIEEE802.11bに準拠した無線LANのようなスペクトラム拡散通信システム、IEEE802.11aやHiperLAN/2のようなマルチキャリア通信システム、などを含むネットワーク)であっても構わず、これらの組み合わせを利用してもよく、他のネットワークと接続されたシステムであってもよい。さらに、ネットワークは、ポイントツーポイント、ポイントツーマルチポイント、マルチポイントツーマルチポイントなど如何なる形態でもよい。
また、ホストコンピュータとディスクアレイ装置との間の通信構造、或いはディスクアレイ装置と保守端末との間の通信構造に際し、いずれか一方又は双方に形成されるインタフェースの種類は、例えばパラレルインタフェース、USBインタフェース、IEEE1394、LANやWAN等のネットワークやその他これに類するもの、もしくは今後開発される如何なるインタフェースであっても構わない。
なお、「通信」には、無線通信および有線通信は勿論、無線通信と有線通信とが混在した通信、即ち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであってもよい。さらに、ある装置から他の装置への通信が有線通信で行われ、他の装置からある装置への通信が無線通信で行われるようなものであってもよい。
(プログラム)
また、前述した実施形態の機能を実現する本発明のソフトウエアのプログラム(データ記憶装置に用いられる記憶媒体の制御装置の制御用プログラム)は、前述した各実施の形態における図3、図5、図7、及び図8等に示す各種ブロック図などに示された各手段、処理手段、機能などに対応したプログラム、ないしは、図4及び図6等に示すフローチャートなどに示された処理手順、処理手段、機能などに対応したプログラムや、(上述の各実施の形態のデータ記憶システム、それに用いるディスクアレイ装置(データ記憶装置)、ホストコンピュータ、保守端末、ディスクアレイ装置にもちいられるRAIDコントローラ(RAID制御装置:記憶媒体の制御装置など)において各々処理される各処理プログラム、本明細書で全般的に記述される方法(ステップ)、説明された処理、データ(例えば、HDD遅延許容限界時間情報、コマンド時刻情報、コマンド情報、判定結果情報、要求アドレス履歴情報、ランダムリードアクセスコマンド発行時刻情報、ランダムリード遅延許容限界時間情報などの各種データ、データ構造情報等)のデータの全体もしくは各部を含む。
また、前述した実施形態の機能を実現する本発明のソフトウエアのプログラム(データ記憶装置に用いられる記憶媒体の制御装置の制御用プログラム)は、前述した各実施の形態における図3、図5、図7、及び図8等に示す各種ブロック図などに示された各手段、処理手段、機能などに対応したプログラム、ないしは、図4及び図6等に示すフローチャートなどに示された処理手順、処理手段、機能などに対応したプログラムや、(上述の各実施の形態のデータ記憶システム、それに用いるディスクアレイ装置(データ記憶装置)、ホストコンピュータ、保守端末、ディスクアレイ装置にもちいられるRAIDコントローラ(RAID制御装置:記憶媒体の制御装置など)において各々処理される各処理プログラム、本明細書で全般的に記述される方法(ステップ)、説明された処理、データ(例えば、HDD遅延許容限界時間情報、コマンド時刻情報、コマンド情報、判定結果情報、要求アドレス履歴情報、ランダムリードアクセスコマンド発行時刻情報、ランダムリード遅延許容限界時間情報などの各種データ、データ構造情報等)のデータの全体もしくは各部を含む。
プログラムは、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムは、高水準プロシージャ型またはオブジェクト指向プログラミング言語で、あるいは必要に応じてアセンブリまたはマシン言語で実装することができる。いずれの場合も、言語はコンパイラ型またはインタープリタ型言語であってもよい。上述のコンテンツ共有用プログラムを、一般のパソコンや携帯型情報端末などで動作可能なアプリケーションソフトに組み込んだものも含む。
RAID制御装置の制御プログラムを供給する手法としては、電気通信回線(有線、無線を問わない)によってコンピュータと通信可能に接続された外部の機器から前記電気通信回線を通じて提供することも可能である。例えば、コンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページからプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、プログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるサーバも、本発明の範囲に含まれるものである。
(情報記録媒体)
また、RAID制御装置(記憶装置)の制御プログラムを、情報記録媒体に記録した構成であってもよい。情報記録媒体には、制御プログラムを含むプログラム群が格納されており、コンピュータが当該情報記録媒体からプログラム群を読み出し、当該プログラム群をメモリ上に記憶することが可能である。これにより、上述のプログラム群は、磁気記録媒体、光記録媒体あるいはROMなどの情報記録媒体に記録してプログラムを提供することができる。そのようなプログラムが記録された情報記録媒体を、コンピュータにおいて使用することは、好都合な情報処理装置を構成する。
また、RAID制御装置(記憶装置)の制御プログラムを、情報記録媒体に記録した構成であってもよい。情報記録媒体には、制御プログラムを含むプログラム群が格納されており、コンピュータが当該情報記録媒体からプログラム群を読み出し、当該プログラム群をメモリ上に記憶することが可能である。これにより、上述のプログラム群は、磁気記録媒体、光記録媒体あるいはROMなどの情報記録媒体に記録してプログラムを提供することができる。そのようなプログラムが記録された情報記録媒体を、コンピュータにおいて使用することは、好都合な情報処理装置を構成する。
プログラムを供給するための情報記録媒体としては、例えばROM、RAM、フラッシュメモリやSRAM等の半導体メモリ並びに集積回路、あるいはそれらを含むUSBメモリやメモリカード、光ディスク、光磁気ディスク、磁気記録媒体等を用いてよく、さらに、フレキシブルディスク、CD−ROM、CD―R、CD―RW、FD、DVDRAM、DVDROM、DVD―R、DVD―RW、DVD+R、DVD+RW、MO、ZIP、磁気カード、磁気テープ、SDカード、メモリスティック、不揮発性メモリカード、ICカード、等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置、等に記録して構成して用いてよい。
さらに「情報記録媒体」は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの(伝送媒体ないしは伝送波)、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
さらに、プログラムを暗号化して記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行させて実現することも可能である。この場合、本発明の構成は、制御プログラムの各構成要素(各種の手段、ステップ及びデータ)と、前記制御プログラム(各種の手段、ステップ及びデータ)を暗号化する暗号化手段と、を含んでよい。
さらに、上述の保守端末やホストコンピュータとしての情報処理装置、あるいは、記憶媒体を制御する制御プログラムが搭載される制御装置(通常のPCのHDDなど)を含む情報処理装置としては、例えばパーソナルコンピュータに限らず、各種サーバー、EWS(エンジニアリングワークステーション)、中型コンピュータ、メインフレームなどが挙げられる。以上の例に加えて、HDDが搭載される電子機器として、種々のテレビ・ビデオ・DVDレコーダ・各種音響機器、各種情報通信機能を搭載した家電機器、ネットワーク機能を有するゲーム機器、ファクシミリ装置や複写機を含む複合機であってもよい。さらには、PCカード型HDDであってもよい。これらの機器に搭載される記憶媒体の制御装置も本発明の範囲に含めることができる。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
なお、本明細書において、フローチャートに示されるステップは、記載された手順に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。また、実装では、プログラム手順(ステップ)が実行される順序を変更することができる。さらに、実装の必要に応じて、本明細書で説明した特定の手順(ステップ)を、組み合わされた手順(ステップ)として実装、除去、追加、または再配置することができる。
さらに、ディスクアレイ装置の各手段、各機能、各ステップの手順の機能などのプログラムの機能を、専用のハードウエア(例えば専用の半導体回路等)によりその機能を達成してもよく、プログラムの全機能のうち一部の機能をハードウエアで処理し、全機能のうちさらに他の機能をソフトウエアで処理するようにしてもよい。専用のハードウエアの場合、各部を集積回路例えばLSIにて形成されてもよい。これらは個別に1チップ化されても良いし、一部または全部を含むように1チップ化されても良い。また、LSIには、ストリーミングエンジンなど他の機能ブロックが含まれていても良い。また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
さらに、上記各実施の形態には種々の段階が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。つまり、上述の各実施の形態同士、あるいはそれらのいずれかと各変形例のいずれかとの組み合わせによる例をも含むことは言うまでもない。この場合において、本実施形態において特に記載しなくとも、各実施の形態及びそれらの変形例に開示した各構成から自明な作用効果については、当然のことながら本例においても当該作用効果を奏することができる。また、実施の形態に示される全構成要件から幾つかの構成要件が削除された構成であってもよい。
そして、これまでの記述は、本発明の理解を容易にするために、本発明の実施の形態の一例のみを開示しており、各実施の形態及びそれらの変形例は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、例証するものであり、制限するものではなく、所定の範囲内で適宜変形及び/又は変更が可能である。本発明は、その技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができ、各実施の形態及びその変形例によって本発明の技術的範囲が限定的に解釈されてはならないものである。従って、上記の実施の形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物を含む趣旨である。
本発明は、コンピュータ産業などに適用可能であり、より詳細には、記憶装置を製造する製造業に適用できる。
[第1の実施の形態]
1 データ記憶システム
10 ホストコンピュータ
20 ディスクアレイ装置(データ記憶装置)
30 ホストインターフェース
40 キャッシュメモリ
50 RAIDコントローラ(記憶媒体の制御装置)
51 コマンド応答時間監視手段(要求応答遅延監視手段、
コマンド応答遅延監視手段)
52 コマンド発行時刻記憶処理手段
54 コマンド応答時間判定処理手段
56 HDD遅延許容限界時間設定制御手段
58 新コマンド発行制御手段
62 コマンド応答順序保障手段(キュー制御手段)
72 コマンド情報記憶手段
74 コマンド時刻情報記憶手段
76 HDD遅延許容限界時間情報記憶手段
78 判定結果情報記憶手段
80 RAID構成
90 保守端末
92 HDD遅延許容限界時間設定手段
94 端末制御手段
[第2の実施の形態]
100 データ記憶システム
110 ホストコンピュータ
120 データ記憶装置
130 ホストインターフェース
140 キャッシュメモリ
150 RAIDコントローラ
151 ランダムリード応答時間監視手段(要求応答遅延監視手段、
ランダムリード応答遅延監視手段)
152 要求アドレス履歴情報記憶処理手段
154 アクセス種別分析手段
156 ランダムリードアクセスコマンド発行時刻記憶処理手段
158 ランダムリードアクセスコマンド応答時間判定処理手段
159 ランダムリード遅延許容限界時間設定制御手段
162 新コマンド発行制御手段
164 コマンド応答順序保障手段(キュー制御手段)
172 コマンド情報記憶手段
174 要求アドレス履歴情報記憶手段
176 ランダムリードアクセスコマンド発行時刻情報記憶手段
178 ランダムリード遅延許容限界時間情報記憶手段
179 判定結果情報記憶手段
180 RAID構成
190 保守端末
192 ランダムリード遅延許容限界時間設定手段
194 端末制御手段
[第3の実施の形態]
200 データ記憶システム
210 ホストコンピュータ
220 ディスクアレイ装置(データ記憶装置)
230 ホストインターフェース
240 キャッシュメモリ
250 RAIDコントローラ(記憶媒体の制御装置)
251 コマンド応答時間監視手段
252 コマンド発行時刻記憶処理手段
254 コマンド応答時間判定処理手段
256 HDD遅延許容限界時間設定制御手段
258 新コマンド発行制御手段
262 発行中コマンド終了待機手段
272 コマンド情報記憶手段
274 コマンド時刻情報記憶手段
276 HDD遅延許容限界時間情報記憶手段
278 判定結果情報記憶手段
280 RAID構成
290 保守端末
292 HDD遅延許容限界時間設定手段
294 端末制御手段
[第4の実施の形態]
300 データ記憶システム
310 ホストコンピュータ
320 データ記憶装置
330 ホストインターフェース
340 キャッシュメモリ
350 RAIDコントローラ
351 ランダムリード応答時間監視手段
352 要求アドレス履歴情報記憶処理手段
354 アクセス種別分析手段
356 ランダムリードアクセスコマンド発行時刻記憶処理手段
358 ランダムリードアクセスコマンド応答時間判定処理手段
359 ランダムリード遅延許容限界時間設定制御手段
362 新コマンド発行制御手段
364 発行中コマンド終了待機手段
372 コマンド情報記憶手段
374 要求アドレス履歴情報記憶手段
376 ランダムリードアクセスコマンド発行時刻情報記憶手段
378 ランダムリード遅延許容限界時間情報記憶手段
379 判定結果情報記憶手段
380 RAID構成
390 保守端末
392 ランダムリード遅延許容限界時間設定手段
394 端末制御手段
1 データ記憶システム
10 ホストコンピュータ
20 ディスクアレイ装置(データ記憶装置)
30 ホストインターフェース
40 キャッシュメモリ
50 RAIDコントローラ(記憶媒体の制御装置)
51 コマンド応答時間監視手段(要求応答遅延監視手段、
コマンド応答遅延監視手段)
52 コマンド発行時刻記憶処理手段
54 コマンド応答時間判定処理手段
56 HDD遅延許容限界時間設定制御手段
58 新コマンド発行制御手段
62 コマンド応答順序保障手段(キュー制御手段)
72 コマンド情報記憶手段
74 コマンド時刻情報記憶手段
76 HDD遅延許容限界時間情報記憶手段
78 判定結果情報記憶手段
80 RAID構成
90 保守端末
92 HDD遅延許容限界時間設定手段
94 端末制御手段
[第2の実施の形態]
100 データ記憶システム
110 ホストコンピュータ
120 データ記憶装置
130 ホストインターフェース
140 キャッシュメモリ
150 RAIDコントローラ
151 ランダムリード応答時間監視手段(要求応答遅延監視手段、
ランダムリード応答遅延監視手段)
152 要求アドレス履歴情報記憶処理手段
154 アクセス種別分析手段
156 ランダムリードアクセスコマンド発行時刻記憶処理手段
158 ランダムリードアクセスコマンド応答時間判定処理手段
159 ランダムリード遅延許容限界時間設定制御手段
162 新コマンド発行制御手段
164 コマンド応答順序保障手段(キュー制御手段)
172 コマンド情報記憶手段
174 要求アドレス履歴情報記憶手段
176 ランダムリードアクセスコマンド発行時刻情報記憶手段
178 ランダムリード遅延許容限界時間情報記憶手段
179 判定結果情報記憶手段
180 RAID構成
190 保守端末
192 ランダムリード遅延許容限界時間設定手段
194 端末制御手段
[第3の実施の形態]
200 データ記憶システム
210 ホストコンピュータ
220 ディスクアレイ装置(データ記憶装置)
230 ホストインターフェース
240 キャッシュメモリ
250 RAIDコントローラ(記憶媒体の制御装置)
251 コマンド応答時間監視手段
252 コマンド発行時刻記憶処理手段
254 コマンド応答時間判定処理手段
256 HDD遅延許容限界時間設定制御手段
258 新コマンド発行制御手段
262 発行中コマンド終了待機手段
272 コマンド情報記憶手段
274 コマンド時刻情報記憶手段
276 HDD遅延許容限界時間情報記憶手段
278 判定結果情報記憶手段
280 RAID構成
290 保守端末
292 HDD遅延許容限界時間設定手段
294 端末制御手段
[第4の実施の形態]
300 データ記憶システム
310 ホストコンピュータ
320 データ記憶装置
330 ホストインターフェース
340 キャッシュメモリ
350 RAIDコントローラ
351 ランダムリード応答時間監視手段
352 要求アドレス履歴情報記憶処理手段
354 アクセス種別分析手段
356 ランダムリードアクセスコマンド発行時刻記憶処理手段
358 ランダムリードアクセスコマンド応答時間判定処理手段
359 ランダムリード遅延許容限界時間設定制御手段
362 新コマンド発行制御手段
364 発行中コマンド終了待機手段
372 コマンド情報記憶手段
374 要求アドレス履歴情報記憶手段
376 ランダムリードアクセスコマンド発行時刻情報記憶手段
378 ランダムリード遅延許容限界時間情報記憶手段
379 判定結果情報記憶手段
380 RAID構成
390 保守端末
392 ランダムリード遅延許容限界時間設定手段
394 端末制御手段
Claims (32)
- データが記憶されるデータ記憶媒体に対し、シーケンシャルアクセス要求とランダムアクセス要求とを含む複数の要求に基づいて処理を行うデータ記憶装置に用いられる記憶媒体の制御装置であって、
前記要求の応答時間が、特定の遅延許容限界時間を超えたか否かにより前記要求の応答遅延を監視する要求応答遅延監視手段と、
前記要求応答遅延監視手段での応答遅延監視結果に基づいて、前記遅延許容限界時間を超えた場合に、前記ランダムアクセス要求に優先される前記シーケンシャルアクセス要求の並べ替え処理を抑止し、前記時間を経過すると経過時点での特定要求順に処理を行わせるように制御する要求制御手段と、
を含むことを特徴とする記憶媒体の制御装置。 - 請求項1に記載の記憶媒体の制御装置において、
前記要求制御手段は、
前記遅延許容限界時間の経過後に、複数の各要求に対して特定順序で処理することを示す特定処理順序識別子を、各要求に対して割り当てた上で各要求の処理を行わせるように制御すること
を特徴とする記憶媒体の制御装置。 - 請求項1に記載の記憶媒体の制御装置において、
前記要求制御手段は、
前記遅延許容限界時間の経過後に、前記経過前の各要求の処理が終了するまで、前記要求の種類にかかわらず経過後の要求の発行を制限する制御を行うこと
を特徴とする記憶媒体の制御装置。 - 請求項1乃至請求項3のうちいずれか一項に記載の記憶媒体の制御装置において、
前記データ記憶媒体に対する要求の遅延許容限界時間を設定する第1の設定手段、
をさらに有し、
前記要求制御手段は、
前記第1の設定手段にて設定された第1遅延許容限界時間に基づいて、制御を行うことを特徴とする記憶媒体の制御装置。 - 請求項1乃至請求項3のうちいずれか一項に記載の記憶媒体の制御装置において、
前記ランダムアクセス要求の遅延許容限界時間を設定する第2の設定手段、
をさらに有し、
前記要求制御手段は、
前記第2の設定手段にて設定された第2遅延許容限界時間に基づいて、制御を行うことを特徴とする記憶媒体の制御装置。 - 請求項4又は請求項5に記載の記憶媒体の制御装置において、
前記第1又は前記第2遅延許容限界時間は、コマンドタイムアウトよりも短い値であることを特徴とする記憶媒体の制御装置。 - 請求項2に記載の記憶媒体の制御装置において、
前記要求制御手段は、
前記遅延許容限界時間の経過後に、オーダードキュー制御により1回目の要求を発行する制御を行うことを特徴とする記憶媒体の制御装置。 - 請求項1に記載の記憶媒体の制御装置において、
前記要求応答遅延監視手段は、
ランダムリードアクセス要求の応答遅延を監視するランダムリード応答遅延監視手段を含むことを特徴とする記憶媒体の制御装置。 - 請求項8に記載の記憶媒体の制御装置において、
前記ランダムリード応答遅延監視手段は、
前記データ記憶媒体に発行するリードコマンドの要求アドレスの履歴情報を記憶する要求アドレス履歴情報記憶処理手段と、
前記要求アドレス履歴情報記憶処理手段の前記要求アドレスの履歴情報から以前に発行したコマンドのアドレスを参照し、今回発行しようとしているコマンドが、前回発行したコマンドに対して連続している場合に、シーケンシャルアクセスを検出し、不連続である場合に、ランダムアクセスとの分析をし、前記データ記憶媒体に対するランダムリードアクセスを検出するアクセス種別分析手段と、
前記アクセス種別分析手段にてランダムリードが検出された場合に、その検出したランダムリードアクセスコマンドの発行時に時刻を記憶するランダムリードアクセスコマンド発行時刻記憶処理手段と、
前記ランダムリードアクセスコマンドの応答が、予め設定された前記データ記憶媒体のランダムリード遅延許容限界時間を越えても完了しなかった場合、前記データ記憶媒体のランダムリードの応答遅延があったと判定するランダムリードアクセスコマンド応答時間判定処理手段と、
を含むことを特徴とする記憶媒体の制御装置。 - 少なくとも一つの記憶媒体を含む第1構成と、
請求項1乃至請求項9のうちいずれか一項に記載の記憶媒体の制御装置と、
を含み、
前記第1構成は、RAID構成を含み、
前記記憶媒体の制御装置は、RAID制御装置を含む
ことを特徴とするデータ記憶装置。 - ホストコンピュータと、
前記第ホストコンピュータとネットワークを介して通信可能に形成され、前記ホストコンピュータからのデータをデータ記憶媒体に格納するデータ記憶装置と、
前記データ記憶装置と前記ネットワークを介して通信可能に形成された保守端末と、
を含み、
前記データ記憶装置は、
前記データ記憶媒体に対するコマンド情報の応答時間が、前記データ記憶媒体の遅延許容限界時間を越えたか否かにより前記コマンド情報の応答遅延を監視するコマンド応答遅延監視手段と、
前記コマンド応答遅延監視手段での応答遅延監視結果に基づいて、前記遅延許容限界時間の経過後に特定順序を規定した1回目のコマンドを新たに発行し、前記データ記憶媒体に対する制御を行うコマンド発行制御手段と、
を含むことを特徴とするデータ記憶システム。 - ホストコンピュータと、
前記第ホストコンピュータとネットワークを介して通信可能に形成され、前記ホストコンピュータからのデータをデータ記憶媒体に格納するデータ記憶装置と、
前記データ記憶装置と前記ネットワークを介して通信可能に形成された保守端末と、
を含み、
前記データ記憶装置は、
前記データ記憶媒体に対するランダムリードコマンドの応答時間が、ランダムリードの遅延許容限界時間を越えたか否かにより前記ランダムリードの応答遅延を監視するランダムリード応答遅延監視手段と、
前記ランダムリード応答遅延監視手段での応答遅延監視結果に基づいて、限界時間経過後に特定順序を規定した1回目のコマンドを新たに発行して前記データ記憶媒体に対する制御を行うコマンド発行制御手段と、
を含むことを特徴とするデータ記憶システム。 - 請求項11に記載のデータ記憶システムにおいて、
前記保守端末は、
前記データ記憶媒体の遅延許容限界時間を設定する第1の設定手段、
を含み、
前記データ記憶装置の前記コマンド応答遅延監視手段は、
前記第1の設定手段にて設定された第1遅延許容限界時間に基づいて、応答遅延を監視することを特徴とするデータ記憶システム。 - 請求項12に記載のデータ記憶システムにおいて、
前記保守端末は、
前記ランダムリードの遅延許容限界時間を設定する第2の設定手段、
を含み、
前記データ記憶装置の前記ランダムリード応答遅延監視手段は、
前記第2の設定手段にて設定された第2遅延許容限界時間に基づいて、応答遅延を監視することを特徴とするデータ記憶システム。 - 請求項13又は請求項14に記載のデータ記憶システムにおいて、
前記第1又は前記第2遅延許容限界時間は、コマンドタイムアウトよりも短い値であること
を特徴とするデータ記憶システム。 - 請求項11又は請求項12に記載のデータ記憶システムにおいて、
前記コマンド発行制御手段は、
オーダードキュータスクアストリビュートで1回目のコマンドを発行すること
を特徴とするデータ記憶システム。 - 請求項11又は請求項12に記載のデータ記憶システムにおいて、
前記コマンド発行制御手段は、
発行中のコマンドがすべて終了するまで、以降の前記データ記憶媒体に対するコマンド発行を待つように制御することを特徴とするデータ記憶システム。 - 請求項12に記載のデータ記憶システムにおいて、
前記ランダムリード応答遅延監視手段は、
前記データ記憶媒体に発行するリードコマンドの要求アドレスの履歴情報を記憶する要求アドレス履歴情報記憶処理手段と、
前記要求アドレス履歴情報記憶処理手段の前記要求アドレスの履歴情報から以前に発行したコマンドのアドレスを参照し、今回発行しようとしているコマンドが、前回発行したコマンドに対して連続している場合に、シーケンシャルアクセスを検出し、不連続である場合に、ランダムアクセスとの分析をし、前記データ記憶媒体に対するランダムリードアクセスを検出するアクセス種別分析手段と、
前記アクセス種別分析手段にてランダムリードが検出された場合に、その検出したランダムリードアクセスコマンドの発行時に時刻を記憶するランダムリードアクセスコマンド発行時刻記憶処理手段と、
前記ランダムリードアクセスコマンドの応答が、予め設定された前記データ記憶媒体のランダムリード遅延許容限界時間を越えても完了しなかった場合、前記データ記憶媒体のランダムリードの応答遅延があったと判定するランダムリードアクセスコマンド応答時間判定処理手段と、
を含むことを特徴とするデータ記憶システム。 - 少なくとも一つのHDDを含むデータ記憶装置の制御方法であって、
前記HDDに対するコマンド情報の応答時間が、前記HDDの遅延許容限界時間を越えたか否かにより前記コマンド情報の応答遅延を監視するコマンド応答遅延監視ステップと、
前記コマンド応答遅延監視ステップでの応答遅延監視結果に基づいて、前記HDDの遅延許容限界時間の経過後に特定順序を規定した1回目のコマンドを新たに発行し、前記HDDに対する制御を行うコマンド発行制御ステップと、
を含むことを特徴とするデータ記憶装置の制御方法。 - 少なくとも一つのHDDを含むデータ記憶装置の制御方法であって、
前記HDDに対するランダムリードコマンドの応答時間が、ランダムリードの遅延許容限界時間を越えたか否かにより前記ランダムリードの応答遅延を監視するランダムリード応答遅延監視ステップと、
前記ランダムリード応答遅延監視ステップでの応答遅延監視結果に基づいて、前記ランダムリードの遅延許容限界時間の経過後に特定順序を規定した1回目のコマンドを新たに発行し、前記HDDに対する制御を行うコマンド発行制御ステップと、
を含むことを特徴とするデータ記憶装置の制御方法。 - 請求項19又は請求項20に記載のデータ記憶装置の制御方法において、
前記遅延許容限界時間は、コマンドタイムアウトよりも短い値であること
を特徴とするデータ記憶装置の制御方法。 - 請求項19又は請求項20に記載のデータ記憶装置の制御方法において、
前記コマンド発行制御ステップは、
オーダードキュータスクアストリビュートで1回目のコマンドを発行すること
を特徴とするデータ記憶装置の制御方法。 - 請求項19又は請求項20に記載のデータ記憶装置の制御方法において、
前記コマンド発行制御ステップは、
発行中のコマンドがすべて終了するまで、以降の前記HDDに対するコマンド発行を待つように制御することを特徴とするデータ記憶装置の制御方法。 - 請求項20に記載のデータ記憶装置の制御方法において、
前記ランダムリード応答遅延監視ステップは、
前記HDDに発行するリードコマンドの要求アドレスの履歴情報を記憶し、
前記履歴情報から以前に発行したコマンドのアドレスを参照し、今回発行しようとしているコマンドが、前回発行したコマンドに対して連続している場合に、シーケンシャルアクセスを検出し、不連続である場合に、ランダムアクセスとの分析をし、
前記ランダムリードが検出された場合に、その検出したランダムリードアクセスコマンドの発行時に時刻を記憶し、
前記ランダムリードアクセスコマンドの応答が、予め設定された前記HDDのランダムリード遅延許容限界時間を越えても完了しなかった場合、前記HDDのランダムリードの応答遅延があったと判定する
ことを特徴とするデータ記憶装置の制御方法。 - 少なくとも一つのHDDを含むデータ記憶装置の制御プログラムであって、
コンピュータに、
前記HDDに対するコマンド情報の応答時間が、前記HDDの遅延許容限界時間を越えたか否かにより前記コマンド情報の応答遅延を監視するコマンド応答遅延監視手段と、
前記コマンド応答遅延監視手段での応答遅延監視結果に基づいて、前記遅延許容限界時間の経過後に特定順序を規定した1回目のコマンドを新たに発行し、前記HDDに対する制御を行うコマンド発行制御手段として、
機能させることを特徴とする制御プログラム。 - 少なくとも一つのHDDを含むデータ記憶装置の制御プログラムであって、
コンピュータに、
前記HDDに対するランダムリードコマンドの応答時間が、ランダムリードの遅延許容限界時間を越えたか否かにより前記ランダムリードの応答遅延を監視するランダムリード応答遅延監視手段と、
前記ランダムリード応答遅延監視手段での応答遅延監視結果に基づいて、限界時間経過後に経過後に特定順序を規定した1回目のコマンドを新たに発行して前記HDDに対する制御を行うコマンド発行制御手段として、
機能させることを特徴とする制御プログラム。 - 請求項25に記載の制御プログラムにおいて、
前記HDDの遅延許容限界時間を設定制御する第1の設定制御手段として、
コンピュータを機能させ、
前記コマンド応答遅延監視手段は、
前記第1の設定制御手段にて設定処理された第1遅延許容限界時間に基づいて、応答遅延を監視することを特徴とする制御プログラム。 - 請求項25に記載の制御プログラムにおいて、
前記ランダムリードの遅延許容限界時間を設定制御する第2の設定制御手段として、
コンピュータを機能させ、
前記ランダムリード応答遅延監視手段は、
前記第2の設定制御手段にて設定処理された第2遅延許容限界時間に基づいて、応答遅延を監視することを特徴とする制御プログラム。 - 請求項27又は請求項28に記載の制御プログラムにおいて、
前記第1又は前記第2遅延許容限界時間は、コマンドタイムアウトよりも短い値であることを特徴とする制御プログラム。 - 請求項25又は請求項26に記載の制御プログラムにおいて、
前記コマンド発行制御手段は、
オーダードキュータスクアストリビュートで1回目のコマンドを発行することを特徴とする制御プログラム。 - 請求項25又は請求項26に記載の制御プログラムにおいて、
前記コマンド発行制御手段は、
発行中のコマンドがすべて終了するまで、以降の前記複製データ記憶領域に対するコマンド発行を待つように制御することを特徴とする制御プログラム。 - 請求項26に記載の制御プログラムにおいて、
前記ランダムリード応答遅延監視手段として、
機能するコンピュータに、
前記HDDに発行するリードコマンドの要求アドレスの履歴情報を記憶する要求アドレス履歴情報記憶処理手段と、
前記要求アドレス履歴情報記憶処理手段の前記要求アドレスの履歴情報から以前に発行したコマンドのアドレスを参照し、今回発行しようとしているコマンドが、前回発行したコマンドに対して連続している場合に、シーケンシャルアクセスを検出し、不連続である場合に、ランダムアクセスとの分析をし、前記HDDに対するランダムリードアクセスを検出するアクセス種別分析手段と、
前記アクセス種別分析手段にてランダムリードが検出された場合に、その検出したランダムリードアクセスコマンドの発行時に時刻を記憶するランダムリードアクセスコマンド発行時刻記憶処理手段と、
前記ランダムリードアクセスコマンドの応答が、予め設定された前記HDDのランダムリード遅延許容限界時間を越えても完了しなかった場合、前記HDDのランダムリードの応答遅延があったと判定するランダムリードアクセスコマンド応答時間判定処理手段として、
さらに機能させることを特徴とする制御プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007095169A JP2008250961A (ja) | 2007-03-30 | 2007-03-30 | 記憶媒体の制御装置、データ記憶装置、データ記憶システム、方法、及び制御プログラム |
| US12/053,955 US7991975B2 (en) | 2007-03-30 | 2008-03-24 | Storage medium control unit, data storage device, data storage system, method, and control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007095169A JP2008250961A (ja) | 2007-03-30 | 2007-03-30 | 記憶媒体の制御装置、データ記憶装置、データ記憶システム、方法、及び制御プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008250961A true JP2008250961A (ja) | 2008-10-16 |
Family
ID=39970587
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007095169A Pending JP2008250961A (ja) | 2007-03-30 | 2007-03-30 | 記憶媒体の制御装置、データ記憶装置、データ記憶システム、方法、及び制御プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7991975B2 (ja) |
| JP (1) | JP2008250961A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014010709A (ja) * | 2012-06-29 | 2014-01-20 | Fujitsu Ltd | ストレージ制御装置、該プログラム及び該方法 |
| WO2014141466A1 (ja) * | 2013-03-15 | 2014-09-18 | 株式会社日立製作所 | 計算機システム |
| JP2014170399A (ja) * | 2013-03-04 | 2014-09-18 | Nec Corp | Raidシステム、ハードディスクドライブ性能低下検出方法およびそのプログラム |
| JP2015158725A (ja) * | 2014-02-21 | 2015-09-03 | 富士通株式会社 | ストレージ制御装置、ストレージ装置及びストレージ制御プログラム |
Families Citing this family (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2126698A2 (en) | 2006-12-06 | 2009-12-02 | Fusion Multisystems, Inc. | Apparatus, system, and method for a shared, front-end, distributed raid |
| US7836226B2 (en) | 2007-12-06 | 2010-11-16 | Fusion-Io, Inc. | Apparatus, system, and method for coordinating storage requests in a multi-processor/multi-thread environment |
| US8307180B2 (en) * | 2008-02-28 | 2012-11-06 | Nokia Corporation | Extended utilization area for a memory device |
| JP2010044814A (ja) * | 2008-08-11 | 2010-02-25 | Toshiba Storage Device Corp | 記憶装置の制御方法及び記憶装置 |
| US8874824B2 (en) | 2009-06-04 | 2014-10-28 | Memory Technologies, LLC | Apparatus and method to share host system RAM with mass storage memory RAM |
| US8140712B2 (en) * | 2009-07-17 | 2012-03-20 | Sandforce, Inc. | System, method, and computer program product for inserting a gap in information sent from a drive to a host device |
| US8516166B2 (en) * | 2009-07-20 | 2013-08-20 | Lsi Corporation | System, method, and computer program product for reducing a rate of data transfer to at least a portion of memory |
| US9223514B2 (en) | 2009-09-09 | 2015-12-29 | SanDisk Technologies, Inc. | Erase suspend/resume for memory |
| CN102597910B (zh) | 2009-09-09 | 2015-03-25 | 弗森-艾奥公司 | 存储设备中用于功率减小管理的装置、系统及方法 |
| US9021158B2 (en) | 2009-09-09 | 2015-04-28 | SanDisk Technologies, Inc. | Program suspend/resume for memory |
| US8239589B1 (en) * | 2010-03-31 | 2012-08-07 | Amazon Technologies, Inc. | Balancing latency and throughput for shared resources |
| CN102262590B (zh) * | 2010-05-31 | 2014-03-26 | 国际商业机器公司 | 一种用于对硬件加速器的请求队列重排的方法和系统 |
| US8984216B2 (en) | 2010-09-09 | 2015-03-17 | Fusion-Io, Llc | Apparatus, system, and method for managing lifetime of a storage device |
| US10817421B2 (en) | 2010-12-13 | 2020-10-27 | Sandisk Technologies Llc | Persistent data structures |
| US10817502B2 (en) | 2010-12-13 | 2020-10-27 | Sandisk Technologies Llc | Persistent memory management |
| US9208071B2 (en) | 2010-12-13 | 2015-12-08 | SanDisk Technologies, Inc. | Apparatus, system, and method for accessing memory |
| US9218278B2 (en) | 2010-12-13 | 2015-12-22 | SanDisk Technologies, Inc. | Auto-commit memory |
| WO2012109677A2 (en) * | 2011-02-11 | 2012-08-16 | Fusion-Io, Inc. | Apparatus, system, and method for managing operations for data storage media |
| US9417998B2 (en) | 2012-01-26 | 2016-08-16 | Memory Technologies Llc | Apparatus and method to provide cache move with non-volatile mass memory system |
| US9311226B2 (en) | 2012-04-20 | 2016-04-12 | Memory Technologies Llc | Managing operational state data of a memory module using host memory in association with state change |
| JP6079347B2 (ja) * | 2013-03-21 | 2017-02-15 | 富士通株式会社 | 制御装置、ストレージシステム、及び制御プログラム |
| US9666244B2 (en) | 2014-03-01 | 2017-05-30 | Fusion-Io, Inc. | Dividing a storage procedure |
| US9933950B2 (en) | 2015-01-16 | 2018-04-03 | Sandisk Technologies Llc | Storage operation interrupt |
| US10069896B2 (en) | 2015-11-01 | 2018-09-04 | International Business Machines Corporation | Data transfer via a data storage drive |
| US10067711B2 (en) * | 2015-11-01 | 2018-09-04 | International Business Machines Corporation | Data transfer between data storage libraries |
| US11366586B2 (en) | 2016-11-18 | 2022-06-21 | Google Llc | Streaming application environment with recovery of lost or delayed input events |
| US10623460B2 (en) * | 2016-11-18 | 2020-04-14 | Google Llc | Streaming application environment with remote device input synchronization |
| US10452278B2 (en) * | 2017-03-24 | 2019-10-22 | Western Digital Technologies, Inc. | System and method for adaptive early completion posting using controller memory buffer |
| US10509569B2 (en) | 2017-03-24 | 2019-12-17 | Western Digital Technologies, Inc. | System and method for adaptive command fetch aggregation |
| US10216660B1 (en) * | 2017-07-13 | 2019-02-26 | EMC IP Holding Company LLC | Method and system for input/output (IO) scheduling in a storage system |
| US11416362B2 (en) | 2019-05-17 | 2022-08-16 | Citrix Systems, Inc. | Dependency API controlled experiment dashboard |
| US20200366573A1 (en) * | 2019-05-17 | 2020-11-19 | Citrix Systems, Inc. | Systems and methods for visualizing dependency experiments |
| CN113448891B (zh) * | 2020-03-25 | 2023-07-21 | 澜起科技股份有限公司 | 存储器控制器以及用于监测对存储模块的访问的方法 |
| TWI822386B (zh) * | 2022-10-11 | 2023-11-11 | 慧榮科技股份有限公司 | 橋接控制晶片與相關的訊號處理方法 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3283928B2 (ja) | 1992-11-27 | 2002-05-20 | 株式会社東芝 | ディスク制御装置 |
| JP3575870B2 (ja) | 1994-06-10 | 2004-10-13 | 松下電器産業株式会社 | ディスク制御装置 |
| JPH10240449A (ja) | 1997-02-28 | 1998-09-11 | Matsushita Electric Ind Co Ltd | 記録再生装置及び記録再生装置に対する入出力制御方法 |
| JP3189874B2 (ja) | 1997-04-14 | 2001-07-16 | 日本電気株式会社 | I/oリクエスト発行スケジュール装置 |
| US6311256B2 (en) * | 1997-06-30 | 2001-10-30 | Emc Corporation | Command insertion and reordering at the same storage controller |
| JPH1185661A (ja) | 1997-09-05 | 1999-03-30 | Hitachi Ltd | 2次記憶装置およびハードディスク装置の制御方法 |
| JP2000056932A (ja) | 1998-08-10 | 2000-02-25 | Matsushita Electric Ind Co Ltd | ディスク制御装置 |
| JP3282599B2 (ja) | 1998-12-17 | 2002-05-13 | 日本電気株式会社 | コマンドキュー制御装置 |
| JP2002023962A (ja) | 2000-07-07 | 2002-01-25 | Fujitsu Ltd | ディスク装置及び制御方法 |
| JP2004102440A (ja) | 2002-09-05 | 2004-04-02 | Fujitsu Ltd | コマンド処理方法及び記憶装置 |
| JP4322068B2 (ja) * | 2003-03-07 | 2009-08-26 | 富士通株式会社 | ストレージシステム及びそのデイスク負荷バランス制御方法 |
| US7747788B2 (en) * | 2005-06-30 | 2010-06-29 | Intel Corporation | Hardware oriented target-side native command queuing tag management |
| US7644204B2 (en) * | 2006-10-31 | 2010-01-05 | Hewlett-Packard Development Company, L.P. | SCSI I/O coordinator |
-
2007
- 2007-03-30 JP JP2007095169A patent/JP2008250961A/ja active Pending
-
2008
- 2008-03-24 US US12/053,955 patent/US7991975B2/en not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014010709A (ja) * | 2012-06-29 | 2014-01-20 | Fujitsu Ltd | ストレージ制御装置、該プログラム及び該方法 |
| JP2014170399A (ja) * | 2013-03-04 | 2014-09-18 | Nec Corp | Raidシステム、ハードディスクドライブ性能低下検出方法およびそのプログラム |
| WO2014141466A1 (ja) * | 2013-03-15 | 2014-09-18 | 株式会社日立製作所 | 計算機システム |
| US9680933B2 (en) | 2013-03-15 | 2017-06-13 | Hitachi, Ltd. | Computer system |
| JP2015158725A (ja) * | 2014-02-21 | 2015-09-03 | 富士通株式会社 | ストレージ制御装置、ストレージ装置及びストレージ制御プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US7991975B2 (en) | 2011-08-02 |
| US20080282031A1 (en) | 2008-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2008250961A (ja) | 記憶媒体の制御装置、データ記憶装置、データ記憶システム、方法、及び制御プログラム | |
| US7124152B2 (en) | Data storage device with deterministic caching and retention capabilities to effect file level data transfers over a network | |
| CN101930449B (zh) | 客户机、代理服务器和用于提供云存储器的方法 | |
| JP5133886B2 (ja) | リモートシステムのためのプラグ・アンド・プレイデバイスのリダイレクション | |
| RU2479013C2 (ru) | Способ оптимизации твердотельного накопителя и оптимизатор | |
| CA2795205C (en) | Dynamic retrieval of installation packages when installing software | |
| US7975268B2 (en) | Grid computing system, management server, processing server, control method, control program and recording medium | |
| US20070283355A1 (en) | Computer System, Servers Constituting the Same, and Job Execution Control Method and Program | |
| US8533847B2 (en) | Apparatus and method for screening new data without impacting download speed | |
| US8924359B1 (en) | Cooperative tiering | |
| CN116301568A (zh) | 一种数据访问方法、装置以及设备 | |
| US20140082275A1 (en) | Server, host and method for reading base image through storage area network | |
| US8631166B2 (en) | Storage devices with bi-directional communication techniques and method of forming bi-directional communication layer between them | |
| JP2012123556A (ja) | 仮想サーバーシステム、及びその制御方法 | |
| US20040261076A1 (en) | Program processing system, program processing method, and computer program | |
| CN113031857B (zh) | 数据写入方法、装置、服务器及存储介质 | |
| US8688643B1 (en) | Systems and methods for adaptively preferring mirrors for read operations | |
| JP2022090642A (ja) | サーバーリソースを用いたマルウェアの探知及び治療が可能なモノのインターネット装置及びその方法 | |
| KR101147186B1 (ko) | 홈 저장 장치 및 소프트웨어 | |
| US20120215966A1 (en) | Disk array unit and control method thereof | |
| CN105074654A (zh) | 用于存储设备上的文件系统命令的特权化执行支持的方法和系统 | |
| US11734131B2 (en) | Memory device having redundant media management capabilities | |
| JP2013025655A (ja) | ログファイル管理モジュールおよびログファイル管理方法 | |
| US20080126599A1 (en) | Iscsi target apparatus that does not require creating a buffer in the user space and related method thereof | |
| JP2019125322A (ja) | ストレージ管理装置、ストレージ管理方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090113 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090707 |