JP2002222110A - ストレージシステム及び仮想プライベートボリューム制御方法 - Google Patents
ストレージシステム及び仮想プライベートボリューム制御方法Info
- Publication number
- JP2002222110A JP2002222110A JP2001016503A JP2001016503A JP2002222110A JP 2002222110 A JP2002222110 A JP 2002222110A JP 2001016503 A JP2001016503 A JP 2001016503A JP 2001016503 A JP2001016503 A JP 2001016503A JP 2002222110 A JP2002222110 A JP 2002222110A
- Authority
- JP
- Japan
- Prior art keywords
- identification number
- access
- command
- server
- response
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/062—Securing storage systems
- G06F3/0622—Securing storage systems in relation to access
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
- G06F3/0637—Permissions
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Storage Device Security (AREA)
- Multi Processors (AREA)
Abstract
装置へのパスを共有していると、ディスク装置側ではこ
れら複数のOS、アプリケーションを区別することがで
きない。そこで、複数のOS、アプリケーションを区別
して、排他制御、優先制御方法を代えることでセキュリ
ティ能力を向上させ、システムの性能最適化を図る。 【解決手段】 OSが発行するコマンドの内部にOS
を識別する識別番号を付与し、ディスク装置内でその識
別番号を元にアクセスの排他、優先処理を制御すること
で、サーバ及びディスク装置全体のトランザクション性
能を高めることを特徴とする仮想プライベートボリュー
ム制御装置とする。
Description
装置技術に関し、特に複数の記憶装置、CPUなどの構
成要素を接続し、高いセキュリティ能力、高い応答性
能、トランザクション数が要求される情報処理装置、記
憶装置に有効な技術に関する。
を持つサーバと大容量のディスク装置を組み合わせ、複
数のユーザでそれら資源を共用する環境が現実になって
くるに従って、各ユーザのセキュリティを守り、効率的
に資源を使うことが要求されてきている。従来のサーバ
及びディスク装置においては、論理ボリュームの排他制
御を行うためにサーバに内蔵しているI/Oアダプタ毎
に識別番号を持ちそれをストレージ側で区別する方式が
採用されている。図2に従来のサーバ、ディスク装置構
成例を示す。ここでサーバ#0(110)とサーバ#1
(120)はそれぞれ複数のOS#0(155)〜OS
#2(120)を内蔵している。またI/Oアダプタ1
18、128を持ちストレージ170に接続している。
ストレージ170にアクセスする場合データフレーム1
30、135、140をI/Oアダプタ118、128
より発行する。データフレーム130、135、140
の記述内容の中にはWorld Wide Name
(WWN)(205、215、225)がありI/Oア
ダプタ118、128毎に固有の認識番号をそこに書き
こむ。一方ディスク装置170ではI/Oアダプタ17
3、174を持ち上記データフレーム130、135、
140を受信する。ディスク装置170で内部制御を行
うチャネルコントローラ175、176は受信したデー
タフレーム130、135、140から識別番号である
WWN205、215、225を抽出する。そしてチャ
ネルコントローラ175、176はWWN205、21
5、225とローカルメモリ180、181にあらかじ
め登録されている排他/優先制御テーブル182、18
3を比較することで論理ボリューム195、196に対
するアクセスの排他/優先制御を行う。例えばサーバ#
0(110)のOS#2(150)が論理ボリューム#
0(195)を所有し、サーバ#1(120)のOS#
1(160)が論理ボリューム#1(196)を所有し
ていることを仮定する。ここで誤ってOS#1(16
0)が論理ボリューム#0(195)をアクセスした場
合、このアクセスのデータフレーム140のWWN22
5には識別番号001があるので、チャネルコントロー
ラ176は排他/優先制御テーブル183を参照し、識
別番号000しかアクセスが許可されていないことがわ
かる。そこでチャネルコントローラ176はOS#1
(160)に対してアクセスが拒否されたことを伝え
る。このような論理ボリュームの排他/優先制御を備え
たディスク装置の技術については、特開2000-20
447号に開示された「記憶サブシステム」等がある。
それらを複数のOSで分割して使う技術が存在する。こ
の技術を用いることで、サーバのCPU、メモリ等を効
率よく利用することが可能になってきている。これらの
技術の一例としてLPAR(Logical PART
ioning)がある。これを用いた場合、複数のOS
を管理するソフトウエアプログラムとしてハイパバイザ
430が存在することにより、動的にOSに,CPU、
メモリ、I/Oデバイスを割り当てることが可能とな
る。例えば図2のサーバ#1(120)では、CPU#
10〜#13と4個あるので、LPARを用いることで
OS#0(155)にはCPU#10を割り当て、OS
#1(160)にはCPU#11、#12、#13(1
22、123、124)を割り当てることができる。メ
インメモリ125についても容量を適当な割合でOS#
0(155)、OS#1(160)に割り当てることが
できる。I/Oアダプタが複数ある場合はOS#0(1
55)、OS#1(160)に割り当てることができる
がこの例では1個しかないので、I/Oアダプタ128
は両OSで共有することになる。このような技術につい
ては、特開平10-301795号に開示された「仮想
計算機システム」等がある。また、特開2000−11
2804号には、複数のOSがファイルを共用して動作
する仮想計算機システムにおいて、1つのOSが他のO
Sのデータファイルをアクセスすることを防止するた
め、OS番号が付されたI/O命令をディスク装置に対
して発行することが記載されている。また、特開平4−
140844号には、OSが発行したI/O命令を解析
するI/O解析手段を有し、I/O解析手段では引き取
ったI/O命令にOS識別子を付加し、複数OSを同時
動作させたときに排他制御することが記載されている。
WWN205、215、225をディスク装置170で
識別することによって論理ボリューム195、196の
排他/優先制御を行うことが可能となる。またLPAR
を用いることでサーバ内複数のOSに対して,CPU、
メモリ、I/Oデバイスを効率よく割り当てることが可
能になる。しかし一般にサーバ内CPU数の増加の割合
に対して、I/Oデバイスの数はそれほど多く増加せ
ず、CPU間で共有する場合が多い。これはコストを削
減とI/Oデバイスが外部へのI/Fを持つことによる
物理的な大きさのためである。このような状況で論理ボ
リュームの排他/優先制御を行う場合、以下のように排
他/優先制御が出来なくなる問題がある。例えば、図2
のサーバ#1(120)ではOS#0(155)とOS
#1(160)が同じサーバ内に存在し、I/Oアダプ
タ128を共有して使うことになる。しかし両OSから
発行するデータフレーム135、140のWWN21
5、225はI/Oアダプタ128を共有するため同じ
識別番号“001”が付けられる。よってディスク装置
170ではこの2個のデータフレームについて排他/優
先制御は行うことができない。よってOS#0(15
5)が論理ボリューム#0(195)を所有、他のOS
にアクセスすることを許可しない場合でも、上記理由に
よりOS#1(160)は論理ボリューム#0(19
5)にアクセスすることが可能となってしまう。本発明
の主たる目的は、サーバ内の複数OSがI/Oデバイス
とストレージシステムを共有する場合に、各OSに固有
な識別情報をサーバ側で付加、ディスク装置側で抽出す
る手段をつけることにより各OS毎に所有する論理ボリ
ュームの排他/優先制御を行う技術を改良することにあ
る。本発明のさらに別の目的は、ディスク装置に排他/
優先制御方法を記述したテーブルを設置し、複数の排他
/優先制御方法から選択し実行する技術を提供すること
にある。本発明のさらに別の目的は、サーバからディス
ク装置に対して、各OS毎に複数の排他/優先制御方式
をディスク装置に対して命令する技術を提供することに
ある。
に、複数のOSを有し、前記OSからのアクセス要求が
あると当該OSを識別する識別番号を付与し、前記付与
された識別番号を有するコマンドを送信するサーバと、
当該送信されたコマンドを受信するディスク装置とを備
え、前記ディスク装置は前記識別番号を抽出し、前記抽
出した識別番号に対応した論理ボリュームへのアクセス
を処理するかまたはアクセスを拒否するかに相当するレ
スポンスを前記識別番号を付与して返信し、前記サーバ
は前記レスポンスを受信する仮想プライベートボリュー
ム制御方法とする。また、サーバにOS毎の識別番号を
ディスク装置アクセス時に発行するデータフレーム内に
書き込む手段をおく。また、ディスク装置の中で上記O
S毎の識別番号を抽出し、それを元にアクセスの排他/
優先制御を行う手段をおく。さらにサーバからディスク
装置にOS毎にアクセス可能な論理ボリュームまたは排
他/優先制御情報を送る手段をおく。さらにディスク装
置に上記OS毎にアクセス可能な論理ボリュームまたは
排他/優先制御情報を格納するテーブルをおく。ここ
で、複数のOSとは、OSユーザーが異なる場合など
の、仮想的に異なる複数のOSであればよく、同種のO
S(例えばOS#0がWindowsNT[米国およびその他
の国における米国Microsoft Corp.の登録商標;以下同
じ]でOS#1がWindowsNTの場合、OS#1がUN
IX[X/Open Company Limited が独占的にライセンス
している米国ならびに他の国における登録商標;以下同
じ]でOS#2がUNIXなど)であってもよい。
の実施例1を図面に示しさらに詳細に説明する。図1は
本発明の実施例1における仮想プライベートボリューム
制御装置の全体構成図である。110、120はサーバ
であり、OS、アプリケーションを動かし、ディスク装
置170に対してデータの読み出し、書き込み等の命令
を発行する。111、112、113、114、12
1、122、123、124はCPUであり、サーバ#
0、#1(110、120)に複数格納され、OS,アプ
リケーションの処理を並列に行う。115、125はメ
インメモリであり、CPUが直接使うデータを格納してあ
る。116、126はノードコントローラであり、CPU
とI/OアダプタまたはLANアダプタ等の下位アダプタ間の
転送を制御する。117、127はLANコントローラで
あり、CPU(111、112、113、114、12
1、122、123、124)とLAN145に接続して
いる外部装置間の転送を制御する。118、128、1
73、174はI/Oアダプタであり、CPU(111、1
12、113、114、121、122、123、12
4)とディスク装置170間の転送を制御する。図1の
例では複数のCPUでメインメモリ、LANアダプタ、I/Oア
ダプタを共用することになる。145はLAN(Local Ar
ea Network)でありサーバとディスク装置間のデータ
を通す通信路である。このLAN145を使ってディスク
装置170はサーバ110、120からの排他/優先制
御に関する情報を入手する。170はディスク装置であ
り、サーバ#0、#1(110、120)の命令に従っ
てデータの読み出し、書き込みを行う。171、172
はSVP(Service Processor)であり、LAN145を経由
してサーバ#0、#1(110、120)より送られる
ディスク装置170の制御情報を受信し、ディスク装置
170の必要な制御情報を変更する。175、176は
チャネルコントローラであり、サーバ#0、#1(11
0、120)からくるコマンドを解析し、必要なデータ
の検索、送受信を行う。180、181はローカルメモ
リであり、チャネルコントローラ175、176を制御
する際に必要な制御情報を格納する。184は共有メモ
リであり、チャネルコントローラ175、176間の通
信、制御を行う際に必要な制御情報を格納する。18
2、183、185は排他/優先制御テーブルであり、
論理ボリューム等の排他/優先制御を行う際に必要な制
御情報を格納する。詳しくは図6にて説明する。186
はキャッシュメモリであり、サーバ#0、#1(11
0、120)が必要としているデータを格納するメモリ
である。ただしすべてのデータは格納されておらず、使
用頻度の高いデータのみ格納されている。187、18
8はキャッシュメモリ186内に格納されたデータであ
る。190はディスクコントローラであり、磁気ディス
ク191、192、193,194とキャッシュメモリ
186間データの送受信制御を行う。191、192、
193,194は磁気ディスクであり、データが最終的
に格納されている記憶装置である。150、155、1
60はOSであり、アプリケーションからのアクセスの制
御等を行う。195、196は論理ボリュームであり、
OS#0(150)、OS#1(155)、OS#2(16
0)に割り当てられる記憶領域である。OS#0(15
0)、OS#1(155)、OS#2(160)から論理ボ
リューム#0(195)、#1(196)に対するアク
セス命令はI/Oアダプタ118、128でコマンドおよ
び制御情報に変換され、データフレーム130、13
5、140内に書き込まれ、ディスク装置170へ転送
される。データフレーム内の詳細については図3にて説
明する。197、198はI/Oパスであり、サーバ#
0、#1(110、120)とディスク装置170を接
続しているデータの通信路である。この例ではファイバ
ーチャネル(FC)を示しているが他の規格でも本発明の
範囲内である。ここで、複数のOSとは、OSユーザー
が異なる場合などの、仮想的に異なる複数のOSであれ
ばよく、同種のOS(例えばOS#0がNTでOS#1
がNTの場合、OS#1がUNIXでOS#2がUNI
Xなど)であってもよい。
レーム構造例を示す。この構造例はファイバーチャネル
の標準規格のフォーマットを参考にしたものである。3
00はデータフレームの例であり、幾つかの部分から成
り立つデータである。305はStart Of Frame識別子で
あり、データフレームの先頭をI/Oアダプタ118、1
28、173、174に伝える。310はフレームヘッ
ダであり、データフレームのアドレス等を記述してい
る。詳細は後で述べる。315は、ペイロードであり上
位プロトコルのデータ、コマンド等が格納されている。
詳細は後で述べる。320はCRC(Cyclic Redundancy C
heck)であり、データフレーム300内のデータの誤り
を発見し訂正を行う。325はEnd Of Frame識別子であ
り、データフレームの終わりをI/Oアダプタ118、1
28、173、174に伝える。次にフレームヘッダ3
10の構造例を示す。330は送信先ポートIDでありデ
ータフレーム300が次に進みたい装置のポートIDを示
す。335は送信元ポートIDでありデータフレームをデ
ィスク装置170に送信してきた装置のポートIDを示
す。具体的にはWWNの情報がここに格納され、異なる
I/Oアダプタからのデータフレームの排他/優先制御
に用いられる。340は上位レイヤプロトコルであり、
送信元と送信先がデータのやり取りを行う際に使うプロ
トコルの種類を示しており、たとえばSCSI等があげられ
る。345は上位レイヤシーケンスIDであり、上位プロ
トコルに従った通信におけるシーケンスの順番を示す。
350はシーケンス内フレーム番号であり、シーケンス
内にある複数のデータフレームの順番を示す。355は
上位レイヤプロトコル送信先IDであり、最終的にデータ
フレーム300が到着する装置のポートIDを示す。次に
ペイロード内容としてSCSIを上位プロトコルに使っ
た場合のリードコマンド構造例を示す。360はグルー
プコードであり、コマンドの長さまたは標準のコマンド
かベンダユニークなコマンドかの区別をする。365は
コマンドコードでありこの例の場合はリードコマンドに
対応するコードが入る。370は論理ボリューム番号
(LUN)であり例えば磁気ディスク191〜194に
設定された 論理ボリューム#0(195)、#1(1
96)を示している。375はデータ等が存在する場所
のアドレスであり、例えば論理ボリューム#0(19
5)、#1(196)内のアドレスを示している。38
0はLPAR−IDを示しており、具体的にはハイパバ
イザ430の指定した各OSの識別番号が入る。385
は転送データ長であり、リードする範囲を示す。390
はコントロールバイトであり、データフレーム300ま
たはペイロード315が扱える容量に合わせるために付
け加える空白なデータである。なお上記例以外のフォー
マットを使ってWWN、LPAR−IDをフレームに内
蔵させた場合でも、本発明の範囲であることは自明であ
る。図4に本発明の実施例1におけるソフトウエア構造
例とデータ転送成功例を示す。ここでサーバ#0(11
0)のみ説明する。410、411、412、413は
ミドル/アプリであり、ユーザの処理を直接受けるプロ
グラムである。420、421、422、423はOS
であり、ミドル/アプリ410、411、412、41
3からの要求を調整、処理を行う。430はハイババイ
ザであり、サーバ#0(110)内のCPU、メインメ
モリ、I/Oデバイスを複数のOS420、421、4
22、423に分割して利用させる。また各OS42
0、421、422、423の識別番号となるLPAR
−ID450、451、452を管理、設定する。44
0、441、442はデバイスドライバであり、ディス
ク装置170へのアクセスが必要な場合、コマンド、デ
ータ、WWN、LPAR−ID等をデータフレーム13
0に設定してディスク装置170に送信する。455は
制御フレームであり、サーバ#0(110)からディス
ク装置170の制御方式等を変更したい場合にこの中に
設定してディスク装置170にあるテーブルセットプロ
グラム470に送信する。制御フレームの詳細について
は図7にて説明する。460、465はディスク装置1
70のμプログラム(μP)であり、ディスク装置17
0のI/Oアダプタ173、174、チャネルコントロ
ーラ175、176、キャッシュメモリ186を制御す
る。ディスク装置170のμプログラム460は、I/
Oアダプタでフレームの受信、解析を制御するI/Oア
ダプタμPと、チャネルコントローラでコマンドの解
析、排他/優先制御、コマンド実行を制御するチャネル
コントローラμP(462)に分かれている。さらにチ
ャネルコントローラμP(462)ではデータフレーム
130内に書きこまれている、WWN、LPAR−ID
を抽出して、排他/優先制御テーブル182、185の
内容と比較することにより、I/Oアクセスの排他/優
先制御を実行する。排他/優先制御の詳細は図12、1
2、13、14で説明する。470はテーブルセットプ
ログラムであり、サーバ#0(110)から来た制御フ
レーム455を受信し、内容をローカルメモリ180ま
たは共有メモリ184内の排他/優先制御テーブル18
2、185に格納する。図4のようにデータフレーム1
30のLPAR−IDがローカルメモリ180、または
共有メモリ184にある排他/制御テーブル182、1
85内で論理ボリューム#0(195)へのアクセスを
許可されている場合、アクセスの結果は以下のようにな
る。アクセスが許可されているので、論理ボリューム#
0(195)内の必要なデータをリードし、フレーム1
36にLPAR−IDといっしょに載せてサーバ#0
(110)に送る。さらにデータ転送が正しく処理した
ことをステータスとして、フレーム137にLPAR−
ID等といっしょに載せてサーバ#0(110)に送
る。これらのフレーム136、137を受け取ることに
よりサーバはデータアクセスを完了する。図4の様なソ
フトウエア構造においてハイパバイザ430がデバイス
ドライバ440、441、442にLPAR−IDを設
定する方式は2通りある。一つは初期設定時にデバイス
ドライバ440、441に設定する方式である。OS4
20、421とデバイスドライバ#0(440)、#1
(441)が一対一に対応している場合はOSにLPA
R−IDが割り当てられた時に各デバイスドライバに来
るI/OのLPAR−IDも決まっているので、初期設
定時にハイパバイザ430よりOS420、421、デ
バイスドライバ#0(440)、#1(441)がそれ
ぞれLPAR−ID#0、#1(450、451)を受
け取り設定する。I/Oアクセス発生時にはデバイスド
ライバ#0、#1(440,441)は設定されたLP
AR−ID#0、#1(450,451)をデータフレ
ーム130に設定する。2種類目はI/Oアクセス毎に
デバイスドライバ#2(442)にLPAR−ID#2
/3(452)を連絡する方式である。OS422、4
23はデバイスドライバ#2(442)を共有している
ので実際にI/Oアクセスが発生するまでどちらのOS
のI/Oアクセスなのか不明である。そのためOSがI
/Oアクセスをデバイスドライバ#2(442)に発行
する際に、前もってハイパバイザより設定されたLPA
R−ID#2/3(452)を同時にデバイスドライバ
442に送信する。受信したデバイスドライバ#2(4
42)はそのLPAR−ID#2/3(452)をデー
タフレーム130に設定する。以上のようにしてデータ
フレーム130にLPAR−ID#0、#1、#2、#
3(450、451,452)が設定されると、同じI
/Oアダプタ118を共有している複数のOS(42
0、421、422、423)からI/Oアクセスが発
生した場合でも、LPAR−ID#0、#1、#2、#
3(450、451,452)が異なるため、上で述べ
た様にストレージ側でこれを識別することで排他/優先
制御を行うことが可能になる。図5に本発明の実施例1
におけるソフトウエア構造例とデータ転送失敗例を示
す。図5のようにデータフレーム130のLPAR−I
Dがローカルメモリ180、または共有メモリ184に
ある排他/制御テーブル182、185内で論理ボリュ
ーム#0(195)へのアクセスを許可されていない場
合、アクセスの結果は以下のようになる。アクセスが許
可されていないので、データ転送が正しく処理できずエ
ラーとなる。エラーが発生したことをステータスとし
て、フレーム138にLPAR−ID等といっしょに載
せてサーバ#0(110)に送る。このフレーム138
を受け取ることによりサーバは次に行うべきエラー処理
を判断することが可能になる。一般的にはこの後サーバ
側がディスク装置のエラー情報にアクセスして次の処理
を決定する。図4,5で示したサーバへのフレーム13
7、138の返信は本発明のひとつの例であり、排他/
優先制御に関する他の情報を返信することが可能なこと
は明白である。図6に本発明の実施例1における排他/
優先制御テーブル例を示す。500は例として論理ボリ
ューム#0(195)の排他/優先制御テーブルを示し
ている。505、510、515、520は論理ボリュ
ーム#0(195)アクセスする可能性があるWWNを示
す。525、530、535、540は各WWNを持つI/
Oアダプタからアクセスする可能性のあるOSのLPA
R−IDを示す。この表で“○”で示されているWW
N、LPAR−IDは論理ボリューム#0(195)に
アクセスが可能である。逆に“×”の場合論理ボリュー
ム#0(195)にアクセスは排他される。この制御方
式は図13に詳細を説明する。また排他制御#2と書い
てあった場合は図14で詳細を説明する排他制御方式に
従う。また優先制御と書いてあった場合は図15で示す
優先制御方式に従う。ここで他の排他/優先制御を用い
る場合でもこの排他/優先制御テーブル500に登録し
ておけば実現可能であることは自明である。排他/優先
制御テーブルは論理ボリューム毎に存在し、それらの集
合はローカルメモリ180、181、共有メモリ184
内に存在する(排他/優先制御テーブル182、18
3、185)。そしてチャネルコントローラ175、1
76はこれらの表を参照して排他/優先制御を行う。こ
れらの排他/優先制御テーブルはLAN145を通し
て、サーバ#0、#1(110、120)から送られる
制御フレーム455をテーブルセットプログラム470
が受信し、生成、変更することによってできる。制御フ
レーム455の詳細については図7で説明する。図7に
本発明の実施例1における制御フレーム構造例を示す。
制御フレーム構造例についてはIP、UDPのプロトコ
ルを参考にしたものである。またメッセージ構造例につ
いてはSNMP(Simple Network Ma
nagement Protocol)を参考にしたも
のである。ローカルネットワークヘッダ605には、L
AN通信に必要なアドレス、データ長等の制御情報が格
納されている。IPヘッダ610にはIPを使った通信
に必要なアドレス、データ長等の制御情報が格納されて
いる。UDPヘッダ615にはUDPを使った通信に必
要なアドレス、データ長等の制御情報が格納されてい
る。ここで取り上げた以外のプロトコルを使っても本発
明の範囲であることは自明である。620はメッセージ
であり詳細については後で説明する。625はローカル
ネットワークトレイラであり、データのエラーチェック
のコード、データの終端のコード等が記述されている。
次にメッセージ620の構造例を示す。630はコマン
ドフィールドでありこのメッセージを使ってディスク装
置が行うべきことを示している。この例ではパラメータ
を排他/優先制御テーブルにセットする命令が入ってい
る。635はデータ長フィールドであり、以下のデータ
フィールドが何個続くかを示している。この例では6個
続くことを示している。640〜665まではデータフ
ィールドであり、排他/優先制御テーブルに設定すべき
パラメータが記述されている。この例では、論理ボリュ
ーム#2(640)のLAPR−ID#2(645)か
つWWN#1(650)のアクセスに関しては排他制御
#2(655)を行い、その制約条件は最大排他処理時
間(660)と最大排他処理I/O数(665)である
ことを示している。データフィールドにはこのほかに優
先制御を行う際の優先順位等が入ることも考えられる。
図8に本発明の実施例1におけるサーバVPV制御初期化
のフロー示す。ここではサーバ#0(110)側仮想プ
ライベートボリューム(VPV)制御の初期化を行う。
ステップ700からサーバVPV制御初期化が始まる。
ステップ705ではハイパバイザ430の初期化をまず
行う。ステップ710ではLPAR−ID#0(45
0)、#1(451)、#2/3(452)を各LPA
R(OS)に割り当てる。ステップ715では各LPA
R内の特定エリアにIDを格納する。ステップ720で
はOS420、421、422、423とデバイスドラ
イバ440、441、442を初期化して立ち上げる。
ステップ725ではOS420、421、422、42
3間でデバイスドライバ440、441、442を共用
しているかを調べる。もし共有していなければ(OS4
20、421の場合)デバイスドライバ440、441
が各LPARが格納しているLPAR−ID#0(45
0)、#1(451)を取得する。デバイス440、4
41、442を共有していれば(OS422、423の
場合)、OS422、423がLPAR−ID#2/3
(452)を取得する。ステップ740ではLPAR−
ID#0(450)、#1(451)、#2/3(45
2)、論理ボリューム#0、#1(195,196)排
他/優先制御情報をディスク装置170に対して制御フ
レーム455を使って送信する。そしてステップ745
でサーバVPV制御初期化が終了する。図9に本発明の
実施例1におけるサーバ側I/O処理(デバイスドライバ
非共有)のフローチャート示す。ここでは初期化終了後
通常のI/O処理のフローを示す。またデバイスドライ
バはOS間で共有しない。ステップ800からサーバ側
I/O処理が開始される。ステップ805ではOS42
0、421にI/O処理が来ているかどうかを調べる。
もし来ていなければ、そのままステップ805に戻る。
I/O処理が来ていればステップ810に進み、OS4
20、421がデバイスドライバ440、441用のシ
ステムコールを起動する。ステップ815ではデバイス
ドライバ440、441が起動する。ステップ820で
はデバイスドライバ440、441がデータフレーム1
30に自分のLPAR−ID#0(450)、#1(4
51)を埋め込む。ステップ830ではディスク装置1
70からデータフレームに対するステータスが返送され
たかどうかを調査する。返送していなければ、そのまま
ステップ830に戻る。ステータスが返送された場合、
ステップ835に進み、I/Oステータスが正常終了し
たかどうかを調べる。もし正常終了した場合はステップ
805に戻る。異常終了した場合、ステップ840に進
みエラー原因をディスク装置170に問い合わせる。ス
テップ845では問い合わせた結果を見て、サーバ#0
(110)のエラー処理を行う。ステップ850ではI
/O処理の回復は不可能かどうか調べる。もし回復が可
能ならばステップ805に進む。不可能ならばステップ
855に進みサーバ側I/O処理を終了する。図10に
本発明の実施例1におけるサーバ側I/O処理(デバイス
ドライバ共有)のフローチャートを示す。ここでは初期
化終了後通常のI/O処理のフローを示す。またデバイ
スドライバはOS間で共有する。ステップ900からサ
ーバ側I/O処理が開始される。ステップ905ではO
S422、423にI/O処理が来ているかどうかを調
べる。もし来ていなければ、そのままステップ905に
戻る。I/O処理が来ていればステップ910に進み、
OS422、423がデバイスドライバ442用のシス
テムコールを起動する。ステップ915ではOS42
2、423がデバイスドライバ442に対して自分のL
PAR−ID#2/3(452)を連絡する。ステップ
920ではデバイスドライバ442がデータフレーム1
30に連絡されたのLPAR−ID#2/3(452)
を埋め込む。ステップ930以降は図9のステップ83
0以降と同じなので以下説明を省略する。図11に本発
明の実施例1におけるディスク装置VPV制御初期化のフ
ローチャートを示す。ここではディスク装置170側仮
想プライベートボリューム(VPV)制御の初期化を行
う。ステップ1000からディスク装置VPV制御初期
化を開始する。ステップ1005ではディスク装置17
0の初期化を行う。ステップ1010ではVPV制御μ
プログラム立ち上げ、排他/優先制御テーブル182、
183、185の初期化を行う。ステップ1015では
サーバ#0(110)より制御フレーム455を通し
て、LPAR−ID、論理ボリューム、排他/優先制御
に関する情報を受信する。受信なければ、ステップ10
15に戻る。受信した後、ステップ1020では排他/
優先制御テーブル182、183、185の設定を行
う。そしてステップ1025でディスク装置VPV制御
初期化が終了する。図12に本発明の実施例1における
ディスク装置側I/O処理フローチャートを示す。ここで
は初期化終了後ディスク装置170における通常のI/
O処理のフローを示す。ステップ1100よりディスク
装置側I/O処理が開始される。ステップ1105では
I/Oアダプタ173、174にI/O処理が来ている
かどうかを調べる。もし来ていなければ、そのままステ
ップ1105に戻る。I/O処理が来ていればステップ
1110に進み、I/Oアダプタμプログラム461を
起動する。ステップ1115ではチャネルコントローラ
μプログラム462を起動する。ステップ1120では
コマンドに埋め込まれたLPAR−ID380を抽出す
る。ステップ1125ではI/O処理対象の論理ボリュ
ーム370の排他/優先制御テーブル500を参照す
る。ステップ1130ではI/OのLPAR−ID38
0、WWN335を参照してそれが排他制御対象かどう
か調べる。排他制御対象でなければ、ステップ1150
の優先制御処理に進む。ステップ1150については図
15で詳細を説明する。排他制御対象ならばステップ1
135に進む。ステップ1135については図13、1
3で詳細を説明する。ステップ1150の優先制御処理
の後、ステップ1135で通常処理と判定された場合は
ステップ1155にてI/Oアクセス処理のキューに入
ってキャッシュメモリ186または磁気ディスク19
1、192、193、194のI/O処理を待つ。ステ
ップ1135で排他処理と判定された場合はステップ1
140に進む。ステップ1160ではキューに入れたI
/Oの処理が正常に終わったかどうかを調べる。正常終
了した場合はステップ1145へ進む。異常終了した場
合はステップ1140へ進む。ステップ1140ではエ
ラーメッセージを作成してディスク装置170内に保存
する。ステップ1145はデータまたはステータスメッ
セージを作成して、サーバに返答する。その後ステップ
1105に戻る図13に本発明の実施例1における第一
の排他制御処理例のフローチャートを示す。ここでは、
図12のステップ1135の具体的な制御方式として、
一番単純な排他制御のフローを示す。ステップ1200
より排他制御処理#1が始まる。ステップ1205では
アクセスが排他されるべきかどうかを調べる。排他なら
ばステップ1215の排他処理へ進む。排他でなければ
ステップ1205の通常処理へ進む。図14に本発明の
実施例1における第二の排他制御処理例のフローチャー
トを示す。ここでは、図12のステップ1135の具体
的な制御方式として、処理時間、処理I/O数を条件と
した、制限付き排他制御のフローを示す。ステップ13
00より排他制御処理#2が始まる。ステップ1305
ではそれまでに排他処理を行った時間が、あらかじめ設
定してある最大排他処理時間(660)より少ないかど
うか調べる。少なければステップ1310へ進む。同じ
か、大きければステップ1335の通常処理へ進む。ス
テップ1310では排他処理時間を加算する。ステップ
1315ではそれまでに排他処理を行ったI/O数が、
あらかじめ設定してある最大排他処理I/O数(66
5)より少ないかどうか調べる。少なければステップ1
320に進む。同じか、大きければステップ1335の
通常処理へ進む。ステップ1320では排他処理I/O
数の加算を行う。ステップ1325ではではアクセスが
排他されるべきかどうかを調べる。排他ならばステップ
1330の排他処理へ進む。排他でなければステップ1
335の通常処理へ進む。図15に本発明の実施例1に
おける優先制御処理例のフローチャートを示す。ここで
は排他制御を行わず、処理の順番を変更するフローを示
す。この例はSCSIの標準規格のタグキューイングを
参考にしたものである。ステップ1400から優先制御
処理が行われる。ステップ1405では処理するI/O
の処理順番を決めるためのポインタをキューの先頭にセ
ットする。ステップ1410では処理するI/Oの優先
順位を読み出す。ステップ1415ではキュー内のポイ
ンタの位置にI/Oがあるかどうかを調べる。なければ
ステップ1430へ進む。I/Oがあればステップ14
20に進みポインタ位置にあるキュー内I/Oの優先順
位を読み出す。ステップ1425ではキュウ内I/Oの
優先順位が処理するI/Oの優先順位より高いかどうか
を調べる。優先順位高ければステップ1435に進み、
ポインタを1加算して、ステップ1415に戻る。優先
順位が低ければステップ1430へ進む。ステップ14
30では処理するI/Oの順番を現時点でセットされた
ポインタの位置に決定する。ステップ1440では通常
処理へ進む。なお以上のフロー例以外の方式を使った排
他/優先制御処理も本発明の範囲であることは自明であ
る。以上図1から図15までに示した実施例1によれ
ば、LPAR−IDをデータフレームに入れてディスク
装置に送信し、受信したディスク装置側で排他制御を行
うことにより、I/Oアダプタを共有する複数のOSに
関しても排他制御を行うことが可能となる。またディス
ク装置側でLPAR−ID、WWNを考慮した排他/優
先制御テーブルを持つことにより、サーバ間をまたがっ
たOS等に関してもディスク装置側で統一的に排他/優
先制御を行うことが可能となる。また排他/優先制御方
式も複数の方式を選択できるようにしているので、柔軟
な排他制御、性能の最適化が可能となる。 (実施例2)以下、本発明に係るの実施例2を図面に示
しさらに詳細に説明する。
ウエア構造例を示す。実施例1では排他/優先制御はデ
ィスク装置170で行ったが、単体サーバ#0(11
0)の内部だけに制御を限定し、サーバ#0(11
0)、ハイパバイザ1500の処理能力が高い場合は、
その他にハイパバイザ1500行うことも可能である。
この場合、すべてのI/Oアクセスはハイパバイザ15
00で受け取り、ハイパバイザ内に格納されているLP
AR−ID1510とその優先/排他制御テーブル15
50を用いることで、排他/優先制御を行う。アクセス
が許可された場合I/Oアクセスはそのままディスク装
置170に送信され、アクセスが許可されない場合はそ
のままエラーでOS(420)に返される。以上図16
に示した実施例によればディスク装置170、データフ
レーム140に変更を加えることなく、OS間の排他/
優先制御を行うことが可能になる。 (実施例3)以下、本発明に係るの実施例3を図面に示
しさらに詳細に説明する。
ウエア構造例を示す。実施例1、2では排他/優先制御
を行う単位は、LPAR−IDを持つOS単位で行ってい
た。しかしユーザによっては、アプリケーション単位で
排他を行う必要がでてくる。同一OS内のアプリケーショ
ンならば、OSが排他/優先制御を行うことになるが、複
数OSにあるアプリケーション間で行うためには実施例
1、2と同様にディスク装置460またはハイパバイザ
430で排他/優先制御を行うことになる。たとえばア
プリケーション#1(1605、1615 以下アプリ
#1と呼ぶ)のデータアクセスは優先したい場合、アプ
リ#1(1605、1615)のアクセスが発生時にア
プリケーション毎にあるID(APL−ID)をLPA
R−IDと同様にデータフレーム1635につけ、ディ
スク装置460に送信する。ディスク装置460側で
は、前もって受信した制御フレーム1620で伝えられ
排他/優先制御テーブル1625、1630に登録され
た、アプリケーション毎の排他/制御情報を元に排他/
優先制御を行う。アクセス結果はデータ1640、ステ
ータス1645によってサーバ#0(110)に報告さ
れる。この結果として、LPAR−ID#0(45
0)、LPAR−ID#2(452)によってアクセス
が排他されていない限り、アプリ#1のデータアクセス
はOSにかかわらず優先される。
優先制御テーブル例を示す。実施例3ではアプリ毎に排
他/優先制御を判定するために、図6に比較してテーブ
ルが一種類増えることになる。1625−aは排他/優
先制御テーブル例(WWN−LPAR関係)で図6の排
他/優先制御テーブル500と同様な形式である。16
25−bは排他/優先制御テーブル例(WWN−APL
関係)であり、各WWN(1700〜1715)に対す
るAPL(1720〜1735)の排他/優先制御の有
無を示してある。
フレーム構造例を示す。基本的には図3のデータフレー
ム構造と同じであるが、ペイロード315内にアプリケ
ーションに関するIDとして、APL−ID(395)
が付け加えられている。
レーム例を示す。基本的には図7の制御フレーム構造と
同じであるが、メッセージ620内のデータフィールド
にアプリケーションに関するIDとして、APL−ID
(670)が付け加えられている。以上図17に示した
実施例によれば、図13〜14で示した排他/優先制御
処理のフローチャートと同様な方式で、異なるOSに存在
するアプリケーション間の排他/優先制御を行うことが
可能になる。
を共有してディスク装置をアクセスするとき、OS、アプ
リケーション毎に付与された認識番号をディスク装置が
認識できるようになる。そのため、ディスク装置側での
OS、アプリケーション間のデータの排他制御が可能とな
りセキュリティを高めることができる。さらに、アクセ
スの優先制御も行うことが可能になり仮想プライベート
ボリュームシステム性能の最適化が図れる。
す。
例を示す。
とデータ転送成功例を示す。
とデータ転送失敗例を示す。
ブル例を示す。
す。
化のフロー示す。
(デバイスドライバ非共有)のフローチャート示す。
(デバイスドライバ共有)のフローチャートを示す。
制御初期化のフローチャートを示す。
/O処理フローチャートを示す。
理のフローチャートを示す。
理のフローチャートを示す。
ローチャートを示す。
例を示す。
例を示す。
ーブル例を示す。
造例を示す。
示す。
114、121、122、123、124・・CPU、
115、125・・メインメモリ、116、126・・
ノードコントローラ、117、127・・LANアダプ
タ、118、128、173、174・・I/Oアダプ
タ、130、135、140・・フレーム、145・・
LAN、150、155、160・・OS、170・・
ディスク装置、171、172・・SVP、175、1
76・・チャネルコントローラ、180、181・・ロ
ーカルメモリ、182、183、185・・排他/優先
制御テーブル、184・・共有メモリ、186・・キャ
ッシュメモリ、187、188・・Data、190・
・ディスクコントローラ、191、192、193、1
94・・磁気ディスク、195、196・・論理ボリュ
ーム、197、198・・I/Oパス。
Claims (24)
- 【請求項1】複数のOSを識別する識別番号を付与され
たコマンドを受信し、前記識別番号を抽出し、前記コマ
ンドに対応した論理ボリュームへのアクセスを処理する
かまたはアクセスを拒否するかに相当するレスポンスを
前記識別番号に付与して返信することを特徴とするスト
レージシステム。 - 【請求項2】前記論理ボリュームは複数の磁気ディスク
装置から構成されることを特徴とする請求項1記載のス
トレージシステム。 - 【請求項3】前記受信したコマンドの識別番号に対応し
てアクセス処理の優先順位を変えることを特徴とする請
求項1または2記載のストレージシステム。 - 【請求項4】前記受信したコマンドのアクセスを処理す
るかまたはアクセスを拒否するかをあらかじめ設定した
条件に基づき判断し、前記レスポンスを返信することを
特徴とする請求項1乃至3記載のストレージシステム。 - 【請求項5】前記識別番号と前記コマンドのアクセスの
処理または拒否との関係を記憶したテーブルを有するこ
とを特徴とする請求項項1乃至4記載のストレージシス
テム。 - 【請求項6】前記受信したコマンドの複数の識別番号の
組み合わせに対応してレスポンスを返信することを特徴
とする請求項1乃至5記載のストレージシステム。 - 【請求項7】複数のOSを有し、前記OSからのアクセ
ス要求があると当該OSを識別する識別番号を付与し、
前記付与された識別番号を有するコマンドを送信するサ
ーバと、当該送信されたコマンドを受信するディスク装
置とを備え、前記ディスク装置は前記識別番号を抽出
し、前記抽出した識別番号に対応した論理ボリュームへ
のアクセスを処理するかまたはアクセスを拒否するかに
相当するレスポンスを前記識別番号を付与して返信し、
前記サーバは前記レスポンスを受信することを特徴とす
る仮想プライベートボリューム制御方法。 - 【請求項8】前記サーバは前記OSを識別する識別番号
をデータフレームに書き込み、当該データフレームをコ
マンドとして送信し、前記ディスク装置は当該データフ
レームを受信して前記識別番号を抽出することを特徴と
する請求項7記載の仮想プライベートボリューム制御方
法。 - 【請求項9】前記受信したコマンドの識別番号に対応し
てアクセス処理の優先順位を変えることを特徴とする請
求項7または8記載の仮想プライベートボリューム制御
方法。 - 【請求項10】前記受信したコマンドのアクセスを処理
するかまたはアクセスを拒否するかをあらかじめ設定し
た条件に基づき判断し、前記レスポンスを返信すること
を特徴とする請求項7乃至8記載の仮想プライベートボ
リューム制御方法。 - 【請求項11】前記識別番号と前記コマンドのアクセス
の処理または拒否との関係を記憶したテーブルを有する
ことを特徴とする請求項7乃至10記載の仮想プライベ
ートボリューム制御方法。 - 【請求項12】複数OSの少なくとも一つからアクセス
要求があると当該OSを識別する識別番号を付与し、前
記付与された識別番号をサーバ内に記憶し、前記識別番
号に対応するレスポンスを受信し、当該レスポンスを前
記OSへ返信することを特徴とするOS管理ソフトプロ
グラム。 - 【請求項13】複数のOSおよびアプリケーションを識
別する識別番号を付与されたコマンドを受信し、前記識
別番号を抽出し、前記コマンドに対応した論理ボリュー
ムへのアクセスを処理するかまたはアクセスを拒否する
かに相当するレスポンスを前記識別番号に付与して返信
することを特徴とするストレージシステム。 - 【請求項14】前記論理ボリュームは複数の磁気ディス
ク装置から構成されることを特徴とする請求項13記載
のストレージシステム。 - 【請求項15】前記受信したコマンドの識別番号に対応
してアクセス処理の優先順位を変えることを特徴とする
請求項13または14記載のストレージシステム。 - 【請求項16】前記受信したコマンドのアクセスを処理
するかまたはアクセスを拒否するかをあらかじめ設定し
た条件に基づき判断し、前記レスポンスを返信すること
を特徴とする請求項13乃至15記載のストレージシス
テム。 - 【請求項17】前記識別番号と前記コマンドのアクセス
の処理または拒否との関係を記憶したテーブルを有する
ことを特徴とする請求項項13乃至16記載のストレー
ジシステム。 - 【請求項18】前記受信したコマンドの複数の識別番号
の組み合わせに対応してレスポンスを返信することを特
徴とする請求項1乃至17記載のストレージシステム。 - 【請求項19】複数のアプリケーションおよびOSを有
し、前記アプリケーションおよびOSからのアクセス要
求があると当該アプリケーションおよびOSを識別する
識別番号を付与し、前記付与された識別番号を有するコ
マンドを送信するサーバと、当該送信されたコマンドを
受信するディスク装置とを備え、前記ディスク装置は前
記識別番号を抽出し、前記抽出した識別番号に対応した
論理ボリュームへのアクセスを処理するかまたはアクセ
スを拒否するかに相当するレスポンスを前記識別番号を
付与して返信し、前記サーバは前記レスポンスを受信す
ることを特徴とする仮想プライベートボリューム制御方
法。 - 【請求項20】前記サーバは前記アプリケーションおよ
びOSを識別する識別番号をデータフレームに書き込
み、当該データフレームをコマンドとして送信し、前記
ディスク装置は当該データフレームを受信して前記識別
番号を抽出することを特徴とする請求項19記載の仮想
プライベートボリューム制御方法。 - 【請求項21】前記受信したコマンドの識別番号に対応
してアクセス処理の優先順位を変えることを特徴とする
請求項19または20記載の仮想プライベートボリュー
ム制御方法。 - 【請求項22】前記受信したコマンドのアクセスを処理
するかまたはアクセスを拒否するかをあらかじめ設定し
た条件に基づき判断し、前記レスポンスを返信すること
を特徴とする請求項19乃至21記載の仮想プライベー
トボリューム制御方法。 - 【請求項23】前記識別番号と前記コマンドのアクセス
の処理または拒否との関係を記憶したテーブルを有する
ことを特徴とする請求項19乃至22記載の仮想プライ
ベートボリューム制御方法。 - 【請求項24】複数アプリケーションの少なくとも一つ
からアクセス要求があると当該アプリケーションおよび
OSを識別する識別番号を付与し、前記付与された識別
番号をサーバ内に記憶し、前記識別番号に対応するレス
ポンスを受信し、当該レスポンスを前記アプリケーショ
ンおよびOSへ返信することを特徴とするアプリケーシ
ョンおよびOS管理ソフトプログラム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001016503A JP4087072B2 (ja) | 2001-01-25 | 2001-01-25 | ストレージシステム及び仮想プライベートボリューム制御方法 |
| EP01116444A EP1227389A3 (en) | 2001-01-25 | 2001-07-06 | Storage system and virtual private volume control method |
| US09/918,796 US6820168B2 (en) | 2001-01-25 | 2001-08-01 | Storage system and virtual private volume control method |
| US10/962,396 US7293147B2 (en) | 2001-01-25 | 2004-10-13 | Storage system controlling exclusion/priority for I/O access |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001016503A JP4087072B2 (ja) | 2001-01-25 | 2001-01-25 | ストレージシステム及び仮想プライベートボリューム制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002222110A true JP2002222110A (ja) | 2002-08-09 |
| JP4087072B2 JP4087072B2 (ja) | 2008-05-14 |
Family
ID=18882863
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001016503A Expired - Fee Related JP4087072B2 (ja) | 2001-01-25 | 2001-01-25 | ストレージシステム及び仮想プライベートボリューム制御方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US6820168B2 (ja) |
| EP (1) | EP1227389A3 (ja) |
| JP (1) | JP4087072B2 (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006209487A (ja) * | 2005-01-28 | 2006-08-10 | Hitachi Ltd | 計算機システム、計算機、ストレージ装置及び管理端末 |
| JP2008033449A (ja) * | 2006-07-26 | 2008-02-14 | Nec Corp | 入出力転送装置の共有方式、入出力転送装置の共有方法、及びプログラム |
| JP2008522279A (ja) * | 2004-11-25 | 2008-06-26 | ソフトキャンプ カンパニー リミテッド | アクセスが制御される仮想ディスク間のオンラインによるデータのセキュリティ伝送システムおよび、これを通じたセキュリティ伝送方法 |
| JP2008262566A (ja) * | 2008-04-14 | 2008-10-30 | Hitachi Ltd | データ処理システム |
| US7464188B2 (en) | 2003-03-31 | 2008-12-09 | Hitachi, Ltd. | Computer system controlling accesses to storage apparatus |
| US7519745B2 (en) | 2004-02-03 | 2009-04-14 | Hitachi, Ltd. | Computer system, control apparatus, storage system and computer device |
| US7610581B2 (en) | 2004-01-08 | 2009-10-27 | Hitachi, Ltd. | Data processing system |
| US7672863B2 (en) | 2003-03-31 | 2010-03-02 | Hitachi, Ltd. | System and method for load balancing based on service level objectives and information on the contents of start and finish processes of business services |
| JP2011108246A (ja) * | 2002-08-23 | 2011-06-02 | Finite State Machine Labs Inc | 管理オペレーティングシステムからネットワーク接続を監視及び制御するシステム、方法、及びコンピュータプログラム製品 |
| JP2011181080A (ja) * | 2011-04-01 | 2011-09-15 | Hitachi Ltd | データ処理システム |
| JP2013511104A (ja) * | 2009-11-16 | 2013-03-28 | マイクロソフト コーポレーション | ブロブとしての仮想ハードドライブ管理 |
Families Citing this family (62)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7783727B1 (en) * | 2001-08-30 | 2010-08-24 | Emc Corporation | Dynamic host configuration protocol in a storage environment |
| JP4335516B2 (ja) * | 2001-12-04 | 2009-09-30 | パナソニック株式会社 | 複数のプロセッサを用いた動画像符号化装置およびその方法 |
| JP2004054721A (ja) * | 2002-07-23 | 2004-02-19 | Hitachi Ltd | ネットワークストレージ仮想化方法 |
| US6804753B1 (en) * | 2002-10-04 | 2004-10-12 | Crossroads Systems, Inc. | Partitioned library |
| JP2004164072A (ja) * | 2002-11-11 | 2004-06-10 | Hitachi Ltd | ディスク制御装置およびディスク制御装置の制御方法 |
| JP4567293B2 (ja) * | 2003-01-21 | 2010-10-20 | 株式会社日立製作所 | ファイルサーバ |
| US7512717B2 (en) * | 2003-01-21 | 2009-03-31 | Nextio Inc. | Fibre channel controller shareable by a plurality of operating system domains within a load-store architecture |
| US7836211B2 (en) | 2003-01-21 | 2010-11-16 | Emulex Design And Manufacturing Corporation | Shared input/output load-store architecture |
| US7617333B2 (en) | 2003-01-21 | 2009-11-10 | Nextio Inc. | Fibre channel controller shareable by a plurality of operating system domains within a load-store architecture |
| US8032659B2 (en) * | 2003-01-21 | 2011-10-04 | Nextio Inc. | Method and apparatus for a shared I/O network interface controller |
| US8102843B2 (en) * | 2003-01-21 | 2012-01-24 | Emulex Design And Manufacturing Corporation | Switching apparatus and method for providing shared I/O within a load-store fabric |
| US7457906B2 (en) * | 2003-01-21 | 2008-11-25 | Nextio, Inc. | Method and apparatus for shared I/O in a load/store fabric |
| US7188209B2 (en) * | 2003-04-18 | 2007-03-06 | Nextio, Inc. | Apparatus and method for sharing I/O endpoints within a load store fabric by encapsulation of domain information in transaction layer packets |
| US7664909B2 (en) * | 2003-04-18 | 2010-02-16 | Nextio, Inc. | Method and apparatus for a shared I/O serial ATA controller |
| US7493416B2 (en) * | 2003-01-21 | 2009-02-17 | Nextio Inc. | Fibre channel controller shareable by a plurality of operating system domains within a load-store architecture |
| US7502370B2 (en) | 2003-01-21 | 2009-03-10 | Nextio Inc. | Network controller for obtaining a plurality of network port identifiers in response to load-store transactions from a corresponding plurality of operating system domains within a load-store architecture |
| US7698483B2 (en) | 2003-01-21 | 2010-04-13 | Nextio, Inc. | Switching apparatus and method for link initialization in a shared I/O environment |
| US7917658B2 (en) | 2003-01-21 | 2011-03-29 | Emulex Design And Manufacturing Corporation | Switching apparatus and method for link initialization in a shared I/O environment |
| US7219183B2 (en) * | 2003-01-21 | 2007-05-15 | Nextio, Inc. | Switching apparatus and method for providing shared I/O within a load-store fabric |
| US8346884B2 (en) | 2003-01-21 | 2013-01-01 | Nextio Inc. | Method and apparatus for a shared I/O network interface controller |
| US7174413B2 (en) * | 2003-01-21 | 2007-02-06 | Nextio Inc. | Switching apparatus and method for providing shared I/O within a load-store fabric |
| US7046668B2 (en) * | 2003-01-21 | 2006-05-16 | Pettey Christopher J | Method and apparatus for shared I/O in a load/store fabric |
| US7953074B2 (en) | 2003-01-21 | 2011-05-31 | Emulex Design And Manufacturing Corporation | Apparatus and method for port polarity initialization in a shared I/O device |
| US7103064B2 (en) | 2003-01-21 | 2006-09-05 | Nextio Inc. | Method and apparatus for shared I/O in a load/store fabric |
| US7523139B1 (en) | 2003-05-02 | 2009-04-21 | Symantec Operating Corporation | Volume server and volume owner communication protocol in a distributed storage management system |
| US7484043B2 (en) * | 2003-06-25 | 2009-01-27 | International Business Machines Corporation | Multiprocessor system with dynamic cache coherency regions |
| JP2005128781A (ja) * | 2003-10-23 | 2005-05-19 | Hitachi Ltd | 系切り替え方法及び情報処理システム |
| JP4391200B2 (ja) * | 2003-11-05 | 2009-12-24 | 株式会社日立製作所 | ディスクアレイ装置及びディスクアレイ装置の制御方法 |
| US7421519B2 (en) * | 2003-11-20 | 2008-09-02 | International Business Machines Corporation | Method for the detection of misdirected data |
| JP2005301708A (ja) | 2004-04-13 | 2005-10-27 | Hitachi Ltd | 記憶装置システムにおけるソフトウェア管理方法及び記憶装置システム |
| JP4230410B2 (ja) * | 2004-05-11 | 2009-02-25 | 株式会社日立製作所 | 仮想ストレージの通信品質制御装置 |
| JP2006011541A (ja) * | 2004-06-22 | 2006-01-12 | Hitachi Ltd | 計算機および共用記憶装置を含む計算機システムにおける情報記録方法 |
| JP4532237B2 (ja) * | 2004-10-29 | 2010-08-25 | 株式会社日立製作所 | 計算機および計算機におけるアクセス制御方法 |
| US20060136473A1 (en) * | 2004-12-20 | 2006-06-22 | Lamb James A | Service data organization |
| JP2006260075A (ja) * | 2005-03-16 | 2006-09-28 | Fujitsu Ltd | 識別情報設定装置、識別情報設定方法および識別情報設定プログラム |
| JP4987307B2 (ja) * | 2005-03-25 | 2012-07-25 | 株式会社日立製作所 | ストレージシステム |
| JP4831599B2 (ja) * | 2005-06-28 | 2011-12-07 | ルネサスエレクトロニクス株式会社 | 処理装置 |
| JP4725955B2 (ja) * | 2005-06-30 | 2011-07-13 | 株式会社リコー | 情報処理装置、メッセージ管理方法、プログラムおよび記憶媒体 |
| US20070180210A1 (en) * | 2006-01-31 | 2007-08-02 | Seagate Technology Llc | Storage device for providing flexible protected access for security applications |
| JP4731420B2 (ja) * | 2006-07-24 | 2011-07-27 | 株式会社日立製作所 | 複数の仮想計算機からのテープ媒体へのアクセスを制御する方法及びシステム |
| JP2008108227A (ja) * | 2006-09-25 | 2008-05-08 | Hitachi Ltd | ストレージシステム及び監査ログ管理方法 |
| JP2009266119A (ja) * | 2008-04-28 | 2009-11-12 | Hitachi Ltd | ストレージ装置及びデータ転送方法 |
| JP2010102458A (ja) * | 2008-10-22 | 2010-05-06 | Hitachi Ltd | コマンドの起動を制御するストレージシステム及び方法 |
| US8046460B1 (en) * | 2009-01-23 | 2011-10-25 | Hewlett-Packard Development Company, L.P. | Automatic server deployment using a pre-provisioned logical volume |
| US9229850B1 (en) * | 2009-06-30 | 2016-01-05 | Emc Corporation | Mapping data storage and virtual machines |
| US8667207B2 (en) * | 2009-09-30 | 2014-03-04 | Citrix Systems, Inc. | Dynamic reallocation of physical memory responsive to virtual machine events |
| US8826271B2 (en) * | 2010-04-28 | 2014-09-02 | Cavium, Inc. | Method and apparatus for a virtual system on chip |
| US9021472B2 (en) * | 2010-12-10 | 2015-04-28 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Virtualizing baseboard management controller operation |
| US8909896B2 (en) | 2011-03-01 | 2014-12-09 | Hitachi, Ltd. | Network efficiency for continuous remote copy |
| US9081507B2 (en) * | 2012-03-14 | 2015-07-14 | Symantec Corporation | Shared storage access management systems and methods |
| US20140317372A1 (en) * | 2013-04-23 | 2014-10-23 | Broadcom Corporation | Data frame security |
| US9898198B2 (en) * | 2015-06-12 | 2018-02-20 | International Business Machines Corporation | Available frame queue processing |
| US10037329B2 (en) | 2015-11-18 | 2018-07-31 | American Express Travel Related Services Company, Inc. | System and method for automatically capturing and recording lineage data for big data records |
| US10169601B2 (en) | 2015-11-18 | 2019-01-01 | American Express Travel Related Services Company, Inc. | System and method for reading and writing to big data storage formats |
| US10055471B2 (en) | 2015-11-18 | 2018-08-21 | American Express Travel Related Services Company, Inc. | Integrated big data interface for multiple storage types |
| US10445324B2 (en) | 2015-11-18 | 2019-10-15 | American Express Travel Related Services Company, Inc. | Systems and methods for tracking sensitive data in a big data environment |
| US10055426B2 (en) | 2015-11-18 | 2018-08-21 | American Express Travel Related Services Company, Inc. | System and method transforming source data into output data in big data environments |
| US10360394B2 (en) * | 2015-11-18 | 2019-07-23 | American Express Travel Related Services Company, Inc. | System and method for creating, tracking, and maintaining big data use cases |
| US10055444B2 (en) | 2015-12-16 | 2018-08-21 | American Express Travel Related Services Company, Inc. | Systems and methods for access control over changing big data structures |
| US10235211B2 (en) | 2016-04-22 | 2019-03-19 | Cavium, Llc | Method and apparatus for dynamic virtual system on chip |
| US11295326B2 (en) | 2017-01-31 | 2022-04-05 | American Express Travel Related Services Company, Inc. | Insights on a data platform |
| US11182086B2 (en) * | 2019-07-19 | 2021-11-23 | Cignet Technology, Inc. | Method and system for application-based management of user data storage rights |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5136582A (en) * | 1990-05-29 | 1992-08-04 | Advanced Micro Devices, Inc. | Memory management system and method for network controller |
| US5544347A (en) * | 1990-09-24 | 1996-08-06 | Emc Corporation | Data storage system controlled remote data mirroring with respectively maintained data indices |
| JPH05120194A (ja) | 1991-10-29 | 1993-05-18 | Nec Eng Ltd | フアイル保護方式 |
| US5553305A (en) * | 1992-04-14 | 1996-09-03 | International Business Machines Corporation | System for synchronizing execution by a processing element of threads within a process using a state indicator |
| US5414851A (en) * | 1992-06-15 | 1995-05-09 | International Business Machines Corporation | Method and means for sharing I/O resources by a plurality of operating systems |
| DE69409445D1 (de) * | 1993-07-27 | 1998-05-14 | Ibm | Prozessüberwachung in einem Mehrfachverarbeitungsanbieter |
| US5483654A (en) * | 1993-09-15 | 1996-01-09 | Allen-Bradley Company, Inc. | Apparatus to select computer program for execution |
| US6192389B1 (en) * | 1997-03-28 | 2001-02-20 | International Business Machines Corporation | Method and apparatus for transferring file descriptors in a multiprocess, multithreaded client/server system |
| US6061753A (en) * | 1998-01-27 | 2000-05-09 | Emc Corporation | Apparatus and method of accessing target devices across a bus utilizing initiator identifiers |
| JP2000020367A (ja) | 1998-06-30 | 2000-01-21 | Toshiba Corp | 情報記憶方法および情報記憶装置および記録媒体 |
| JP2000020447A (ja) | 1998-07-07 | 2000-01-21 | Hitachi Ltd | 記憶サブシステム |
| JP3189894B2 (ja) | 1998-10-01 | 2001-07-16 | 日本電気株式会社 | 仮想計算機システム |
| US6453392B1 (en) * | 1998-11-10 | 2002-09-17 | International Business Machines Corporation | Method of and apparatus for sharing dedicated devices between virtual machine guests |
| JP3853540B2 (ja) * | 1999-06-30 | 2006-12-06 | 日本電気株式会社 | ファイバチャネル接続磁気ディスク装置およびファイバチャネル接続磁気ディスク制御装置 |
| US6343324B1 (en) * | 1999-09-13 | 2002-01-29 | International Business Machines Corporation | Method and system for controlling access share storage devices in a network environment by configuring host-to-volume mapping data structures in the controller memory for granting and denying access to the devices |
-
2001
- 2001-01-25 JP JP2001016503A patent/JP4087072B2/ja not_active Expired - Fee Related
- 2001-07-06 EP EP01116444A patent/EP1227389A3/en not_active Withdrawn
- 2001-08-01 US US09/918,796 patent/US6820168B2/en not_active Expired - Fee Related
-
2004
- 2004-10-13 US US10/962,396 patent/US7293147B2/en not_active Expired - Fee Related
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8805994B2 (en) | 2002-08-23 | 2014-08-12 | Intellectual Ventures Fund 73 Llc | System, method and computer program product for monitoring and controlling network connections from a supervisory operating system |
| US8713158B2 (en) | 2002-08-23 | 2014-04-29 | Intellectual Ventures Fund 73 Llc | System, method and computer program product for monitoring and controlling network connections from a supervisory operating system |
| JP2011108246A (ja) * | 2002-08-23 | 2011-06-02 | Finite State Machine Labs Inc | 管理オペレーティングシステムからネットワーク接続を監視及び制御するシステム、方法、及びコンピュータプログラム製品 |
| US7672863B2 (en) | 2003-03-31 | 2010-03-02 | Hitachi, Ltd. | System and method for load balancing based on service level objectives and information on the contents of start and finish processes of business services |
| US7464188B2 (en) | 2003-03-31 | 2008-12-09 | Hitachi, Ltd. | Computer system controlling accesses to storage apparatus |
| US8607214B2 (en) | 2004-01-08 | 2013-12-10 | Hitachi Ltd. | Data processing system running on a plurality of operating systems (OS) and enabling a channel device to simultaneously perform processing associated with the plurality of operating systems |
| US7610581B2 (en) | 2004-01-08 | 2009-10-27 | Hitachi, Ltd. | Data processing system |
| US8176211B2 (en) | 2004-02-03 | 2012-05-08 | Hitachi, Ltd. | Computer system, control apparatus, storage system and computer device |
| US7519745B2 (en) | 2004-02-03 | 2009-04-14 | Hitachi, Ltd. | Computer system, control apparatus, storage system and computer device |
| US8495254B2 (en) | 2004-02-03 | 2013-07-23 | Hitachi, Ltd. | Computer system having virtual storage apparatuses accessible by virtual machines |
| JP2008522279A (ja) * | 2004-11-25 | 2008-06-26 | ソフトキャンプ カンパニー リミテッド | アクセスが制御される仮想ディスク間のオンラインによるデータのセキュリティ伝送システムおよび、これを通じたセキュリティ伝送方法 |
| US7930511B2 (en) | 2005-01-28 | 2011-04-19 | Hitachi, Ltd. | Method and apparatus for management between virtualized machines and virtualized storage systems |
| JP2006209487A (ja) * | 2005-01-28 | 2006-08-10 | Hitachi Ltd | 計算機システム、計算機、ストレージ装置及び管理端末 |
| US8683172B2 (en) | 2005-01-28 | 2014-03-25 | Hitachi, Ltd. | Method and apparatus for management between virtualized machines and virtualized storage systems |
| US7783856B2 (en) | 2005-01-28 | 2010-08-24 | Hitachi, Ltd. | Method and apparatus for management between virtualized machines and virtualized storage systems |
| JP2008033449A (ja) * | 2006-07-26 | 2008-02-14 | Nec Corp | 入出力転送装置の共有方式、入出力転送装置の共有方法、及びプログラム |
| JP2008262566A (ja) * | 2008-04-14 | 2008-10-30 | Hitachi Ltd | データ処理システム |
| JP2013511104A (ja) * | 2009-11-16 | 2013-03-28 | マイクロソフト コーポレーション | ブロブとしての仮想ハードドライブ管理 |
| US10628086B2 (en) | 2009-11-16 | 2020-04-21 | Microsoft Technology Licensing, Llc | Methods and systems for facilitating communications with storage |
| JP2011181080A (ja) * | 2011-04-01 | 2011-09-15 | Hitachi Ltd | データ処理システム |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1227389A2 (en) | 2002-07-31 |
| EP1227389A3 (en) | 2007-01-03 |
| US20020099901A1 (en) | 2002-07-25 |
| US7293147B2 (en) | 2007-11-06 |
| JP4087072B2 (ja) | 2008-05-14 |
| US20050066125A1 (en) | 2005-03-24 |
| US6820168B2 (en) | 2004-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4087072B2 (ja) | ストレージシステム及び仮想プライベートボリューム制御方法 | |
| US6594698B1 (en) | Protocol for dynamic binding of shared resources | |
| US7313636B2 (en) | Methods and structure for supporting persistent reservations in a multiple-path storage environment | |
| JP4457185B2 (ja) | シリコンベースのストレージ仮想化サーバ | |
| US6044415A (en) | System for transferring I/O data between an I/O device and an application program's memory in accordance with a request directly over a virtual connection | |
| US6112263A (en) | Method for multiple independent processes controlling access to I/O devices in a computer system | |
| US6078990A (en) | Volume set configuration using a single operational view | |
| US10055264B2 (en) | Reception according to a data transfer protocol of data directed to any of a plurality of destination entities | |
| US6976083B1 (en) | Apparatus for providing direct data processing access using a queued direct input-output device | |
| US7543084B2 (en) | Method for destroying virtual resources in a logically partitioned data processing system | |
| JP4576398B2 (ja) | マルチパーティションコンピュータシステムのi/oデバイスを制御するためのシステム | |
| US20090089460A1 (en) | Storage device and storage device access control method | |
| JP4620776B2 (ja) | ネットワークに付属する物理的なポートの仮想インスタンスを管理するための方法およびシステム | |
| US20060195848A1 (en) | System and method of virtual resource modification on a physical adapter that supports virtual resources | |
| US20090043886A1 (en) | OPTIMIZING VIRTUAL INTERFACE ARCHITECTURE (VIA) ON MULTIPROCESSOR SERVERS AND PHYSICALLY INDEPENDENT CONSOLIDATED VICs | |
| US9298658B2 (en) | Using PCI-E extended configuration space to send IOCTLS to a PCI-E adapter | |
| JP2004506980A (ja) | コンピュータネットワークを介してブロックレベルストレージアクセスを提供するためのアーキテクチャ | |
| CN101124541A (zh) | 修改逻辑分区数据处理系统中的虚拟适配器资源 | |
| TW200522583A (en) | IP-based method and apparatus for booting computers remotely in wide-area-network environment | |
| US6397350B1 (en) | Method of providing direct data processing access using a queued direct input-output device | |
| US7761529B2 (en) | Method, system, and program for managing memory requests by devices | |
| US6401145B1 (en) | Method of transferring data using an interface element and a queued direct input-output device | |
| CN117834561A (zh) | 基于spdk的网络i/o处理方法以及装置 | |
| US20050165938A1 (en) | Method, system, and program for managing shared resources | |
| CN101310262B (zh) | 能使多个通信信道独立工作的集成电路 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040825 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060418 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070626 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070803 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20070803 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070823 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071001 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071011 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071101 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071227 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080116 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080213 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080220 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110228 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110228 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120229 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120229 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130228 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130228 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140228 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |