[go: up one dir, main page]

JP4041656B2 - ストレージシステム及びストレージシステムにおけるデータ送受信方法 - Google Patents

ストレージシステム及びストレージシステムにおけるデータ送受信方法 Download PDF

Info

Publication number
JP4041656B2
JP4041656B2 JP2001057631A JP2001057631A JP4041656B2 JP 4041656 B2 JP4041656 B2 JP 4041656B2 JP 2001057631 A JP2001057631 A JP 2001057631A JP 2001057631 A JP2001057631 A JP 2001057631A JP 4041656 B2 JP4041656 B2 JP 4041656B2
Authority
JP
Japan
Prior art keywords
port
data
control unit
storage device
storage system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001057631A
Other languages
English (en)
Other versions
JP2002259063A (ja
JP2002259063A5 (ja
Inventor
佳子 松本
賢一 ▲高▼本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2001057631A priority Critical patent/JP4041656B2/ja
Priority to US09/820,947 priority patent/US6851020B2/en
Publication of JP2002259063A publication Critical patent/JP2002259063A/ja
Priority to US11/014,887 priority patent/US7398367B2/en
Publication of JP2002259063A5 publication Critical patent/JP2002259063A5/ja
Application granted granted Critical
Publication of JP4041656B2 publication Critical patent/JP4041656B2/ja
Priority to US12/155,411 priority patent/US7904646B2/en
Priority to US13/004,392 priority patent/US8234449B2/en
Priority to US13/532,988 priority patent/US8806119B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1456Hardware arrangements for backup
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • G06F11/1466Management of the backup or restore process to make the backup process non-disruptive
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614Improving the reliability of storage systems
    • G06F3/0617Improving the reliability of storage systems in relation to availability
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065Replication mechanisms
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0683Plurality of storage devices
    • G06F3/0689Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、記憶システムに関し、特に高可用性を求められるコンピュータシステムに接続されるバックアップ処理可能な記憶システムに関する
【0002】
【従来技術】
今般の計算機システムは、電子商取引との融合により365日24時間稼動といった長時間稼動が必要となり、また保持する情報量も年々増加しているため、データの保全策も検討する必要があった。その中で特に装置障害等によるデータ喪失があってもすぐに復旧できるよう、データのバックアップは重要な処理として位置付けられている。
【0003】
一般にハードディスク等のコンピュータの外部記憶装置(記憶システム)に記録されたデータは、装置の障害、ソフトウェアの欠陥、誤操作等によりデータを喪失した場合に、喪失データを回復できる様に定期的にテープなどにコピーして保存(バックアップ)する。このとき、バックアップデータは、採取した時点でのデータ記憶イメージで保存させる必要があり、かつバックアップ処理を実行しながら、通常のオンライン処理も実行させなければならない。そのために、オンライン処理でアクセスしているデータをデュプレックスし、バックアップ処理はデュプレックスされた一方のボリュームに対して実施し、バックアップ処理実行中のオンライン処理は、他方のボリュームに対して更新データを保持させながら行うことで実現されている。
【0004】
従来、このようなバックアップの管理はホストコンピュータ側のプログラムにより行われていた。
【0005】
例えば、米国特許5,649,152号公報に示されている技術では、あるデータの2重化の管理、任意時点のデータの保存、データの他記憶装置へのバックアップ転送指示等、全てホストコンピュータ内のバックアップ管理プログラムにて行われていた。
【0006】
また、米国特許5,051,887号公報では、ホストコンピュータの管理により常に制御装置側にデータを二重に書き込んだ技術が示されている。この方式では、ホスト−制御装置間のデータ転送経路等に多大な負荷がかかっていた。
【0007】
また、外部記憶装置によるデータの二重化による方法としては、例えば、コンピュータ内のプログラムが行っていたバックアップ管理を外部記憶装置内で行う技術がある。この例として、米国特許5,845,295号公報に示されている。これに示される技術では、二重化の管理、データの保存は外部記憶装置内で実現可能だが、実際にバックアップを行う時はホストコンピュータが外部記憶装置に対してREAD要求(以下RDと記す)を行い、データを吸い上げ、他の記憶装置に対し、当該データのWRITE要求(以下WRと記す)を行うことにより実現していた。つまり、外部記憶装置としては、ホストからの指示に従い、ホストに対し、データを転送しているにすぎなかった。
【0008】
その後ホストからの指示ではなく、外部記憶装置が直接他の記憶装置に対してデータコピーを実現する方法が米国特許5,742,792号公報において提案された。これは、オンライン処理を実施しながらバックグランドでデータのコピーを行うものである。この技術はバックアップとしても利用可能であり、これにより長時間連続稼動するなかでデータのバックアップ処理を実行できるようになった。
【0009】
【発明が解決しようとする課題】
従来技術で示したとおり、長時間連続稼動のなかでのデータバックアップ処理を同時に連続稼動させる技術は確立しているが、これらの技術で開示されている外部記憶装置は主に大型外部記憶装置に適した技術である。データバックアップ処理とオンライン処理を実施する際、大型外部記憶装置のデータ転送口、すなわち、ホストとの接続口と、バックアップ装置との接続口(以下ポートとよぶ)を別々のハードウェアで実施することで実現されている。これは、大型外部記憶装置が冗長度を持たせるために複数のハードウエアを実装しているからである。こうした大型外部記憶装置の場合に、従来技術は適用可能である。
【0010】
ところが、ワークステーションやパーソナルコンピュータなどに接続された小型外部記憶装置の場合には、冗長度を持たせることでコストがかかり、小型としてのメリットが活かせない問題がある。小型外部記憶装置も、大型外部記憶装置と同様、長時間連続稼動中の同時バックアップ処理を実現する要求が高まっており、如何に少ないハードウエアで実現するかが第1の課題であった。
【0011】
また、従来のホスト指示によるバックアップ方式では、二重化処理中にデータ更新を行うと、外部記憶装置とホストとの転送が4回(二重化により2回分WR(Write)、バックアップ処理にてRD(Read)、そして他記憶装置へのWR(Write))発生することになり、ホスト−記憶装置間のバスの負荷が増大し、通常のアプリケーションのパフォーマンスにまで影響せざるを得なかった。
【0012】
特に、大量のデータをバックアップする際には、外部記憶装置内のプロセッサ処理能力がバックアップ処理に割かれるため、バックアップ終了までの長時間にわたり性能が低下する。最近、外部記憶装置内での二重化の機能が普及しているが、当該機能だけでは、バックアップの際の通常のオンライン処理に対するパフォーマンスの低下は防止できない。また、オープン向けの中小規模ディスクアレイ制御装置等では、コントローラとホストとのデータ転送経路は1つしか存在せず、この1つの経路がバスであった場合、バックアップを実現するためには、通常のオンライン処理を停止させるしかなかった。
【0013】
本発明の第一の目的は、ホストとバックアップ用外部記憶装置との接続口であるポートを1つにし、かつ1つのポートでバックアップ処理と通常のオンライン処理とを同時にまたは切り替えながら実行することのできるポート制御部を有した外部記憶装置を実現することにある。
【0014】
本発明の第2の目的は、オンライン処理のパフォーマンスを劣化させることなくバックアップ処理を実行可能な記憶制御装置を提供することにある。
【0015】
【課題を解決するための手段】
上記課題を解決する為に、記憶システムにおいて、ホスト及び他記憶制御装置とのデータ転送を行う単一の通信ポート、制御情報とホストからのデータを格納するキャッシュメモリ、ホストからのデータを格納するディスク装置群等の記憶装置、通信ポートとキャッシュメモリと記憶装置を制御する制御部を設け、通信ポートを有するポート制御部において通信処理を多重化させることで実現する。ホストと外部記憶装置およびバックアップ用の他外部記憶装置との間をFibre Networkで接続する。制御情報は、通信ポート毎のホストからのI/O要求を実行する為の情報、他の記憶制御装置へのバックアップを行う為の転送情報、通信ポート毎の負荷情報、バックアップの進捗状態を管理する情報、ユーザーがポート毎にオンライン処理専用・バックアップ専用・オンライン/バックアップ共用を選択するための情報、データ二重化を制御するための情報、二重化とバックアップのタイミングをユーザーが指示するための情報等からなり、これらは必要に応じてキャッシュメモリに記録され使用される。
【0016】
【発明の実施の形態】
以下、本発明の1実施例を図面を用いて説明する。
【0017】
図1は、本実施例に関するディスクアレイ装置を含むシステム全体の1構成例である。図1に於いて、10、20、30はホストコンピュータ(上位装置)であり、5000、6000はディスクアレイ装置(上位装置に対しての外部記憶装置(記憶システム))であり、各々のホスト及びディスクアレイ装置はFabric SwitchによりFibre Channelで接続され、ストレージエリアネットワーク(SAN)40を構成する。ディスクアレイ装置5000、6000は、ホストからのオンライン処理を各々実行してもいいし、ディスクアレイ装置6000は、ディスクアレイ装置5000のバックアップ用装置としてもよい。
【0018】
本実施例ではディスクアレイ制御装置5000がホストからのオンライン処理を実行しながら、データをデュプレックスし、ディスクアレイ制御装置6000にバックアップデータを転送するものとする。尚、バックアップデータを受領する外部記憶装置(記憶システム)は、ディスクアレイ装置以外でもかまわない。例えば、バックアップ装置は、磁気テープライブラリ、及び光ディスク装置でもよい。
【0019】
図2は、ディスクアレイ装置の構成を示す。ディスクアレイ装置5000は、デュアル構成をとるコントローラA部1000、コントローラB部2000、ホストからのデータを格納するディスク装置群4000、コントローラ内のポート制御部の動作の指定等を行うPC/WS(3000)から構成される。ディスク装置群4000は、アレイ構成であることが多い。
【0020】
次に、コントローラA,Bについて説明する。コントローラA、Bとも同じ構成であり、コントローラAについて以下説明する。
【0021】
コントローラAは、それぞれ、キャッシュメモリ500と、データ転送を行うポートA(101)および当該ポートAを制御するポートA制御部100と、データ転送を行うポートB(201)および当該ポートBを制御するポートB制御部200とを備える。これらポートは、Fibre Channelに接続されFabric Switchによりネットワークを構成している。
【0022】
更に、コントローラAは、コントローラA全体を制御するディスクアレイ制御部300を有し、さらにディスクアレイ制御部300は、当該コントローラを制御するための各種情報を格納するRAM400を有する。また、ディスクアレイ制御部300は、タイマー機能を併せ持っている(図2には図示しない)。
【0023】
なお、前述のキャッシュメモリ500は不揮発メモリであることが多い。また、本実施例では、キャッシュメモリ500内のデータは、コントローラBのキャッシュメモリに2重書きされる。キャッシュメモリ500はホストからのデータを一時的に貯えるデータ部以外にデータの情報、状態を管理する管理情報部600を持つ。
【0024】
更に、コントローラAは、ディスク装置群4000を制御するディスク装置制御部(ドライブ制御部)700、800を有する。ディスク装置制御部は、ディスク装置群内のディスク装置とのデータ転送を行う。ディスク装置は、データを記憶する記憶ドライブとこれを制御するドライブ制御部からなり、SCSIインターフェース、又はFibre Channelにてディスク制御装置と接続される。
【0025】
本実施例では、コントローラAは上位装置(ホストコンピュータ)とFibre Channelを経由して接続されており、コントローラ当たり2つのポートを持つ。障害制御部900はコントローラA内の回復不可能な障害を検出すると、コントローラBに検出した障害を通知する機能を持つ。報告を受けた、コントローラBは、キャッシュメモリ内のデータ・管理情報を引き継ぎ、コントローラAで行われていた処理を引き継ぐ。
【0026】
図3にディスク装置群の構成を示す。ディスク装置群はアレイ構成をとり、複数の論理ボリュームを割り当てることができる。また、バックアップ用に割り当てられる論理ユニットの副ボリュームは論理ボリューム(正)毎に設定されていてもいいし、あるボリューム群がワークとして割り当てられていて、その部分を2重化する時に使用してもよい。
【0027】
図4にポート制御部100、200とディスクアレイ制御部300との間のI/F(インタフェース)情報を示す。I/F情報は、ポート毎に他の記憶制御装置への転送を指示する転送指示情報410(ポートA用)、430(ポートB用)と、ホストからのI/O要求をディスクアレイ制御部300に伝えるホスト要求情報420(ポートA用)、440(ポートB用)から構成される。各情報は、ポートID(411)、コマンド412、キャッシュADR(ADDRESS)情報413から構成される。ポートIDは、転送指示情報の場合はストレージエリアネットワーク上のどの装置に対するデータ転送要求かを識別する情報であり、ホスト要求情報の場合はどの装置からのデータ転送要求なのかを識別する情報である。ポートIDは、具体的には、Fibre ChannelのAL−PA(Fibre Channel Arbitrated Loop or FC-AL)に相当する物である。また、コマンド情報412は、RD/WR等を識別する情報であり、キャッシュADR情報413は、記憶装置内での当該データの格納位置、又は転送位置を指示する情報から構成される。これら情報は、RAM内で管理される。
【0028】
ポートAホスト要求情報420は、ポートA制御部が、Fibre Channelにて受領したホストからのI/O要求を受信したとき、ディスクアレイ制御部300にI/O要求を伝えるために設定される。ポートBホスト要求情報440は、ポートAホスト要求情報420と同様に、ポートB制御部によって設定される。ディスクアレイ制御部は420、440の情報を参照し、ディスク装置400、キャッシュメモリ500を制御し、当該I/O要求を実行する。
【0029】
一方、ポートA転送指示情報410は、ディスク装置群400の論理ボリューム(副)からのバックアップデータを他記憶制御装置に転送する時に設定される。ポートA制御部100は、本情報410を参照し、Fibre Channelを介してコマンドを発行する。他記憶装置へコマンドを発行する場合は、ポートIDに、他記憶装置のポートIDを指定する値が設定されることになる。他記憶制御装置は本コマンドを受領し、実行することにより、バックアップデータを記憶媒体に格納することができる。ポートB転送指示情報420も、ポートA転送指示情報410の場合と同様に、ポートB制御部200により使用される。
【0030】
ポートA転送指示情報410、およびポートAホスト要求情報420が、ホストおよびバックアップ装置とのデータ通信において、ポート制御部100とディスクアレイ制御部とのI/Fで利用される点について説明した。この2つの情報は、単に別装置からのアクセス要求があった場合にポートAホスト要求情報420を利用し、ディスクアレイ制御部が別装置に対してアクセス要求したい場合に、ポートA転送指示情報410を利用するにすぎない。したがって、仮にディスクアレイ制御部がホストに対して転送指示をする場合は、ポートA転送指示情報410を利用することになる。つまり、ホストのポートIDを指定することで、ポート制御部100は、ホストに対して転送する。逆に、バックアップ装置からアクセス要求があった場合は、ポートAホスト要求情報420を利用する。このように、ポート制御部100は、A転送指示情報410で指定されたポートIDがホストであったりバックアップ装置であったりと切り替わりながら通信することとなる。
【0031】
図5にポート毎の負荷情報を示す。ポート負荷情報450はポートAに対しての情報であり、ポート負荷情報460はポートBに対しての情報であり、それぞれ採取される。本情報は、一定期間内のトータルのI/O回数を示すI/O数451、転送量452、アクセス情報453から構成される。当該ディスクアレイ装置がホストからのI/O要求を受領し、ディスクアレイ制御部300がこの受領をホスト要求情報から認識した際に、コマンド情報412からデータ転送長とコマンドが取得される。データ転送量に関し、RD(Read)の場合は転送長はそのまま、WR(Write)の場合は、4倍の転送長とする(デュプレックス中でのデータ更新処理に伴うデータ転送回数を考慮して4倍としている)。又、前回のコマンド情報をRAM400内に覚えておいて、今回のコマンドと比較し、連続アクセス(シーケンシャル)か、ランダムアクセスなのかを判断する。そして、I/O数451をプラスし、転送長452にデータ転送長をプラスし、シーケンシャルかランダムかをアクセス情報453に書き込む。尚、本情報は一定時間毎にクリアされ、単位時間当たりの情報が採取されている。一定時間毎の管理はディスクアレイ制御部300内にあるタイマー機能により実現される。尚、本情報はRAM400に存在する。
【0032】
図6のコントローラA負荷情報610のそれぞれは、コントローラA内のポートA負荷情報とコントローラA内のポートB負荷情報の合計した数値が値であり、キャッシュメモリ500の管理情報600内に存在する。本コントローラA負荷情報もコマンド受領時にディスクアレイ制御部300が設定する。コントローラB負荷情報620も、コントローラA負荷情報610と同様である。
【0033】
図7のバックアップ進捗情報630は、キャッシュメモリ500の管理情報600内に存在し、バックアップの対象である論理ボリュームの番号(対象LU番号)631、どこまでバックアップが進んでいるかを示すバックアップ実行ポインタ632により構成される。本情報もホストよりバックアップ指示を受領したディスクアレイ制御装置300が、バックアップ対象となった論理ボリュームの番号を631に書き込み、又、バックアップの要求をポート制御部100又は200に行うとともにバックアップ実行ポインタ632の情報を更新する。
【0034】
コピーポインタ633は、データデュプレックスの処理を実行する際に使用する。コピーポインタ633は、データデュプレックス処理がどこまでデータをデュプレックスしたのかを記録する。データデュプレックス処理はデュプレックスの終わった個所を逐次更新する。これは、バックアップ処理がさらに同時に実行する際、バックアップ処理がコピー実行ポインタ633を参照し、当該ポインタを超えない範囲のデータをバックアップするように制御する。これにより、デュプレックスされた部分を追いかけるようにバックアップ処理をすることが可能である。
【0035】
図8のユーザ指定ポート情報640は、キャッシュメモリ500内の管理情報600に存在し、ユーザーがPC/WS3000により設定したポートの利用方法を格納しておく。具体的には、当該ポートをバックアップ専用、オンライン専用、またはオンライン/バックアップ共用のいずれかの値を設定する。尚、バックアップ要求があった場合、ディスクアレイ制御部300が本情報を参照し、バックアップポートを検索し、当該ポートのポート制御部に対し、要求を発行する。
【0036】
図9のコピー/バックアップタイミング指示情報650は、キャッシュメモリ500内の管理情報600に存在し、ユーザーがPC/WS3000により設定した2重化の為のコピーとそれに続くバックアップの実行契機を設定する。尚、PC/WSはコントローラにLAN等で接続されることが多い。
【0037】
図10のスケジューリング情報660は、キャッシュメモリ500内の管理情報600に存在し、前記図9のコピー/バックアップタイミング指示情報650が時間指定であった場合、当該時間情報を時間監視指示情報660に設定する。
【0038】
図11は、優先度情報670のテーブルを示す。これは、ディスクアレイ制御装置がオンライン処理を優先するか、またはバックアップ処理を優先するかを表す値が保持されている。これは、予めユーザがPC/WS3000を使用して設定する。バックアップ開始時点でディスクアレイ制御部300は当該情報を参照し、バックアップ優先であれば、あるデータ量までは占有して実行し、当該処理が終了したら、オンライン要求があるかを判断する。なければ、又一定量のデータ量をバックアップ処理する。逆にオンライン処理優先であれば、一定時間はオンライン処理のみを行い、その後、一定量のバックアップデータを転送し、その後又一定時間はオンライン処理を実行する。バックアップの一定量が大きければその分バックアップの優先度は高くなり、オンライン処理に占有する一定時間が長くなればその分だけオンライン処理の優先度は高くなる。以上、コントローラAを例に説明したがコントローラBも同様な構成を持つ。
【0039】
次にディスクアレイ制御装置の基本的なRD(Read)/WR(Write)動作について説明する。ホストからのRD要求時、ポート制御部100が前記要求を受領した時、ポートAホスト要求情報420に設定する。ディスクアレイ制御部300は上記情報420を参照し、RD要求であることを認識し、要求ADRとデータ長を認識する。当該対象データがキャッシュメモリ500内に存在する場合、当該キャッシュADR情報をポートA制御部に知らせ、RD要求したホストへの転送の指示を行う。又、キャッシュメモリ上に存在しない場合は対象となるデータをディスク装置群4000より読みだし、キャッシュメモリ600に格納し、転送する。
【0040】
ホストからのWR要求時、ポート制御部100が前記要求を受領した時、ポートAホスト要求情報420に設定する。ディスクアレイ制御部300は上記420情報を参照し、WR要求であることを認識し、要求ADRとデータ長を認識する。そして、キャッシュメモリ500に転送したところでポートA制御部に終了報告をするよう伝える。その後、キャッシュメモリ600より、非同期にディスク装置群に掃出し処理(書き込み処理)を行う。
【0041】
次に本発明の基本機能である、1ポートでのオンライン処理とバックアップ処理の並行動作について説明する。尚、以下で説明するホスト要求は通常のコマンドの一部としてホストから指示されてもいいし、PC/WSよりユーザーが指示してもかまわない。
まず、図12において、ポート制御部100を用いてオンライン処理とバックアップ処理を並行して処理するための、通信処理について説明する。なお、図12以降では、ポート制御部100がFibreで接続されていることを前提に説明する。
【0042】
Fibre接続の場合、例えばEmulex社のチップセットを利用することが考えられ得る。このチップセットの中には2410020 と呼ばれるチップがあり、Fibreプロトコル制御を主に処理することができる。これらのチップセットは、通信処理を多重化することが可能で、例えばホストとの間のオンライン処理とバックアップ装置との間のバックアップ処理の2つを、時分割により同時処理が可能となる。このチップセットを利用した通信多重処理を図12以降のフローチャートで説明する。
【0043】
図12は、イニシエータタスクとターゲットタスクの生成を制御するフローチャートである。ステップ1101では、ディスクアレイ制御装置300からイニシエータタスクの生成要求があるかどうかをポートA制御部100がポートA転送指示情報410を参照することで確認する。例えば、バックアップ処理を実施する場合、ディスクアレイ制御装置300は、イニシエータタスクの生成を要求するためにポート転送指示情報410に転送内容を設定する。ポートA制御部100がこの転送要求を認識した場合、次のステップ1102を実行する。
【0044】
ステップ1102は、要求されたデータ転送を実施するためのイニシエータタスクを生成する。ここでイニシエータタスクと呼んでいるのは、あくまでもポートA転送指示情報で指定されている処理を実行する、という意味で使用する。したがって、本タスクは実際にはデータの送信だけでなく受信も行う。バックアップ装置へのバックアップ処理の場合、送信先のバックアップ装置の情報をパラメータとしてイニシエータタスクを生成する。
【0045】
一方、ステップ1102で転送要求がなければ、他のホストからの接続要求があるかどうかを確認するステップ1103を実行する。ステップ1103は、ポートA制御部100が他の記憶装置またはホストから転送要求があるかどうかをチェックする。転送要求とは、例えば、相手装置からのLogin要求である。相手装置からの転送要求があれば、ステップ1104を実施する。ステップ1104は、転送要求に対する転送処理を実施するターゲットタスクを生成する。ここでいうターゲットタスクとは、他の装置からのアクセスに基づいて処理を実行する、という意味で使用する。したがって、本タスクは実際にはデータの受信だけでなく送信も行う。このフローチャートでは、イニシエータタスクとターゲットタスクが各々生成された時点で、ステップ1101へ戻る。したがって、生成されたタスク処理の完了を待たず、次の転送要求を待つことになる。以上より、イニシエータタスクとターゲットタスクとは、時分割ではあるがほぼ同時に実行する場合がある。このとき、接続先であるFibre channelは、時分割でパケットデータを送出することができるので、ポートA制御部100が同時に2つ以上のタスクを処理してもFibre channelネットワークでのデータ送受信が可能となる。
【0046】
図13は、イニシエータタスクの処理を表したフローチャートである。イニシエータタスクは、たとえばバックアップ処理のためディスクアレイ制御装置300が他の記憶装置へデータ転送するための通信タスクである。具体的には、ステップ1201で相手の装置へ接続要求であるLoginコマンドを発行する。ステップ1202はLoginが認証された場合、実のデータを相手方へ送信する処理である。データ転送では主に送信を行うが、相互のデータ転送のための認証処理等により送受信処理を行っている。データ転送の完了後、ステップ1203にてLogoutを発行する。
【0047】
図14は、ターゲットタスクの処理を表したフローチャートである。ターゲットタスクとは、例えばホストからのオンライン処理のように、ホストからのデータI/Oを送受信する場合の処理が該当する。この場合、ホストからのREADコマンドのように、コマンドを受信した後にディスクアレイ装置300がホストへデータ送出することが考えられる。
【0048】
ステップ1301は、相手装置からのLoginに対して認証を行う。認証とは、正しい相手かどうかをチェックすることである。正しい相手かどうかはキャッシュメモリ500内の管理情報600を参照する。この管理情報600に、接続許可するホストの識別子、または接続許可する他外部記憶装置の識別子が保持されている。この情報を参照して決定する。正しい相手であると認証した場合、次のステップ1302を実行するが、不正な相手であればエラー応答し、処理を中断する。ステップ1202は、相手からのデータ転送要求を処理する。データ転送では主に受信を行うが、相互のデータ転送のための認証処理等により送受信処理を行っている。データ転送完了後、ステップ1203にてLogoutを発行する。ステップ1303は、相手装置とのデータ転送終了後、相手装置からLogoutが発行されるので、Logoutを検知した場合、それを認証するステップである。
【0049】
以上のフローチャートにより、イニシエータタスクとターゲットタスクを多重処理でき、1ポートであってもオンライン処理およびバックアップ処理を同時に処理することが可能となる。
【0050】
次に、ポートが2つ以上あった場合について言及する。
この場合は、ポートが2つ以上存在するので、オンライン処理とバックアップ処理を行うポートを各々1つのポートに割り付けることができる。その際、各ポートの付加状況に応じてどのポートを選択すべきかを判断する必要がある。以下に、2つのコントローラA,Bから構成するディスクアレイ装置5000を用いてその論理を説明する。
【0051】
まず、ディスクアレイ制御部300は、コントローラA負荷情報610およびコントローラB負荷情報620の各々の負荷情報610,620に含まれる転送量612を比較する。転送量の大きい方を負荷が高いコントローラとして判断する。もし単位時間当たりの転送量が両方ともあまり高くない場合はI/O数611で負荷を判断する。ここで仮に、コントローラAの方が負荷が高いと判断された場合、ディスクアレイ制御部300は、コントローラA内のRAM400に格納されているポート負荷情報を参照する。
【0052】
具体的には、ポートA負荷情報450内のアクセス情報453参照する。アクセス情報453は、ホストからのI/Oがシーケンシャルかランダムかのどちらかを示している。ホストからのI/Oがシーケンシャルであった場合当該ポートの負荷が高いと判断する。両方シーケンシャルであった場合、転送量452を比較して負荷を判断する。両方ランダムであった場合も同様、転送量452で比較する。このようにして、負荷の少ないポートを選択することで、他のオンライン処理等への影響を抑えることができる。
【0053】
次に、バックアップ処理がシーケンシャル処理である点を考慮したポートの選択論理について説明する。ここでは、1コントローラあたり2ポート構成かつ2つのコントローラが実装されているディスクアレイ装置5000の場合について説明する。この場合、ポートは全部で4つ実装されていることになる。
【0054】
ディスクアレイ装置5000において、3つのポートでシーケンシャル処理、残りの1つのポートでランダム処理が行われていた場合を想定する。バックアップ処理はシーケンシャル処理であるため、同じシーケンシャル処理を実施しているポートを選ぶと、負荷が余計にかかってしまう。そこで、シーケンシャルに使用しているポートではなく、ランダムアクセスであるポートをバックアップ処理用に使用する。これにより、バックアップ処理も効率よく実施でき、またオンライン処理にも影響を与えないですむ。
【0055】
次に、ポートの負荷状況に応じたバックアップ処理の引継ぎ論理について説明する。ポートの負荷は逐次変化するので、ポートの負荷状況に応じて、ある時点でのポートの負荷状況を把握して、バックアップ処理を実行していたポートよりも負荷の低いポートを探索し、当該ポートに対してバックアップ処理を引き継がせるのである。ポートの選択方法は次のとおりである。一定時間単位に上記負荷情報を参照し以前選択したポート以外に負荷の低いポートを選択する。バックアップ処理の引継ぎ方法は、次のとおりである。引き継ぐ前のポートは、バックアップ実行中にバックアップ進捗情報630を更新する。バックアップ処理を別のポートに引き継がせた場合、当該ポートはバックアップ進捗情報630を参照し、対象LU番号631と実行ポインタ632を得ることで、前のポートが行ってきたバックアップの進捗状況を引き継ぐ。又、夜間等複数のポートの負荷が低いと判断した場合、複数のポートでバックアップ処理を分散して行うことも可能である。具体的には、キャッシュ内にあるバックアップ進捗情報を参照、更新し処理を行う。このようにポートの引継ぎ機能を応用することで、バックアップ処理の効率化を図ることができ、夜間集中バックアップ処理、土日のバックアップ集中処理等、ユーザ要求の高いバックアップ処理を実現することが可能となる。
【0056】
また、バックアップの開始指示は、ホストからの指示だけではなく、PC/WSから指示することも可能である。PC/WSは、バックアップ処理の起動指示をディスクアレイ制御部300に対して行う。このとき、ユーザがバックアップ処理を実行するポートを直接指定することも可能である。また、PC/WSからポート毎に、ポートに割り付ける処理の種類を指定することも可能である。例えばオンライン処理専用、バックアップ専用、オンライン/バックアップ両用等である。本情報をディスクアレイ制御部が参照し、バックアップ処理を行うポートを選択する。さらに、ユーザはオンライン処理を優先してバックアップ処理を行うよう指示することもできる。又、劣化の割合も、ユーザが指定することが可能である。
【0057】
さらに、バックアップ指示をユーザが行うのではなく、予めバックアップ開始時刻を設定し、設定された時刻にPC/WSが自動的にバックアップ指示を行うことも可能である。
【0058】
以上のように、ポートの選択処理、バックアップ処理の引継ぎ処理およびユーザからのバックアップ操作について説明した。次に、バックアップ処理が障害で中断した場合、またはオンライン処理とは別のボリュームコピー処理を実行させた場合の、バックアップ処理について説明する。
【0059】
まず、バックアップ処理中障害が発生した場合について説明する。
コントローラ障害時、障害制御部900が他系コントローラの障害を認識し、キャッシュメモリ500内のバックアップ進捗情報630を参照し、バックアップ処理を継続する。これにより、障害の発生したコントローラをディスクアレイ装置より切り離すことができるので、障害発生個所のコントローラを交換して障害回復させることができる。障害回復後、先に説明したバックアップ処理の引継ぎ処理を行うことも可能となる。
【0060】
次に、ボリュームコピー処理との同時実行について説明する。ボリュームコピー処理とは、対象となる論理ボリュームデータをコピーしてデュプレックスする処理である。任意の論理ボリュームに対してボリュームコピー処理を実行すると、正(コピー元)と副(コピー先)の2つの論理ボリュームが物理ディスク装置群内に存在することになる。このとき、コピー元の正論理ボリュームに対してホストからのI/Oがあると、その結果を副側に反映させることで二重状態を維持させる。
【0061】
この機能はバックアップ処理において次のように利用される。つまり、オンライン処理をコピー元である正論理ボリュームに対して実施し、副論理ボリュームに対してバックアップ処理を行う。バックアップ処理中、二重状態を一度中断させることで、中断時点での副論理ボリュームに記録されているデータをバックアップすることが可能となる。
【0062】
このとき、正論理ボリューム容量が増大するとデュプレックス処理が高負荷となりオンライン処理に多大な影響を与えてしまう場合がある。また、デュプレックス処理の終了後にバックアップ処理が行われる為、バックアップ処理が長時間かかってしまう。そこで、本発明ではボリュームコピー処理とバックアップ処理を同時実行することにより、バックアップデータ採集時間の短縮と、サブシステム内の負荷を減少し、パフォーマンスの劣化を防ぐことが可能である。
【0063】
元来、通常の正論理ボリュームからキャッシュメモリへのステージング、キャッシュメモリから副論理ボリュームへの書き込み、副論理ボリュームからのバックアップデータ転送の為のキャッシュメモリへのステージング、キャッシュメモリからのFibre Channelへのデータ転送、とコントローラ内のキャッシュメモリ500を介した転送路を何度もデータが転送される。これにより、内部バスの負荷が増大し、システムとしてオンライン処理のパフォーマンスが劣化する。
【0064】
負荷を低減させる為には、正論理ボリュームからデュプレックスのためのデータをキャッシュメモリ500へステージングした時、当該ステージングデータをそのまま、バックアップデータとして転送することで実現できる。これにより、バスの負荷を低減し、オンライン処理のパフォーマンスの劣化を防ぐことができる。論理ボリュームのデュプレックス処理とバックアップ処理を同時に行うことができるので、全体としてのバックアップ処理が短時間で行えるようになる。
【0065】
これらのボリュームコピー処理とバックアップ処理との組み合わせから様々な利用方法が考えられ、要求・運用も多岐にわたる。例えば、あるアプリケーションは、あるタイミングでの論理ボリュームのデータのレプリカが必要で、かつ、バックアップのタイミングは週末が望ましいといった要求である。本発明では、そのような様々な要求に満たすべくコピーのタイミングとバックアップのタイミングをユーザーがPS/WSを通じて指定できるようにする。デュプレックスの指示があった時、コピー/バックアップタイミング指示情報650の情報をディスクアレイ制御部300が参照し、同時指定されていれば上述方法にて同時制御を行う。同時指定されていなければ、コピー処理を行う。尚、バックアップのタイミングで時間指定、例えば、夜間24時を過ぎたらバックアップ処理を開始する等、時間監視指示情報660に設定することも可能である。本情報はディスクアレイ制御部が一定時間毎に現時刻と参照し、当該指示時間になったら、バックアップ処理を開始することにより実現される。
【0066】
【発明の効果】
本発明によれば、ストレージエリアネットワークに代表されるネットワーク環境にてFibre Channelにて接続されたディスクアレイ制御装置に於いて、1ポート構成に於いても、オンライン処理とバックアップ処理を同時実行が可能な制御装置を提供可能である。又、負荷に応じたバックアップ処理や指定時間でのバックアップ処理等が可能であり、オンライン処理へのパフォーマンスを維持することが可能である。さらにコントローラ障害、ポート障害時でもバックアップ処理を他のポート、及び他のコントローラが継続することが可能である。
【0067】
コピー処理とバックアップ処理を同時に制御でき、これらの組み合わせをユーザが設定・実行可能とすることができる。
【図面の簡単な説明】
【図1】 本発明の実施例であるネットワーク環境の構成図である。
【図2】 本発明の実施例であるディスクアレイ制御装置の構成図である。
【図3】 本発明の実施例であるディスク装置群の構成図の一例である。
【図4】 本発明の実施例であるポート制御部ディスク制御部間I/F情報の一例である。
【図5】 本発明の実施例であるポート負荷情報の一例である。
【図6】 本発明の実施例であるコントローラ負荷情報の一例である。
【図7】 本発明の実施例であるバックアップ進捗情報の一例である。
【図8】 本発明の実施例であるユーザー指定ポート情報の一例である。
【図9】 本発明の実施例であるコピー/バックアップタイミング情報の一例である。
【図10】 本発明の実施例であるスケジューリング情報の一例である。
【図11】 本発明の実施例である優先度情報の一例である。
【図12】 本発明の実施例であるポート制御部100内のイニシエータタスクまたはターゲットタスクを生成するフローチャートである。
【図13】 本発明の実施例であるポート制御部100内のイニシエータタスクのフローチートである。
【図14】 本発明の実施例であるポート制御部100内のターゲットタスクのフローチャートである。
【符号の説明】
10、20、30:ホストコンピュータ、40:Fibre Channel(FabricSW)、100、200:ポート制御部、300:ディスクアレイ制御部、400:RAM、500:キャッシュメモリ、600:キャッシュメモリ内管理情報、700、800:ト゛ライフ゛制御部、900:障害制御部、1000、2000:コントローラ部、3000:PC/WS、4000:ディスク装置群、5000、6000:ディスクアレイ装置

Claims (10)

  1. ストレージシステムであって、
    前記ストレージシステムは、第1のストレージ装置と第2のストレージ装置を含み、
    前記第1のストレージ装置は、ポートと、前記ポートを制御するポート制御部と、データを記憶する記憶装置と、ディスク制御部と、メモリを有し、
    前記ポート制御部は、
    前記第1のストレージ装置が前記第2のストレージ装置から受信した要求に基づき前記第2のストレージ装置からのデータを受信する処理である第1の処理を実行するための複数の処理を含むターゲットタスクを生成し、
    前記ターゲットタスクに含まれる複数の処理の完了を待つことなく、前記ディスク制御部が前記メモリに格納した転送指示情報に基づき、前記第1のストレージ装置から前記第2のストレージ装置へデータを転送する処理である第2の処理を実行するための複数の処理を含むイニシエータタスクを生成し、
    生成された前記ターゲットタスクに含まれる複数の処理と前記イニシエータタスクに含まれる複数の処理とを切り替えて実行することで、前記ポートが前記第1の処理と前記第2の処理とを時分割で行うよう制御することを特徴とするストレージシステム。
  2. 請求項1に記載のストレージシステムにおいて、
    前記転送指示情報は、データ転送先を識別する情報と、データの転送位置を示すアドレス情報とを含むことを特徴とするストレージシステム。
  3. 請求項1に記載のストレージシステムにおいて、
    前記ポート制御部は、前記第1のストレージ装置が前記第2のストレージ装置から要求を受信したときに、データ転送元を識別する情報と、データの格納位置を示すアドレス情報と前記メモリに格納することを特徴とするストレージシステム。
  4. ストレージシステムであって、
    前記ストレージシステムは、第1のストレージ装置と複数の他の装置を含み、
    前記第1のストレージ装置は、ポートと、前記ポートを制御するポート制御部と、データを記憶する記憶装置と、ディスク制御部と、メモリを有し、
    前記ポート制御部は、
    前記第1のストレージ装置が前記複数の他の装置に含まれる第1の他の装置から受信した要求に基づき、前記第2のストレージ装置からのデータを受信する処理である第1の処理を実行するための複数の処理を含む第1のターゲットタスクを生成し、
    前記ディスク制御部が前記メモリに格納した転送指示情報に基づき、前記第1のストレージ装置から前記第1の他の装置へデータを転送する処理である第2の処理を実行するための複数の処理の完了を待つことなく第1のイニシエータタスクを生成し、
    生成された前記第1のイニシエータタスクまたは前記第1のターゲットタスクに含まれる複数の処理の完了を待つことなく、第2のイニシエータタスクまたは第2のターゲットタスクを生成し、
    生成された前記第1のターゲットタスク、前記第2のターゲットタスク、前記第1のイニシエータタスク及び第2のイニシエータタスクに含まれる複数の処理を切り替えて実行することで、前記ポートが前記第1の処理と前記第2の処理とを時分割で行うよう制御することを特徴とするストレージシステム。
  5. 請求項4に記載のストレージシステムにおいて、
    前記メモリは、前記第1の処理と前記第2の処理のいずれを優先するかを示す優先度情報を有し、
    前記ディスク制御部は、前記優先度情報を読み出し、
    前記優先度情報を読み出した結果、前記第1の処理が優先である場合は、前記第1の処理で一定時間データを受信し、その後、前記第2の処理で一定量のデータの転送を行い、
    前記優先度情報を読み出した結果、前記第2の処理が優先である場合は、前記第2の処理で一定量のデータを転送し、その後、前記第1の処理で一定時間データを受信することを特徴とするストレージシステム。
  6. 請求項4に記載のストレージシステムにおいて、
    前記転送指示情報は、データ転送先を識別する情報と、データの転送位置を示すアドレス情報と
    を含むことを特徴とするストレージシステム。
  7. 請求項4に記載のストレージシステムにおいて、
    前記ポート制御部は、前記第1のストレージ装置が前記第1の他の装置から要求を受信したときに、データ転送元を識別する情報と、データの格納位置を示すアドレス情報とを、前記メモリに格納することを特徴とするストレージシステム。
  8. 請求項6又は請求項7に記載のストレージシステムにおいて、
    前記ポート制御部は、前記メモリに格納された情報に基づき、通信する前記他の装置を切り替える制御を行なうことを特徴とするストレージシステム。
  9. ストレージシステムにおけるデータ送受信方法であって、
    前記ストレージシステムは、第1のストレージ装置と第2のストレージ装置を含み、
    前記第1のストレージ装置は、ポートと、前記ポートを制御するポート制御部と、データを記憶する記憶装置と、ディスク制御部と、メモリを有し、
    前記ポート制御部は、
    前記第1のストレージ装置が前記第2のストレージ装置から受信した要求に基づき、前記第2のストレージ装置からのデータを受信する処理である第1の処理を実行するための処理を含むターゲットタスクを生成し、
    前記ディスク制御部が前記メモリに格納した転送指示情報に基づき、前記第1のストレージ装置から前記第2のストレージ装置へデータを転送する処理である第2の処理を実行するための複数の処理を含むイニシエータタスクを生成し、
    生成された前記ターゲットタスクに含まれる複数の処理と前記イニシエータタスクに含まれる複数の処理とを切り替えて実行することで、前記ポートが前記第1の処理と前記第2の処理とを時分割で行なうように前記ポートを制御することを特徴とするストレージシステムにおけるデータ送受信方法。
  10. ストレージシステムにおけるデータ送受信方法であって、
    前記ストレージシステムは、第1のストレージ装置と複数の他の装置を含み、
    前記第1のストレージ装置は、ポートと、前記ポートを制御するポート制御部と、データを記憶する記憶装置と、ディスク制御部と、メモリを有し、
    前記ポート制御部は、
    前記第1のストレージ装置が前記複数の装置に含まれる第1の他の装置から受信した要求に基づき、前記複数の他の装置からのデータを受信する処理である第1の処理を実行するための複数の処理を含むターゲットタスクを生成し、
    前記ディスク制御部が前記メモリに格納した転送指示情報に基づき、前記第1のストレージ装置から前記複数の他の装置に含まれる第の他の装置へデータを転送する処理である第2の処理を実行するための複数の処理を含むイニシエータタスクを生成し、
    生成された第1の前記イニシエータタスクまたは第1の前記ターゲットタスクに含まれる複数の処理の完了を待つことなく、第2の前記イニシエータタスクまたは第2の前記ターゲットタスクを生成し、
    生成された第1の前記ターゲットタスク、第2の前記ターゲットタスク、第1の前記イニシエータタスク、及び第2の前記イニシエータタスクに含まれる複数の処理を実行することで、前記ポートが前記第1の処理と前記第2の処理とを時分割で行なうように前記ポートを制御することを特徴とするストレージシステムにおけるデータ送受信方法。
JP2001057631A 2001-03-02 2001-03-02 ストレージシステム及びストレージシステムにおけるデータ送受信方法 Expired - Lifetime JP4041656B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2001057631A JP4041656B2 (ja) 2001-03-02 2001-03-02 ストレージシステム及びストレージシステムにおけるデータ送受信方法
US09/820,947 US6851020B2 (en) 2001-03-02 2001-03-30 Storage subsystem that connects fiber channel and supports online backup
US11/014,887 US7398367B2 (en) 2001-03-02 2004-12-20 Storage subsystem that connects fibre channel and supports online backup
US12/155,411 US7904646B2 (en) 2001-03-02 2008-06-04 Storage subsystem that connects fibre channel and supports online backup
US13/004,392 US8234449B2 (en) 2001-03-02 2011-01-11 Storage subsystem that connects fibre channel and supports online backup
US13/532,988 US8806119B2 (en) 2001-03-02 2012-06-26 Storage subsystem that connects fibre channel and supports online backup

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001057631A JP4041656B2 (ja) 2001-03-02 2001-03-02 ストレージシステム及びストレージシステムにおけるデータ送受信方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007096206A Division JP2007193839A (ja) 2007-04-02 2007-04-02 ストレージシステム、ストレージシステムにおけるデータ送受信方法及びシステム

Publications (3)

Publication Number Publication Date
JP2002259063A JP2002259063A (ja) 2002-09-13
JP2002259063A5 JP2002259063A5 (ja) 2005-06-02
JP4041656B2 true JP4041656B2 (ja) 2008-01-30

Family

ID=18917476

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001057631A Expired - Lifetime JP4041656B2 (ja) 2001-03-02 2001-03-02 ストレージシステム及びストレージシステムにおけるデータ送受信方法

Country Status (2)

Country Link
US (5) US6851020B2 (ja)
JP (1) JP4041656B2 (ja)

Families Citing this family (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6834299B1 (en) * 2000-10-12 2004-12-21 International Business Machines Corporation Method and system for automating the configuration of a storage area network
US6728848B2 (en) * 2001-06-11 2004-04-27 Hitachi, Ltd. Method and system for backing up storage system data
JP4796251B2 (ja) * 2001-09-21 2011-10-19 株式会社日立製作所 ネットワークストレージシステム及びその制御方法
US6799189B2 (en) * 2001-11-15 2004-09-28 Bmc Software, Inc. System and method for creating a series of online snapshots for recovery purposes
US7134139B2 (en) * 2002-02-12 2006-11-07 International Business Machines Corporation System and method for authenticating block level cache access on network
US7359397B2 (en) * 2002-04-19 2008-04-15 Seagate Technology Llc Prioritizing transfers across an interface
JP4704659B2 (ja) * 2002-04-26 2011-06-15 株式会社日立製作所 記憶装置システムの制御方法および記憶制御装置
US7154886B2 (en) 2002-07-22 2006-12-26 Qlogic Corporation Method and system for primary blade selection in a multi-module fiber channel switch
JP3996010B2 (ja) 2002-08-01 2007-10-24 株式会社日立製作所 ストレージネットワークシステム、管理装置、管理方法及びプログラム
US7334046B1 (en) 2002-08-05 2008-02-19 Qlogic, Corporation System and method for optimizing frame routing in a network
US7397768B1 (en) 2002-09-11 2008-07-08 Qlogic, Corporation Zone management in a multi-module fibre channel switch
JP2004110367A (ja) * 2002-09-18 2004-04-08 Hitachi Ltd 記憶装置システムの制御方法、記憶制御装置、および記憶装置システム
US7362717B1 (en) 2002-10-03 2008-04-22 Qlogic, Corporation Method and system for using distributed name servers in multi-module fibre channel switches
JP2004164072A (ja) * 2002-11-11 2004-06-10 Hitachi Ltd ディスク制御装置およびディスク制御装置の制御方法
US7319669B1 (en) 2002-11-22 2008-01-15 Qlogic, Corporation Method and system for controlling packet flow in networks
US7263593B2 (en) * 2002-11-25 2007-08-28 Hitachi, Ltd. Virtualization controller and data transfer control method
JP2004220450A (ja) * 2003-01-16 2004-08-05 Hitachi Ltd ストレージ装置、その導入方法、及びその導入プログラム
JP2004227098A (ja) * 2003-01-20 2004-08-12 Hitachi Ltd 記憶デバイス制御装置の制御方法、及び記憶デバイス制御装置
JP2004234555A (ja) * 2003-01-31 2004-08-19 Hitachi Ltd ストレージシステムの制御方法、ストレージシステム、及びプログラム
JP2004234558A (ja) * 2003-01-31 2004-08-19 Hitachi Ltd 記憶デバイス制御装置、及びプログラム
JP4342804B2 (ja) * 2003-01-31 2009-10-14 株式会社日立製作所 ストレージシステムの制御方法、ストレージシステム、及びプログラム
US6996689B2 (en) * 2003-04-16 2006-02-07 Lsi Logic Corporation Systems and methods for striped storage migration
EP1486862A3 (en) * 2003-06-13 2008-10-08 Hitachi, Ltd. Storage system and data reproduction method
JP2005018193A (ja) 2003-06-24 2005-01-20 Hitachi Ltd ディスク装置のインタフェースコマンド制御方法ならびに計算機システム
JP2005031716A (ja) * 2003-07-07 2005-02-03 Hitachi Ltd データバックアップの方法及び装置
US7471635B2 (en) 2003-07-16 2008-12-30 Qlogic, Corporation Method and apparatus for test pattern generation
US7525910B2 (en) 2003-07-16 2009-04-28 Qlogic, Corporation Method and system for non-disruptive data capture in networks
US7355966B2 (en) 2003-07-16 2008-04-08 Qlogic, Corporation Method and system for minimizing disruption in common-access networks
US7388843B2 (en) 2003-07-16 2008-06-17 Qlogic, Corporation Method and apparatus for testing loop pathway integrity in a fibre channel arbitrated loop
US7463646B2 (en) 2003-07-16 2008-12-09 Qlogic Corporation Method and system for fibre channel arbitrated loop acceleration
US7620059B2 (en) 2003-07-16 2009-11-17 Qlogic, Corporation Method and apparatus for accelerating receive-modify-send frames in a fibre channel network
US7453802B2 (en) 2003-07-16 2008-11-18 Qlogic, Corporation Method and apparatus for detecting and removing orphaned primitives in a fibre channel network
US7430175B2 (en) 2003-07-21 2008-09-30 Qlogic, Corporation Method and system for managing traffic in fibre channel systems
US7573909B2 (en) 2003-07-21 2009-08-11 Qlogic, Corporation Method and system for programmable data dependant network routing
US7558281B2 (en) 2003-07-21 2009-07-07 Qlogic, Corporation Method and system for configuring fibre channel ports
US7406092B2 (en) 2003-07-21 2008-07-29 Qlogic, Corporation Programmable pseudo virtual lanes for fibre channel systems
US7684401B2 (en) 2003-07-21 2010-03-23 Qlogic, Corporation Method and system for using extended fabric features with fibre channel switch elements
US7894348B2 (en) 2003-07-21 2011-02-22 Qlogic, Corporation Method and system for congestion control in a fibre channel switch
US7580354B2 (en) 2003-07-21 2009-08-25 Qlogic, Corporation Multi-speed cut through operation in fibre channel switches
US7477655B2 (en) 2003-07-21 2009-01-13 Qlogic, Corporation Method and system for power control of fibre channel switches
US7525983B2 (en) 2003-07-21 2009-04-28 Qlogic, Corporation Method and system for selecting virtual lanes in fibre channel switches
US7792115B2 (en) 2003-07-21 2010-09-07 Qlogic, Corporation Method and system for routing and filtering network data packets in fibre channel systems
US7522529B2 (en) 2003-07-21 2009-04-21 Qlogic, Corporation Method and system for detecting congestion and over subscription in a fibre channel network
US7447224B2 (en) 2003-07-21 2008-11-04 Qlogic, Corporation Method and system for routing fibre channel frames
US7646767B2 (en) 2003-07-21 2010-01-12 Qlogic, Corporation Method and system for programmable data dependant network routing
US7466700B2 (en) 2003-07-21 2008-12-16 Qlogic, Corporation LUN based hard zoning in fibre channel switches
US7522522B2 (en) 2003-07-21 2009-04-21 Qlogic, Corporation Method and system for reducing latency and congestion in fibre channel switches
US7512067B2 (en) 2003-07-21 2009-03-31 Qlogic, Corporation Method and system for congestion control based on optimum bandwidth allocation in a fibre channel switch
US7583597B2 (en) 2003-07-21 2009-09-01 Qlogic Corporation Method and system for improving bandwidth and reducing idles in fibre channel switches
US7630384B2 (en) 2003-07-21 2009-12-08 Qlogic, Corporation Method and system for distributing credit in fibre channel systems
US7420982B2 (en) * 2003-07-21 2008-09-02 Qlogic, Corporation Method and system for keeping a fibre channel arbitrated loop open during frame gaps
JP2005071196A (ja) * 2003-08-27 2005-03-17 Hitachi Ltd ディスクアレイ装置、及びその障害情報の制御方法
JP4386694B2 (ja) * 2003-09-16 2009-12-16 株式会社日立製作所 記憶システム及び記憶制御装置
US7219201B2 (en) * 2003-09-17 2007-05-15 Hitachi, Ltd. Remote storage disk control device and method for controlling the same
JP4598387B2 (ja) * 2003-09-17 2010-12-15 株式会社日立製作所 記憶システム
US7352701B1 (en) 2003-09-19 2008-04-01 Qlogic, Corporation Buffer to buffer credit recovery for in-line fibre channel credit extension devices
US7085966B2 (en) * 2003-09-25 2006-08-01 International Business Machines Corporation Methods and arrangements for repairing ports
JP4307202B2 (ja) * 2003-09-29 2009-08-05 株式会社日立製作所 記憶システム及び記憶制御装置
US20050114590A1 (en) * 2003-11-26 2005-05-26 Jan Klier Drive controller user interface
JP4400913B2 (ja) * 2003-11-26 2010-01-20 株式会社日立製作所 ディスクアレイ装置
JP4307964B2 (ja) * 2003-11-26 2009-08-05 株式会社日立製作所 アクセス制限情報設定方法および装置
JP4516306B2 (ja) 2003-11-28 2010-08-04 株式会社日立製作所 ストレージネットワークの性能情報を収集する方法
JP2005190106A (ja) * 2003-12-25 2005-07-14 Hitachi Ltd 論理ボリュームを管理する記憶制御サブシステム
JP4508636B2 (ja) * 2003-12-26 2010-07-21 キヤノン株式会社 データ処理装置、その制御方法、及びプログラム
US7406509B2 (en) * 2004-01-07 2008-07-29 Network Appliance, Inc. Dynamic switching of a communication port in a storage system between target and initiator modes
JP2005202893A (ja) * 2004-01-19 2005-07-28 Hitachi Ltd 記憶デバイス制御装置、ストレージシステム、プログラムを記録した記録媒体、情報処理装置、及びストレージシステムの制御方法
US7564789B2 (en) 2004-02-05 2009-07-21 Qlogic, Corporation Method and system for reducing deadlock in fibre channel fabrics using virtual lanes
US7480293B2 (en) 2004-02-05 2009-01-20 Qlogic, Corporation Method and system for preventing deadlock in fibre channel fabrics using frame priorities
JP4391265B2 (ja) 2004-02-26 2009-12-24 株式会社日立製作所 ストレージサブシステムおよび性能チューニング方法
US7340167B2 (en) 2004-04-23 2008-03-04 Qlogic, Corporation Fibre channel transparent switch for mixed switch fabrics
US7930377B2 (en) 2004-04-23 2011-04-19 Qlogic, Corporation Method and system for using boot servers in networks
US7404020B2 (en) 2004-07-20 2008-07-22 Qlogic, Corporation Integrated fibre channel fabric controller
JP4646574B2 (ja) * 2004-08-30 2011-03-09 株式会社日立製作所 データ処理システム
US8295299B2 (en) 2004-10-01 2012-10-23 Qlogic, Corporation High speed fibre channel switch element
US7593997B2 (en) 2004-10-01 2009-09-22 Qlogic, Corporation Method and system for LUN remapping in fibre channel networks
US7411958B2 (en) 2004-10-01 2008-08-12 Qlogic, Corporation Method and system for transferring data directly between storage devices in a storage area network
JP2006127028A (ja) * 2004-10-27 2006-05-18 Hitachi Ltd 記憶システム及び記憶制御装置
US20060112303A1 (en) * 2004-11-09 2006-05-25 Arco Computer Products, Llc. Local backup device with remote management capability and method for remote backup management
US7519058B2 (en) 2005-01-18 2009-04-14 Qlogic, Corporation Address translation in fibre channel switches
JP2006227856A (ja) 2005-02-17 2006-08-31 Hitachi Ltd アクセス制御装置及びそれに搭載されるインターフェース
JP4721734B2 (ja) * 2005-03-15 2011-07-13 株式会社日立製作所 ストレージシステム、及び情報処理システム
JP4355674B2 (ja) 2005-03-17 2009-11-04 富士通株式会社 リモートコピー方法及びストレージシステム
JP2006287286A (ja) * 2005-03-31 2006-10-19 Saxa Inc Ip通信方法およびip通信装置
JP4634268B2 (ja) * 2005-10-03 2011-02-16 株式会社日立製作所 ストレージシステムの省電力化方法及びストレージシステム
WO2007067699A2 (en) * 2005-12-08 2007-06-14 Nvidia Corporation Emergency data preservation services
US9122643B2 (en) 2005-12-08 2015-09-01 Nvidia Corporation Event trigger based data backup services
US8402322B2 (en) 2005-12-08 2013-03-19 Nvidia Corporation Emergency data preservation services
US7548560B1 (en) 2006-02-27 2009-06-16 Qlogic, Corporation Method and system for checking frame-length in fibre channel frames
JP2007272357A (ja) * 2006-03-30 2007-10-18 Toshiba Corp ストレージクラスタシステム、データ処理方法、及びプログラム
JP2008276379A (ja) 2007-04-26 2008-11-13 Hitachi Ltd 記憶システム及びパス切替え方法
US7844777B2 (en) * 2007-06-26 2010-11-30 Intel Corporation Cache for a host controller to store command header information
US8566560B2 (en) * 2008-02-01 2013-10-22 Dell Products L.P. System and method for configuring storage resources for database storage
JP5064440B2 (ja) 2009-05-21 2012-10-31 株式会社ホンダロック 車両用ドアのアウトハンドル装置
US8639769B2 (en) * 2009-12-18 2014-01-28 International Business Machines Corporation Handling of data transfer in a LAN-free environment
JP2011170589A (ja) * 2010-02-18 2011-09-01 Nec Corp ストレージ制御装置、ストレージ装置およびストレージ制御方法
JP5891890B2 (ja) * 2012-03-26 2016-03-23 富士通株式会社 ストレージシステム、ストレージ装置およびデータ復元方法
US9785647B1 (en) 2012-10-02 2017-10-10 Axcient, Inc. File system virtualization
US9195410B2 (en) * 2012-10-31 2015-11-24 Hitachi, Ltd. Storage system and access arbitration method
US9852140B1 (en) 2012-11-07 2017-12-26 Axcient, Inc. Efficient file replication
US9397907B1 (en) 2013-03-07 2016-07-19 Axcient, Inc. Protection status determinations for computing devices
KR101996708B1 (ko) * 2014-09-15 2019-07-04 후아웨이 테크놀러지 컴퍼니 리미티드 기입 데이터 요청 처리 방법과 저장소 어레이
CN105490785B (zh) * 2015-12-08 2018-10-26 中国航空工业集团公司西安航空计算技术研究所 一种基于共享缓存的fc网络余度发送控制系统及方法

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4614841A (en) * 1982-06-29 1986-09-30 At&T Bell Laboratories Geographically distributed multiprocessor time-shared communication processing system
US5051887A (en) 1987-08-25 1991-09-24 International Business Machines Corporation Maintaining duplex-paired storage devices during gap processing using of a dual copy function
US5001671A (en) * 1989-06-27 1991-03-19 Vitelic Corporation Controller for dual ported memory
US5544347A (en) 1990-09-24 1996-08-06 Emc Corporation Data storage system controlled remote data mirroring with respectively maintained data indices
JPH04311218A (ja) 1991-04-09 1992-11-04 Toshiba Corp 外部記憶制御装置
JPH0581147A (ja) 1991-09-20 1993-04-02 Hitachi Ltd 揮発性記憶装置の自動退避、復帰方法
JPH05108527A (ja) 1991-10-18 1993-04-30 Sharp Corp マイコンの入出力回路
JPH05120110A (ja) 1991-10-30 1993-05-18 Hitachi Ltd フアイルの自動バツクアツプシステム
JPH064223A (ja) 1992-03-25 1994-01-14 Nippon Denki Joho Service Kk ディスク複写システム
JP2742186B2 (ja) 1992-10-28 1998-04-22 株式会社日立製作所 ディスクドライバ,ディスクアレイ装置,データ記憶システム及びディスクアレイシステムのデータバックアップ方法
JPH06168080A (ja) 1992-11-27 1994-06-14 Sanyo Electric Co Ltd データバックアップシステム
JPH06236340A (ja) 1993-02-10 1994-08-23 Hitachi Ltd データ転送方法及び転送装置
US5455934A (en) * 1993-03-23 1995-10-03 Eclipse Technologies, Inc. Fault tolerant hard disk array controller
JPH06290002A (ja) 1993-04-06 1994-10-18 Sony Corp 記憶装置
JPH06309209A (ja) 1993-04-26 1994-11-04 Hitachi Ltd ファイルバックアップ方式
JPH0793101A (ja) 1993-09-28 1995-04-07 Kawasaki Steel Corp データバックアップ装置
JPH07239759A (ja) 1994-03-01 1995-09-12 Sumitomo Electric Ind Ltd ディスクアレイ装置のバックアップ装置および方法
US5649152A (en) 1994-10-13 1997-07-15 Vinca Corporation Method and system for providing a static snapshot of data stored on a mass storage system
JPH07200119A (ja) 1994-12-25 1995-08-04 Morio Matayoshi 手首への負担を軽減させる入力用キーボード
JPH08212142A (ja) 1995-02-08 1996-08-20 Nec Corp データベースのデータバックアップシステム
JPH08234916A (ja) 1995-03-01 1996-09-13 Hitachi Ltd Scsi情報処理システムのデータバックアップ方法
JPH0950394A (ja) 1995-08-08 1997-02-18 Fuji Facom Corp データ自動退避処理システム
JP3856855B2 (ja) 1995-10-06 2006-12-13 三菱電機株式会社 差分バックアップ方式
US6304980B1 (en) * 1996-03-13 2001-10-16 International Business Machines Corporation Peer-to-peer backup system with failure-triggered device switching honoring reservation of primary device
US5889935A (en) 1996-05-28 1999-03-30 Emc Corporation Disaster control features for remote data mirroring
JPH1049388A (ja) 1996-08-02 1998-02-20 Fuji Xerox Co Ltd 入出力制御装置
US5845295A (en) 1996-08-27 1998-12-01 Unisys Corporation System for providing instantaneous access to a snapshot Op data stored on a storage medium for offline analysis
JP2976908B2 (ja) 1996-12-06 1999-11-10 日本電気株式会社 ディスク共有スイッチ装置及びその使用方法
US6094436A (en) * 1997-02-14 2000-07-25 Advanced Micro Devices, Inc. Integrated multiport switch having shared media access control circuitry
JP3080029B2 (ja) 1997-03-10 2000-08-21 日本電気株式会社 仮想アドレスルーティングによるスイッチ保守方法
US6000020A (en) * 1997-04-01 1999-12-07 Gadzoox Networks, Inc. Hierarchical storage management from a mirrored file system on a storage network segmented by a bridge
JP2888222B2 (ja) 1997-04-04 1999-05-10 三菱電機株式会社 データバックアップ方式
JP3228182B2 (ja) 1997-05-29 2001-11-12 株式会社日立製作所 記憶システム及び記憶システムへのアクセス方法
JPH11272427A (ja) 1998-03-24 1999-10-08 Hitachi Ltd データ退避方法および外部記憶装置
JP2000089919A (ja) 1998-05-19 2000-03-31 Sony Corp デ―タ記録再生装置、デ―タ送出方法およびデ―タ送出システム
US6895248B1 (en) * 1998-06-02 2005-05-17 The Board Of Trustees Of The Leland Stanford Junior University Dynamic resource allocation and media access control for a wireless ATM network
US6260120B1 (en) * 1998-06-29 2001-07-10 Emc Corporation Storage mapping and partitioning among multiple host processors in the presence of login state changes and host controller replacement
WO2000009682A1 (en) * 1998-08-12 2000-02-24 Maxygen, Inc. Dna shuffling of monooxygenase genes for production of industrial chemicals
JP2000132343A (ja) 1998-08-20 2000-05-12 Hitachi Ltd 記憶装置システム
JP2000099277A (ja) 1998-09-18 2000-04-07 Fujitsu Ltd ファイルユニット間のリモート転送方法
JP4098431B2 (ja) 1999-02-17 2008-06-11 株式会社日本触媒 ヒドロキシアルキル(メタ)アクリレートの製法
JP3741345B2 (ja) 1999-03-24 2006-02-01 株式会社日立製作所 ネットワーク接続ディスク装置
US6697960B1 (en) * 1999-04-29 2004-02-24 Citibank, N.A. Method and system for recovering data to maintain business continuity
US6219753B1 (en) * 1999-06-04 2001-04-17 International Business Machines Corporation Fiber channel topological structure and method including structure and method for raid devices and controllers
JP2001005702A (ja) 1999-06-21 2001-01-12 Hitachi Ltd コンピューターシステム
US6658540B1 (en) 2000-03-31 2003-12-02 Hewlett-Packard Development Company, L.P. Method for transaction command ordering in a remote data replication system
US6694450B1 (en) * 2000-05-20 2004-02-17 Equipe Communications Corporation Distributed process redundancy
US6332198B1 (en) * 2000-05-20 2001-12-18 Equipe Communications Corporation Network device for supporting multiple redundancy schemes
US6665812B1 (en) * 2000-12-22 2003-12-16 Emc Corporation Storage array network backup configuration
US20030212859A1 (en) * 2002-05-08 2003-11-13 Ellis Robert W. Arrayed data storage architecture with simultaneous command of multiple storage media
JP4311218B2 (ja) 2004-02-12 2009-08-12 Nok株式会社 シール構造
JP5120110B2 (ja) 2008-06-30 2013-01-16 日本精工株式会社 電動パワーステアリング装置

Also Published As

Publication number Publication date
US20080263273A1 (en) 2008-10-23
US8806119B2 (en) 2014-08-12
JP2002259063A (ja) 2002-09-13
US20020124124A1 (en) 2002-09-05
US7904646B2 (en) 2011-03-08
US20050102555A1 (en) 2005-05-12
US6851020B2 (en) 2005-02-01
US7398367B2 (en) 2008-07-08
US20120271999A1 (en) 2012-10-25
US20110107029A1 (en) 2011-05-05
US8234449B2 (en) 2012-07-31

Similar Documents

Publication Publication Date Title
JP4041656B2 (ja) ストレージシステム及びストレージシステムにおけるデータ送受信方法
JP3997061B2 (ja) 記憶サブシステムおよび記憶サブシステムの制御方法
US6968425B2 (en) Computer systems, disk systems, and method for controlling disk cache
JP5037881B2 (ja) ストレージシステム及びその制御方法
EP1538528B1 (en) Storage system and replication creation method thereof
JP3428842B2 (ja) 情報処理システムおよびデータ多重化システム
JP4412685B2 (ja) 記憶制御装置及びこれを用いたデータ格納システムの取り扱い方法
US7802137B2 (en) Journaling system switching to another logical volume to store subsequently received update history
JP3726559B2 (ja) ダイレクトバックアップ方法および記憶装置システム
US7752390B2 (en) Disk array apparatus and control method for disk array apparatus
US9632701B2 (en) Storage system
JP2009009333A (ja) 非同期リモートコピーシステムの制御方法及び非同期リモートコピーシステム
JP2005018193A (ja) ディスク装置のインタフェースコマンド制御方法ならびに計算機システム
JP2010079588A (ja) 仮想ボリュームを有する記憶制御装置
JPH10333838A (ja) データ多重化記憶サブシステム
JP4452438B2 (ja) 記憶システム
JP4325849B2 (ja) 記憶システム、バックアップシステム及びバックアップ方法
JP2007193839A (ja) ストレージシステム、ストレージシステムにおけるデータ送受信方法及びシステム
JP2007310448A (ja) 計算機システム、管理計算機、および、ストレージシステム管理方法
JP2003050675A (ja) データ多重化システム
JP2012022645A (ja) データ記憶システムおよび非同期レプリケーション方法
US20070118605A1 (en) Method and computer system for information notification
JPH0573485A (ja) データ転送制御方式
JP2007172646A (ja) データ移行制御方法、スイッチシステムならびにデータ制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040812

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040812

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20040812

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061023

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070918

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071016

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071112

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101116

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4041656

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101116

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111116

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111116

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121116

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121116

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131116

Year of fee payment: 6

EXPY Cancellation because of completion of term