[go: up one dir, main page]

JP2010061664A - 単一のsasエクスパンダとして動作する複数のsasエクスパンダのためにパスフェールオーバーを提供するための方法 - Google Patents

単一のsasエクスパンダとして動作する複数のsasエクスパンダのためにパスフェールオーバーを提供するための方法 Download PDF

Info

Publication number
JP2010061664A
JP2010061664A JP2009204928A JP2009204928A JP2010061664A JP 2010061664 A JP2010061664 A JP 2010061664A JP 2009204928 A JP2009204928 A JP 2009204928A JP 2009204928 A JP2009204928 A JP 2009204928A JP 2010061664 A JP2010061664 A JP 2010061664A
Authority
JP
Japan
Prior art keywords
sas
expander
sas expander
link
physical port
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009204928A
Other languages
English (en)
Other versions
JP2010061664A5 (ja
JP5297310B2 (ja
Inventor
Christopher Mccarty
クリストファー・マッカーティ
Stephen B Johnson
スティーブン・ビー.・ジョンソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LSI Corp
Original Assignee
LSI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LSI Corp filed Critical LSI Corp
Publication of JP2010061664A publication Critical patent/JP2010061664A/ja
Publication of JP2010061664A5 publication Critical patent/JP2010061664A5/ja
Application granted granted Critical
Publication of JP5297310B2 publication Critical patent/JP5297310B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/40Bus structure
    • G06F13/4004Coupling between buses
    • G06F13/4022Coupling between buses using switching circuits, e.g. switching matrix, connection or expansion network
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2002Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant
    • G06F11/2007Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media
    • G06F11/201Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media between storage system components
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14Handling requests for interconnection or transfer
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163Interprocessor communication
    • G06F15/17Interprocessor communication using an input/output type connection, e.g. channel, I/O port

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Transfer Systems (AREA)
  • Small-Scale Networks (AREA)

Abstract

【課題】単一のSASエクスパンダとして動作する複数のSASエクスパンダのためにパスフェールオーバーを提供するための方法
【解決手段】第1のSASエクスパンダとデバイスとの間の障害リンクが検出される。障害リンクを通じてデバイスに接続される第1のSASエクスパンダによるデータ転送が、有効リンクを通じてデバイスに接続される第2のSASエクスパンダへ再ルーティングされる。第1のSASエクスパンダは、エクスパンダ間通信のための第1のSASエクスパンダの物理ポート及び第2のSASエクスパンダの物理ポートを通じて第2のSASエクスパンダに接続される。
【選択図】図1

Description

本出願は、米国特許法第119条(e)に基づいて、参照により本明細書に組み込まれる2008年9月5日出願の米国仮出願第61/191,037号の利益を主張する。本出願は、本出願と同日に出願された同時係属出願:Stephen B. Johnson、Timothy E. Hoglund、及びLouis H. Odenwald, Jr.による「COMBINING MULTIPLE SAS EXPANDERS TO PROVIDE SINGLE SAS EXPANDER FUNCTIONALITY(単一SASエクスパンダの機能性を提供するために複数のSASエクスパンダを組み合わせること)」(代理人整理番号08-1075、速達便番号EM 260723514 US)、Stephen B. Johnson及びChristopher McCartyによる「SPECIFYING LANES FOR SAS WIDE PORT CONNECTIONS(SASワイドポート接続のためのレーンを指定する)」(代理人整理番号08-1461、速達便番号EM 260723505 US)、並びにStephen B. Johnson、William Petty、及びOwen Parryによる「SAS PAIRED SUBTRACTIVE ROUTING(SASペアサブトラクティブルーティング)」(代理人整理番号08-1513、速達便番号EM 260723528 US)に関連している。これらの出願は、全て、参照により本明細書に組み込まれる。
本開示は、概して、シリアル接続SCSIの分野に関するものであり、より具体的には、複数のSASエクスパンダが単一の非閉鎖的SASエクスパンダとして動作するときにパスフェールオーバーを提供することに関するものである。
シリアル接続SCSI(SAS)は、コンピュータデバイス間のデータ転送を実現するように設計された様々な技術を指す用語である。SASプロトコルは、パラレル型の小型コンピュータシステムインターフェースに取って代わるシリアル型のものである。SASプロトコルでは、全てのSASデバイスは、イニシエータデバイス、ターゲットデバイス、またはエクスパンダデバイスのいずれかである。イニシエータデバイスが、SASデータ転送を開始するデバイスである一方で、ターゲットデバイスは、イニシエータデバイスによるデータ転送先のデバイスである。イニシエータデバイスとターゲットデバイスは、ともに、エンドデバイスとして知られる。
SASエクスパンダは、複数のイニシエータデバイスと複数のターゲットデバイスとの間のデータ転送を促進するデバイスである。SASプロトコルは、ポントツーポイントバス型トポロジを利用する。したがって、もしイニシエータデバイスが、複数のターゲットデバイスへの接続を必要とする場合は、イニシエータデバイスと個々のターゲットデバイスとの間の個々のデータ転送を促進するために、イニシエータデバイスと個々のターゲットデバイスとを直接接続しなければならない。複数のイニシエータデバイスと複数のターゲットデバイスとの間の接続およびデータ転送は、SASエクスパンダによって扱われる。SASエクスパンダは、SASデバイスを内包してよい。
複数のシリアル接続小型コンピュータシステムインターフェース(SAS)エクスパンダを組み合わせて単一の一体的SASエクスパンダとして機能させつつパスフェールオーバーを提供するための方法は、第1のSASエクスパンダとデバイスとの間の障害リンクを検出することと、障害リンクを通じてデバイスに接続される第1のSASエクスパンダによるデータ転送を、有効リンクを通じてデバイスに接続される第2のSASエクスパンダへ再ルーティングすることであって、第1のSASエクスパンダは、エクスパンダ間通信のための第1のSASエクスパンダの物理ポート及び第2のSASエクスパンダの物理ポートを通じて第2のSASエクスパンダに接続される、ことと、を非限定的に含んでよい。
システムは、複数のSASエクスパンダを組み合わせて単一の一体的SASエクスパンダとして機能させるための手段と、第1のSASエクスパンダとデバイスとの間の障害リンクを検出するための手段と、障害リンクを通じてデバイスに接続される第1のSASエクスパンダによるデータ転送を、有効リンクを通じてデバイスに接続される第2のSASエクスパンダへ再ルーティングするための手段であって、第1のSASエクスパンダは、エクスパンダ間通信のための第1のSASエクスパンダの物理ポート及び第2のSASエクスパンダの物理ポートを通じて第2のSASエクスパンダに接続される、手段と、を非限定的に含む。
コンピュータ可読媒体は、複数のシリアル接続小型コンピュータシステムインターフェース(SAS)エクスパンダを組み合わせて単一の一体的SASエクスパンダとして機能させつつパスフェールオーバーを提供するための方法を実施するためのコンピュータ実行可能命令を有し、上記方法は、第1のSASエクスパンダとデバイスとの間の障害リンクを検出することと、障害リンクを通じてデバイスに接続される第1のSASエクスパンダによるデータ転送を、有効リンクを通じてデバイスに接続される第2のSASエクスパンダへ再ルーティングすることであって、第1のSASエクスパンダは、エクスパンダ間通信のための第1のSASエクスパンダの物理ポート及び第2のSASエクスパンダの物理ポートを通じて第2のSASエクスパンダに接続される、ことと、を非限定的に含む。
以上の概要及び以下の詳細な説明は、いずれも例示及び説明を意図したものであり、必ずしも本開示を限定するものではないことがわかる。本明細書に組み込まれるとともに本明細書の一部を構成する添付の図面は、開示の内容を図示したものである。説明及び図面は、あわせて開示の原理を説明する働きをする。
当業者ならば、添付の図面を参照することによって、開示の数々の利点をより良く理解できるであろう。
SASトポロジを図示したブロック図であり、単一の一体的SASエクスパンダが示す図である。 単一の一体的SASエクスパンダの各種の構成を図示したブロック図である。 単一の一体的SASエクスパンダの各種の構成を図示したブロック図である。 単一の一体的SASエクスパンダの各種の構成を図示したブロック図である。 単一の一体的SASエクスパンダの各種の構成を図示したブロック図である。 単一の一体的SASエクスパンダの各種の構成を図示したブロック図である。 単一の一体的SASエクスパンダのブレードセンタスイッチ構成を図示したブロック図である。 単一の一体的SASエクスパンダのエクスパンダ間リンクを図示したブロック図である。 単一の一体的SASエクスパンダ内の障害内部リンクを図示したブロック図である。 複数のSASエクスパンダを組み合わせて単一の一体的SASエクスパンダとして動作させるための方法を示した流れ図である。 単一の一体的SASエクスパンダ内でリンク障害が生じたときにパスフェールオーバーを提供するための方法を示した流れ図である。 単一の一体的SASエクスパンダとのデータ接続のためのSASワイドポートのレーンを選択することを図示したブロック図である。 単一の一体的SASエクスパンダとのデータ接続のためのSASワイドポートのレーンを指定するための方法を示した流れ図である。 ペア・サブトラクティブルーティングを実施するように構成されるカスケード接続SASトポロジを図示したブロック図である。 ペア・サブトラクティブポートのベンダ固有機能、コマンド、及び記述子を示した表を示す図である。 ペア・サブトラクティブポートのベンダ固有機能、コマンド、及び記述子を示した表を示す図である。 ペア・サブトラクティブポートのベンダ固有機能、コマンド、及び記述子を示した表を示す図である。 ペア・サブトラクティブポートのベンダ固有機能、コマンド、及び記述子を示した表を示す図である。 カスケード接続SASトポロジ内でペアサブトラクティブルーティングを実施する方法を示した流れ図である。
次に、添付の図面に図示された開示の内容に詳細に言及する。いくつかの要素の参照符号として、参照数字の末尾に英文字が付加されたものが使用されているが、その要素を総称するときには付加的な英文字が省略した参照数字が使用される場合がある。
単一の一体的SASエクスパンダを特徴として備える本開示の代表的一実施形態にしたがったSASトポロジが示される。トポロジ100は、ナローポート115a...dを通じてエクスパンダ120に接続されるイニシエータ110を含んでよい。エクスパンダ120は、ナローポート125a...dを通じて単一の一体的SASエクスパンダ200に接続されてよい。単一の一体的SASエクスパンダ200は、物理的に別個の複数のSASエクスパンダ202a...dを内包してよい。SASエクスパンダ202a...dは、ナローポート125a...dを組み合わせて共通の単一ワイドポート150として挙動させるために、同一SASアドレスを共有するように構成されてよい。SASトポロジ100に示されるように、ナローポート125a...dは、組み合わさってx4ワイドポート150を構成してよい。SASエクスパンダ202a...dは、ナローポート135a...dを通じてエクスパンダ130に接続されてよい。エクスパンダ130は、ナローポート145a...dを通じてターゲット140に接続されてよい。SAS規格は、全ての接続がポイントツーポイントであることを要求する。しかしながら、SASトポロジ100は、ワイドポート150が真にSASワイドポートであるゆえに、SAS規格対応である。
図2A〜2Eを参照すると、一体的SASエクスパンダ200は、物理的に別個の複数のSASエクスパンダ202を内包してよい。SASエクスパンダ202は、リンク255〜294を通じて出力ポート205〜244に接続されてよい。本開示では、SASエクスパンダ202の数、SASエクスパンダ202のポートの数、出力ポート205〜244の数、出力ポート205〜244の幅、及びリンク255〜294に使用されるSASエクスパンダポートの数に依存して、多種多様な構成の単一の一体的SASエクスパンダ200が考えられる。
出力ポート205〜244は、ワイドポートであってよい。出力ポート205〜244は、同一SASアドレスを共有するように構成されてよい。SAS規格下では、これは、出力ポート205〜244を、同じエクスパンダの単一のワイドポートとして定めるものである。各出力ポート205〜244は、全てのSASエクスパンダ202a...hに接続されてよい(不図示)。出力ポート205〜244の幅は、各出力ポート205〜244に接続するためにリンク255a...h〜294a...hにどれだけ多くのSASエクスパンダポートが使用されているかに依存してよい。各SASエクスパンダ202a...hは、各出力ポート205〜244に接続される複数のSASエクスパンダポートを有してよい。例えば、もし単一の一体的SASエクスパンダ200が、1つのSASエクスパンダポートを使用してリンク255a...b〜294a...bを通じて各出力ポート205〜244に接続される2つのSASエクスパンダ202a...bを有する場合は、出力ポート205〜244は、x2ワイドポートになる。更に、もし単一の一体的SASエクスパンダ200が、2つのSASエクスパンダポートを使用してリンクを通じて各出力ポート205〜244に接続される2つのSASエクスパンダ202a...bを有する場合は、出力ポート205〜244は、x4ワイドポートになる。これらの構成は、単一の一体的SASエクスパンダ200の任意のポートから任意の他のポートへの同時アクセスを全ポート帯域幅で可能にすることができる。
単一の一体的SASエクスパンダ300のブレードセンタスイッチ構成301が提供される。図3を参照すると、複数のCPUブレード302が、入力ポート305〜320に接続されてよい。入力ポート305〜320は、ワイドポートであってよい。入力ポート305〜320は、同一SASアドレスを共有するように構成されてよい。SAS規格下では、これは、入力ポート305〜320を、同じエクスパンダの単一ワイドポートとして定めるものである。各入力ポート305〜320は、リンク355a...b〜375a...bを通じて各SASエクスパンダ202a...bに接続されてよい。ブレードセンタスイッチ構成301に示されるように、入力ポート305〜320は、1つのSASエクスパンダポートを使用してリンク355a...b〜375a...bを通じて2つのSASエクスパンダ202a...bに接続されるx2ワイドポートであるが、これらの開示では、その他の構成も十分に考えられる。各SASエクスパンダ202a...bは、リンク255a1,a2...b1,b2〜268a1,a2...b1,b2を通じて各出力ポート205〜218に接続されてよい。ブレードセンタスイッチ構成301に示されるように、出力ポート205〜218は、2つのSASエクスパンダポートを使用してリンク255a1,a2...b1,b2〜268a1,a2...b1,b2を通じて2つのSASエクスパンダ202a...bに接続されるx4ワイドポートであるが、現在のこの開示では、その他の構成も十分に考えられる。出力ポート205〜218は、複数のデータストレージデバイス303に接続されてよい。
複数のSASエクスパンダ202は、同一SASアドレスを共有するように構成されてよい。SAS規格下では、これは、複数のSASエクスパンダ202を単一エクスパンダとして定めるものである。各SASエクスパンダ202では、複数のSASエクスパンダ202を単一エクスパンダとして挙動及び応答させるようにファームウェアが実行されてよい。図4に示されるように、各SASエクスパンダ202a...dは、エクスパンダ間リンク(IEL)430〜435を通じて202a...dの各自に接続されてよい。IEL430〜435は、SASエクスパンダ202a...dが通信及び協調によって単一のエクスパンダとして挙動及び応答することを可能にしてよい。IEL430〜435は、SASマネージメントプロトコル(SMP)、又は集積回路間バスプロトコル(I2C)、拡張パラレルポート(EPP)、イーサネット(登録商標)、共有メモリ等のその他の通信方法を通じて通信してよい。IEL430〜435は、IELドメイン420をプライマリスイッチドメイン410からゾーン分けすることを可能にしてよい。SAS規格非対応のあらゆるループ事象を排除するために、IEL430〜435では、ブロードキャストが無効にされてよい。IEL430〜435は、複数のSASエクスパンダポートを使用してよい。IEL430〜435に使用される物理ポートは、プライマリスイッチドメインから完全に隠されてよい。SASエクスパンダ202a...dのプライマリスイッチドメインで使用される物理ポートの番号は、単一の論理的番号に再マッピングされてよい。IEL430〜435は、任意の有効に動作しているSASエクスパンダ202a...d間で接続性を維持しつつ、任意の組み合わせのSASエクスパンダ202a...dで障害が生じることを許容してよい。更に、全部のSASエクスパンダ202a...dに障害が生じているのでなければ、いずれの入力ポート305〜320及び出力ポート205〜244も、低下した帯域幅で接続性を維持することができる。SMPターゲット処理は、単一の一体的SASエクスパンダ200の単一のマスタSASエクスパンダによって扱われてよい。単一の一体的SASエクスパンダ200への接続要求は、IEL430〜435を通じて単一のマスタSASエクスパンダにルーティングされてよい。SASエクスパンダ202a...dは、SMPターゲット処理を共有してよい。
概して図6を参照すると、複数のSASエクスパンダを組み合わせるための方法が示されている。例えば、方法は、後述のように(尚且つ図1、図2A〜2E、図3、及び図4に示されるように)SASエクスパンダを接続及び組み合わせるための技術を実現してよい。方法600は、第1のSASエクスパンダの少なくとも1つの第1番の物理ポートを、第1のSASエクスパンダと物理的に別個である第2のSASエクスパンダの少なくとも1つの第2番の物理ポートとともに、少なくとも1つの共通SASワイドポートにとりまとめるステップ602を含んでよい。例えば、少なくとも1つの共通SASワイドポート(205〜244)へのとりまとめは、少なくとも1つの共通ワイドポート(205〜244)に同一SASアドレスを割り当てることを含んでよい。
方法600は、更に、第1のSASエクスパンダ及び第2のSASエクスパンダに同一SASアドレスを割り当てるステップ604を含んでよい。第1のSASエクスパンダ及び第2のSASエクスパンダへの同一SASアドレスの割り当ては、第1のSASエクスパンダと第2のSASエクスパンダとを単一の一体的SASエクスパンダ200として挙動及び応答させることを可能にしてよい。割り当ては、第1のSASエクスパンダ及び第2のSASエクスパンダで実行されるファームウェアを通じて実施されてよい。更に、第1のSASエクスパンダ及び第2のSASエクスパンダの物理ポートの番号は、単一の一体的SASエクスパンダの単一の論理的順番の物理ポート番号として再マッピングされてよい。例えば、第1のSASエクスパンダの第1番の物理ポートは、単一の論理的順番の番号の第1の範囲に入るように再マッピングされてよく、第1のSASエクスパンダの第2番の物理ポートは、単一の論理的順番の番号の第2の範囲に入るように再マッピングされてよい。
方法600は、更に、エクスパンダ間通信のために、第1のSASエクスパンダを第2のSASエクスパンダに直接接続するステップ606を含んでよい。エクスパンダ間通信は、SMP通信、又は集積回路間バスプロトコル(I2C)、拡張パラレルポート(EPP)、イーサネット(登録商標)、共有メモリ等のその他の通信方法を利用してよい。更なる実施形態では、エクスパンダ間通信のための第1のSASエクスパンダと第2のSASエクスパンダとの間の接続(430〜435)は、第1のSASエクスパンダの物理ポート及び第2のSASエクスパンダの物理ポートを通じて実施されてよい。更に、エクスパンダ間通信のための第1のSASエクスパンダの物理ポート及びエクスパンダ間通信のための第2のSASエクスパンダの物理ポートは、単一の一体的SASエクスパンダのプライマリスイッチドメイン(410)から隠されてよい。第1のSASエクスパンダと第2のSASエクスパンダとの間のエクスパンダ間通信には、第1のSASエクスパンダの少なくとも2つの物理ポート及び第2のSASエクスパンダの少なくとも2つの物理ポートが使用されてよい。更に、もし単一の一体的SASエクスパンダ内で少なくとも1つのSASエクスパンダが(例えば、あるSASエクスパンダに障害が発生している最中等に)動作可能にとどまっていれば、どの共通SASワイドポートも、低下した小さい帯域幅で動作可能に維持される。
単一の一体的SASエクスパンダ500は、単一の一体的SASエクスパンダ内で内部リンクに障害生じたときにパスフェールオーバーを提供するように構成されてよい。図5を参照すると、上述のように、入力ポート502〜508は、リンク552a...d〜558a...dを通じて各エクスパンダ202a...dに接続されてよい。更に、入力ポート502〜508は、SASワイドポートであってよい。出力ポート510〜516は、リンク560a...d〜566a...dを通じて各エクスパンダ202a...dに接続されてよい。更に、出力ポート510〜516は、SASワイドポートであってよい。各エクスパンダ202a...dは、エクスパンダ間通信のために、SASエクスパンダポートを通じて互いに接続されてよい。単一の一体的SASエクスパンダ500に示されるように、SASエクスパンダ202cと出力ポート516との間のリンク566bは、障害を生じている可能性がある。リンク566bは、例えば物理的欠陥によって障害を生じているかもしれない。更なる例では、リンク566bは、論理的問題ゆえに障害を生じているかもしれない。
障害リンク566bを通じて伝送される予定のデータ転送は、出力ポート516に接続された別のSASエクスパンダへ再ルーティングされてよい。このデータ転送は、SASエクスパンダ間のエクスパンダ間通信に使用される物理ポートを通じて別のSASエクスパンダへ再ルーティングされてよい。単一の一体的SASエクスパンダ500に示されるように、障害リンク566bを通じたSASエクスパンダ202cと出力ポート516との間のデータ転送は、エクスパンダ間通信リンク434を通じてSASエクスパンダ202dを通るように再ルーティングされてよい。データ転送は、SASエクスパンダ202dからリンク566cを通じて出力ポート516に到るように再ルーティングされてよい。このため、出力ポート516は、当初の意図通りに、しかしながら異なる物理リンク伝いに、データ転送を受信するであろう。更に、もしSASエクスパンダ202dが、出力ポート516へのアクティブリンクを有している場合は、SASエクスパンダ202cは、SMPを通じて提供されるアービトレーション進行通知(AIP, Arbitration In Progress)によってSASイニシエータに応答してよい。SASイニシエータは、SASエクスパンダ202cからAIPまたはOPEN拒絶(再試行)SMP応答を受信した後、しばらく経ってからデータ転送を試みてよい。
本開示の更なる一態様では、障害リンクではなくエクスパンダ間通信リンク(430〜435)を通るように接続を再ルーティングするために、SASエクスパンダ上で実行されるファームウェアによって、SASエクスパンダルーティングテーブルを再設定することができる。更に、単一の一体的SASエクスパンダに接続されるSASイニシエータは、CHANGEプリミティブを受信することによって、リンク566bに障害が生じたことを学習してよい。例えば、CHANGEプリミティブは、SMPによって提供される。すると、SASイニシエータは、例えばSMPを通じて提供されるSASディスカバリを実施してよい。更に、SASイニシエータは、ターゲットへのアクティブ接続の残りの数に留意し、ターゲットへのアクティブ接続の残りの数に等しい数だけの同時データ転送を開始させてよい。
概して図7を参照すると、複数のSASエクスパンダを組み合わせて単一の一体的SASエクスパンダとして機能させつつパスフェイルオーバーを提供するための方法が示されている。例えば、方法は、図5に示されるような技術を実現してよい。本発明の本実施形態では、方法700は、第1のSASエクスパンダとデバイスとの間の障害リンクを検出するステップ702を含む。例えば、検出された障害リンクは、物理的問題ゆえに障害を生じているかもしれない。検出された障害リンクは、論理的問題ゆえに障害を生じているかもしれない。
方法700は、更に、障害リンクを通じてデバイスに接続される第1のSASエクスパンダによるデータ転送を、有効リンク(有効に動作しているリンク)を通じてデバイスに接続される第2のSASエクスパンダへ再ルーティングするステップ704を含んでよい。例えば、単一の一体的SASエクスパンダの障害リンクは、障害リンク内の物理的問題ゆえに障害を生じているかもしれない。別の一例では、障害リンクは、論理的問題ゆえに障害を生じているかもしれない。第1のSASエクスパンダは、エクスパンダ間通信のための第1のエクスパンダの物理ポート及び第2のSASエクスパンダの物理ポートを通じて第2のSASエクスパンダに接続されてよい。更なる実施形態では、障害リンクを通じてデバイスに接続される第1のSASエクスパンダによるデータ転送の、有効リンクを通じてデバイスに接続される第2のSASエクスパンダへの再ルーティングは、エクスパンダ間通信のための第1のエクスパンダの物理ポート及びエクスパンダ間通信のための第2のSASエクスパンダの物理ポートを通じて生じてよい。代表的な実施形態では、データ転送の再ルーティングは、データ転送を、障害内部リンクから、エクスパンダ間通信のための第1のエクスパンダの物理ポートとエクスパンダ間通信のための第2のSASエクスパンダの物理ポートとの間のリンクへ再ルーティングするために、第1のSASエクスパンダのルーティングテーブルを再設定することを含んでよい。例えば、第1のSASエクスパンダのルーティングテーブルの再設定は、第1のSASエクスパンダ上で実行されるファームウェアを通じて実施されてよい。
データ転送を、単一の一体的SASエクスパンダ内の障害リンクから、エクスパンダ間通信のためのリンクを通じて第2のSASエクスパンダへ再ルーティングするステップは、このような再ルーティングが生じていることを、単一の一体的SASエクスパンダに接続されたSASイニシエータ及びSASターゲットに示さなくてよい(通知しなくてよい)。しかしながら、もし第2のSASエクスパンダが現時点でデバイスへのアクティブリンクを有しており、尚且つデータが障害リンクから第2のSASエクスパンダへ再ルーティングされている場合は、障害リンクを通じてデバイスに接続される第1のSASエクスパンダは、AIP応答によって応答してよい。このような場合、AIP応答を受信したSASイニシエータは、しばらく経ってからデータ転送を再試行してよい。単一の一体的SASエクスパンダに接続されるSASイニシエータは、CHANGEプリミティブの受信を通じて障害リンクについて通知されてよい。CHANGEプリミティブの受信を受けて、SASイニシエータは、SASディスカバリを実施してよい。例えば、SMPは、SASディスカバリ及びSASディスカバリ応答を含むSASディスカバリを提供する。
SASイニシエータ指定のデータ接続構成800が提供される。図8を参照すると、SASイニシエータ810は、SASワイドポート880を通じてSASエクスパンダ820に接続されてよい。SASエクスパンダ830の少なくとも1つの物理ポートと、SASエクスパンダ840の少なくとも1つの物理ポートとが、共通SASワイドポート890にまとめられてよい。SASエクスパンダ830及びSASエクスパンダ840を単一の一体的SASエクスパンダとして動作させるために、SASエクスパンダ830は、SASエクスパンダ840と同一SASアドレスを共有してよい。SASエクスパンダ820は、共通SASワイドポート890を通じてSASエクスパンダ830及びSASエクスパンダ840に接続されてよい。SASエクスパンダ830は、また、SASエクスパンダ830の物理ポート及びSASエクスパンダ840の物理ポートを介したエクスパンダ間通信リンクを通じてSASエクスパンダ840に直接接続されてもよい。SASエクスパンダ830とSASエクスパンダ840とは、単一の一体的SASエクスパンダとして動作するのではなく、カスケード接続構成をとってもよい。SASエクスパンダ830及びSASエクスパンダ840には、SASナローポートを通じて複数のSASターゲット850〜875が接続されてよい。SASターゲット850〜875の数は、SASエクスパンダ830又はSASエクスパンダ840の物理ポートの数より多くてよい。例えば、SASターゲット850〜875は、単純ディスク束(JBOD,Just a Bunch Of Disks)SASアレイなどのハードディスクアレイであってよい。
SASイニシエータ810は、SASイニシエータ810からSASターゲット850〜875の1つへのデータ接続を形成するために使用されるワイドポート880,890のレーンを指定してよい。ワイドポート880,890のレーンの指定は、フェアネス制御のために使用されてよく、このような制御では、ワイドポート880,890の一部のレーンがSASターゲット850〜875にアクセスするために使用されるのに対し、ワイドポート880,890のその他のレーンはSAS構成のその他の部分への引き渡しのために使用されてよい。SASイニシエータ810は、更に、接続要求のOPENフレーム内でレーンを指定してよい。このようなOPENフレームは、SMP接続要求を通じて提供されてよい。SASイニシエータ810は、SASイニシエータ810からSASターゲット850〜875の1つへのデータ接続のための最適レーンを、標準的SASディスカバリプロセスの実施を通じて学習していてよい。SASエクスパンダ830及びSASエクスパンダ840は、SASターゲット850〜875とともに、SASイニシエータ810からSASターゲット850〜875の1つへのデータ接続のための最適レーンをともなうSMPディスカバリ応答を通じて応答するように構成されてよい。SASイニシエータ810とSASターゲット850〜875の1つとの間のデータ接続における各SASエクスパンダは、SASイニシエータ810からの接続要求のOPENフレームを、データ接続のための許容レーンについてチェックし、指定されたそれらのレーン伝いにのみデータ接続を行ってよい。
概して図9を参照すると、本開示の代表的一実施形態にしたがった、SASドメイン内でSASイニシエータとSASターゲットとの間のデータ接続のためのSASワイドポートの許容レーンを指定するための方法が示されている。本開示の本実施形態では、方法900は、データ接続のための少なくとも1つのSASワイドポートの最適レーンを発見するステップ902を含む。例えば、SASイニシエータ810は、標準的SASディスカバリプロセスの実施を通じてデータ接続のための最適レーンを発見してよい。更に、SMPディスカバリ応答は、データ接続のための最適レーンをSASイニシエータ810に伝えるために使用されてよい。
方法900は、更に、SASドメインの各レベルのSASワイドポート内でデータ接続のための許容レーンを指定するステップ904を含んでよい。例えば、データ接続のための許容レーンは、SASイニシエータ接続要求を通じて指定されてよい。データ接続のための許容レーンは、更に、SASイニシエータ接続要求のOPENフレーム内で指定されてよい。
方法900は、更に、データ接続のための指定された許容レーンについてチェックするステップ906を含んでよい。例えば、SASイニシエータ接続要求のOPENフレームの受信を受けて、SASエクスパンダ(820〜840)は、OPENフレームを、データ接続のための指定された許容レーンについてチェックしてよい。
方法900は、更に、指定された許容レーン伝いにデータ接続を形成するステップ908を含んでよい。例えば、SASエクスパンダは、指定された許容レーン伝いにデータ接続を形成してよい。更に、SASエクスパンダは、SASイニシエータ接続要求のOPENフレームを、指定された許容レーンについてチェックした後に、データ接続を形成してよい。
ペア・サブトラクティブルーティング(paired subtractive routing)を用いるSASカスケード接続トポロジが提供される。ペア・サブトラクティブルーティングを用いるために、SASトポロジ1000内のSASデバイスは、ベンダ固有SMP機能を参照してよい。SASイニシエータ1002〜1004は、ベンダ固有SMP機能がサポートされているかどうかを調べるために、SMPを通じて提供されるSMPメーカ情報報告応答(SMP REPORT MANUFACTURER INFORMATION response)をチェックしてよい。もしサポートされている場合は、SASイニシエータ1002〜1004は、そのベンダ固有SMP機能を、ペア・サブトラクティブルーティングを用いるためにルーティング属性を変更されたSASエクスパンダ1010〜1024の物理ポートのリストを要求するために使用してよい。例えば、SASイニシエータ1002〜1004は、SASトポロジ1000の各SASエクスパンダ1010〜1024に対し、SMPルーティング属性変更物理ポートリスト報告要求(SMP REPORT MODIFIED PHY ROUTING ATTRIBUTE LIST Request)1100を発行してよい。SMPルーティング属性変更物理ポートリスト報告要求1100を受信すると、各SASエクスパンダ1010〜1024は、ルーティング属性を変更された物理ポートのリストを、SMPルーティング属性変更物理ポートリスト報告応答1120を通じて応答してよい。動作時に、SMPルーティング属性変更物理ポートリスト報告応答1120は、変更された幾つかのルーティング記述子1140を内包してよい。各変更ルーティング記述子1140は、SASエクスパンダ1010〜1024の1つの物理ポートと、その1つの物理ポートの変更ルーティング属性1160とを示してよい。例えば、変更ルーティング属性1160は、物理ポートを、自己設定(SC,Self Configured)、テーブルイニシエータ専用IN(TIOI,Table Initiator Only In)、又はテーブルイニシエータ専用OUT(TIOO,Table Initiator Only Out)のいずれかに特定してよい。TIOIは、入力物理ポートを、そのポートのためのルーティングテーブル内に挙げられたSASイニシエータにのみ結びつけてよく、TIOOは、出力物理ポートを、そのポートのためのルーティングテーブル内に挙げられたSASイニシエータにのみ結び付けてよい。
もしSMPルーティング属性変更物理リポートリスト報告応答1120が、とある物理ポートの変更ルーティング属性1160を特定している場合は、SASイニシエータ1002〜1004は、SMPディスカバリ応答によって提供されるその物理ポートのルーティング属性を無視してよい。本開示の一実施形態では、ベンダ固有SMP機能は、変更後のルーティング属性即ちTIOI、TIOO、及びSCのみを報告してよい。SASエクスパンダ1010〜1024は、幾つかの処理標準ルーティング属性(D,S,T)及び幾つかの処理変更ルーティング属性(TIOI,TIOO,SC)をともなう複数のポートを有してよい。
SASエクスパンダ1010〜1024は、INとOUTとのペアとして定められるプライマリ・サブトラクティブポートを有するように構成されてよい。サブトラクティブポートの入力ポート及び出力ポートは、ともに、そのポートためののルーティングテーブル内にSASイニシエータ1002〜1004のアドレスを必要とするであろう。更に、SASエクスパンダは、直接接続デバイスのためのセカンダリ・サブトラクティブポートを追加されてよい。例えば、入力ポートにおいて受信されたOPENは、もしSMPを通じて提供されたOPENの宛先が直接接続デバイス(例えばルーティング属性がDのポートに結合されたデバイス)でない場合又はOPENの宛先が入力ポートのためのルーティングテーブル内にない場合は、そのサブトラクティブポートの出力ポートから送出されてよい。例えば、出力ポートにおいて受信されたOPENは、もしOPENの宛先が直接接続デバイス(例えばルーティング属性がDのポートに結合されたデバイス)でない場合またはOPENの宛先が出力ポートのためのルーティングテーブル内にない場合は、そのサブトラクティブポートの入力ポートから送出されてよい。変更ルーティング属性TIOIは、サブトラクティブポートの入力ポートを示してよい。変更ルーティング属性TIOOは、サブトラクティブポートの出力ポートを示してよい。OPENは、常に、デフォルトでプライマリ・サブトラクティブポートに設定されてよい。
SASイニシエータ1002〜1004は、カスケード接続SASトポロジ1000の頂部又は底部に位置してよい。SASイニシエータ1002〜1004は、自身のSASアドレスのみをカスケード接続SASトポロジ1000のSASエクスパンダ1010〜1024のTIOIポート1060のルーティングテーブル及びTIOOポート1050のルーティングテーブルに入れる設定をしてよい。更に、SASイニシエータ1002〜1004は、カスケード接続SASトポロジ1000内でのSASイニシエータ1002〜1004の位置に応じて、自身のSASアドレスのみをカスケード接続SASトポロジ1000のSASエクスパンダ1010〜1024のTIOIポート1060のルーティングテーブル又はTIOOポート1050のルーティングテーブルのみに入れる設定をしてよい。SASエクスパンダ1010〜1024は、SASエクスパンダルーティングテーブルにアドレスを入れる設定をする際にSASイニシエータ1002〜1004が互いの領域を侵害することのないように、ファームウェアを実行してよい(例えば、位置非依存性のルーティングテーブル設定)。
SASターゲット1070は、SASエクスパンダ1010〜1024の1つに対してOPENを発行してよい。SASエクスパンダ1010〜1024の1つは、OPENの宛先アドレスを、SASエクスパンダ1010〜1024のうちのその1つのエクスパンダのためのルーティングテーブル内で発見するかもしれない。すると、OPENは、宛先アドレスによって示されるSASイニシエータに送信されてよい。別の一実施形態では、SASイニシエータ1002〜1004の1つが、SASエクスパンダ1010〜1024の1つに対してOPENを発行してよい。SASエクスパンダ1010〜1024の1つは、先ず、あらゆる直接接続デバイスにおいてOPENの宛先アドレスを検索する。もし見つかった場合は、OPENは、適切な直接接続デバイスに送信される。もしどの直接接続デバイスでもOPENの宛先アドレスが見つからなかった場合は、SASエクスパンダ1010〜1024の1つは、SASエクスパンダルーティングテーブルにおいてOPENの宛先アドレスを検索してよい。もし見つかった場合は、OPENは、適切なSASイニシエータにルーティングされる。もしSASエクスパンダルーティングテーブルでOPENの宛先アドレスが見つからなかった場合は、SASエクスパンダ1010〜1024の1つは、そのペア・サブトラクティブポートからOPENを送出してよい。
更に、SASカスケード接続トポロジ1000内でSASのゾーン分けを実施するには、トポロジ内の端部のエクスパンダのみでチェックが必要になるであろう。端部のエクスパンダは、直接接続デバイスのための物理ポートの宛先を、OPENコマンド内のソースゾーングループと比較してよい。比較は、ゾーンの端部のデバイスエクスパンダに達するまでサブトラクティブに挙動する。
概して図12を参照すると、SASカスケード接続トポロジ内でペア・サブトラクティブルーティングを実施するための方法が示されている。方法1200は、SASエクスパンダデバイスに入力ポートを割り当てるステップ1210を含む。方法1200は、更に、SASエクスパンダデバイスに出力ポートを割り当てるステップ1220を含んでよい。代表的な実施形態では、方法1200は、更に、出力ポート及び入力ポートをペア・サブトラクティブポートとして動作させるように互いに組み合わせてペアに定めるステップ1230を含んでよい。また、方法1200は、SASエクスパンダデバイスに第2の入力ポート及び第2の出力ポートを追加することを含んでよい。第2の入力ポート及び第2の出力ポートは、セカンダリ・サブトラクティブポートとして互いに組み合わされてペアにされてよい。
代表的な実施形態では、方法1200は、入力ポートでOPENコマンドが受信されたときに、もしOPENコマンドの宛先がSASエクスパンダデバイスの直接接続デバイスではなく、尚且つ宛先がSASエクスパンダデバイスのルーティングテーブル内にない場合に、OPENコマンドを出力ポートから送出するステップ1250を、更に含んでよい。方法1200は、出力ポートでOPENコマンドが受信されたときに、もしOPENコマンドの宛先がSASエクスパンダデバイスの直接接続デバイスではなく、尚且つ宛先がSASエクスパンダデバイスのルーティングテーブル内にない場合に、OPENコマンドを入力ポートから送出するステップ1260を、更に含んでよい。方法1200は、第2の入力ポートでOPENコマンドが受信されたときに、もしOPENコマンドの宛先がSASエクスパンダデバイスの直接接続デバイスではなく、尚且つ宛先がSASエクスパンダデバイスのルーティングテーブル内にない場合に、OPENコマンドを第2の出力ポートから送出するステップを、更に含んでよい。方法1200は、第2の出力ポートでOPENコマンドが受信されたときに、もしOPENコマンドの宛先がSASエクスパンダデバイスの直接接続デバイスではなく尚且つ宛先がSASエクスパンダデバイスのルーティングテーブル内にない場合に、OPENコマンドを第2の入力ポートから送出するステップを、更に含んでよい。更に、セカンダリサブトラクティブポートは、SASエクスパンダデバイスの直接接続デバイスとの通信のために動作してよい。また、OPENコマンドは、デフォルトでプライマリサブトラクティブポートに設定されてよい。
代表的な実施形態では、方法1200は、ベンダ固有SMP機能の変更ルーティング属性を通じてSASエクスパンダのサブトラクティブポートを指定するステップを、更に含んでよい。更に、サブトラクティブポートの変更ルーティング属性が存在する場合は、SASイニシエータは、そのサブトラクティブポートのSMPディスカバリ応答属性を無視し、ベンダ固有SMPの変更ルーティング属性を使用してよい。
代表的実施形態では、方法1200は、SASイニシエータアドレスのみをSASエクスパンダのルーティングテーブルに入れる設定をするステップ1240を、更に含んでよい。例えば、SASイニシエータアドレスのみをSASエクスパンダのルーティングテーブルに入れる設定をするステップ1240は、SASエクスパンダによって実施されてよい。更に、SASエクスパンダによって設定されるSASエクスパンダのルーティングテーブルは、自己設定指定のポートのためのルーティングテーブルであってよい。SASイニシエータアドレスのみをSASエクスパンダのルーティングテーブルに入れる設定をするステップ1240は、SASルーティングトポロジ内の各SASイニシエータによって実施されてよく、どのSASイニシエータも、そのSASイニシエータのSASアドレスのみをSASエクスパンダのルーティングテーブルに入れる設定をする。更に、各SASイニシエータは、そのSASイニシエータのSASアドレスをSASエクスパンダの一タイプの変更ルーティング属性ポートのルーティングテーブルのみに入れる設定を行ってよい。SASエクスパンダの変更ルーティング属性ポートのタイプは、SASルーティングトポロジ内でのSASイニシエータの位置によって決定されてよい。SASイニシエータは、SASルーティングトポロジの頂部又は底部に位置してよい。
本開示では、開示された方法は、デバイスによって読み取り可能な命令セット即ちソフトウェアとして実現されてよい。このようなソフトウェアは、開示された本発明の機能及びプロセスをコンピュータに実施させるために使用される格納コンピュータコードを含むコンピュータ可読ストレージ媒体を用いるコンピュータプログラム製品であってよい。コンピュータ可読媒体は、フロッピィディスク、光ディスク、CD−ROM、磁気ディスク、ハードディスクドライブ、光磁気ディスク、ROM、RAM、EPROM、EEPROM、磁気カード若しくは光カード、又は電子命令を格納するのに適した任意のその他の媒体を非限定的に含む、任意の従来のタイプのものを含んでよい。更に、開示された方法のステップの具体的順序又は階層構造は、代表的アプローチの例であると理解される。方法のステップの具体的順序又は階層構造は、開示された内容の範囲内にとどまりつつ、設計の優先順位に基づいて再構成できると理解される。添付の方法クレームの範囲は、各種のステップ要素を例示的順序で提示しており、必ずしも提示された具体的順序又は階層構造に限定することを意味しない。
本開示及びそれらに付随する多くの利点は、以上の説明によって理解されると考えられ、開示内容から逸脱することなく又はそれらの要素の利点のいずれも犠牲にすることなく構成要素の形態、構成、及び配置に各種の変更を加えられることが明らかである。記載される形態は、説明的なものに過ぎず、以下のクレームは、このような変更を網羅及び内包することを意図している。

Claims (20)

  1. 複数のシリアル接続小型コンピュータシステムインターフェース(SAS)エクスパンダを組み合わせて単一の一体的SASエクスパンダとして機能させつつパスフェールオーバーを提供するための方法であって、
    第1のSASエクスパンダとデバイスとの間の障害リンクを検出することと、
    前記障害リンクを通じて前記デバイスに接続される前記第1のSASエクスパンダによるデータ転送を、有効リンクを通じて前記デバイスに接続される第2のSASエクスパンダへ再ルーティングすることであって、前記第1のSASエクスパンダは、エクスパンダ間通信のための前記第1のSASエクスパンダの物理ポート及び前記第2のSASエクスパンダの物理ポートを通じて前記第2のSASエクスパンダに接続される、ことと、
    を備える方法。
  2. 請求項1に記載の方法であって、
    第1のSASエクスパンダとデバイスとの間の障害リンクを検出することは、更に、
    物理的問題又は論理的問題の少なくとも1つに起因する第1のSASエクスパンダとデバイスとの間の障害リンクを検出することを含む、方法。
  3. 請求項1に記載の方法であって、
    前記障害リンクを通じて前記デバイスに接続される前記第1のSASエクスパンダによるデータ転送を、有効リンクを通じて前記デバイスに接続される第2のSASエクスパンダへ再ルーティングすることであって、前記第1のSASエクスパンダは、エクスパンダ間通信のための前記第1のSASエクスパンダの物理ポート及び前記第2のSASエクスパンダの物理ポートを通じて前記第2のSASエクスパンダに接続される、ことは、更に、
    前記デバイスに接続される前記第1のSASエクスパンダによるデータ転送を、有効リンクを通じて前記デバイスに接続される第2のSASエクスパンダに、エクスパンダ間通信のための前記第1のSASエクスパンダの物理ポート及びエクスパンダ間通信のための前記第2のSASエクスパンダの物理ポートを通じて再ルーティングすることを含む、方法。
  4. 請求項1に記載の方法であって、
    前記障害リンクを通じて前記デバイスに接続される前記第1のSASエクスパンダによるデータ転送を、有効リンクを通じて前記デバイスに接続される第2のSASエクスパンダへ再ルーティングすることであって、前記第1のSASエクスパンダは、エクスパンダ間通信のための前記第1のSASエクスパンダの物理ポート及び前記第2のSASエクスパンダの物理ポートを通じて前記第2のSASエクスパンダに接続されることは、更に、
    前記データ転送を、前記障害内部リンクから、エクスパンダ間通信のための前記第1のエクスパンダの物理ポートとエクスパンダ間通信のための前記第2のSASエクスパンダの物理ポートとの間のリンクへ再ルーティングするために、前記第1のSASエクスパンダのルーティングテーブルを再設定することを含む、方法。
  5. 請求項4に記載の方法であって、
    前記データ転送を、前記障害内部リンクから、エクスパンダ間通信のための前記第1のエクスパンダの物理ポートとエクスパンダ間通信のための前記第2のSASエクスパンダの物理ポートとの間のリンクへ再ルーティングするために、前記第1のSASエクスパンダのルーティングテーブルを再設定することは、更に、
    前記データ転送を、前記障害内部リンクから、エクスパンダ間通信のための前記第1のエクスパンダの物理ポートとエクスパンダ間通信のための前記第2のSASエクスパンダの物理ポートとの間のリンクへ再ルーティングするために、前記第1のSASエクスパンダ上のファームウェアを通じて前記第1のSASエクスパンダのルーティングテーブルを再設定することを含む、方法。
  6. 請求項1に記載の方法であって、
    前記障害リンクを通じて前記デバイスに接続される前記第1のSASエクスパンダによるデータ転送を、有効リンクを通じて前記デバイスに接続される第2のSASエクスパンダへ再ルーティングすることであって、前記第1のSASエクスパンダは、エクスパンダ間通信のための前記第1のSASエクスパンダの物理ポート及び前記第2のSASエクスパンダの物理ポートを通じて前記第2のSASエクスパンダに接続されることは、このような再ルーティングが生じていることを、前記単一の一体的SASエクスパンダに接続されるSASイニシエータ及びSASターゲットに示さない、方法。
  7. 請求項1に記載の方法であって、
    前記障害リンクを通じて前記デバイスに接続される前記第1のSASエクスパンダによるデータ転送を、有効リンクを通じて前記デバイスに接続される第2のSASエクスパンダへ再ルーティングすることであって、前記第1のSASエクスパンダは、エクスパンダ間通信のための前記第1のSASエクスパンダの物理ポート及び前記第2のSASエクスパンダの物理ポートを通じて前記第2のSASエクスパンダに接続されることは、更に、
    有効内部リンクを通じて前記デバイスに接続される前記第2のSASエクスパンダが既に前記デバイスへのアクティブリンクを有している場合に、前記障害内部リンクを通じて前記デバイスに接続される前記第1のSASエクスパンダからアービトレーションインプログレスによって応答することを含む、方法。
  8. 請求項7に記載の方法であって、
    有効内部リンクを通じて前記デバイスに接続される前記第2のSASエクスパンダが既に前記デバイスへのアクティブリンクを有している場合に、前記障害内部リンクを通じて前記デバイスに接続される前記第1のSASエクスパンダからアービトレーションインプログレスによって応答することは、更に、
    前記再ルーティングされたデータ転送を、前記再ルーティングされたデータ転送を要求し尚且つ前記アービトレーションインプログレス応答を受信するSASイニシエータによって、しばらく経ってから再試行することを含む、方法。
  9. 請求項1に記載の方法であって、更に、
    前記単一の一体的SASエクスパンダに接続されるSASイニシエータにおいて、前記障害リンクが存在する旨の通知をCHANGEプリミティブの受信を通じて受けることを備える方法。
  10. 請求項9に記載の方法であって、
    前記単一の一体的SASエクスパンダに接続されるSASイニシエータは、前記CHANGEプリミティブの受信を受けて、SASディスカバリを実施する、方法。
  11. システムであって、
    複数のSASエクスパンダを組み合わせて単一の一体的SASエクスパンダとして機能させるための手段と、
    第1のSASエクスパンダとデバイスとの間の障害リンクを検出するための手段と、
    前記障害リンクを通じて前記デバイスに接続される前記第1のSASエクスパンダによるデータ転送を、有効リンクを通じて前記デバイスに接続される前記第2のSASエクスパンダへ再ルーティングするための手段であって、前記第1のSASエクスパンダが、エクスパンダ間通信のための前記第1のSASエクスパンダの物理ポート及び前記第2のSASエクスパンダの物理ポートを通じて前記第2のSASエクスパンダに接続される手段と、
    を備えるシステム。
  12. 請求項11に記載のシステムであって、
    第1のSASエクスパンダとデバイスとの間の障害リンクを検出するための手段は、更に、
    物理的問題又は論理的問題の少なくとも1つに起因する第1のSASエクスパンダとデバイスとの間の障害リンクを検出するための手段を含む、システム。
  13. 請求項11に記載のシステムであって、
    前記障害リンクを通じて前記デバイスに接続される前記第1のSASエクスパンダによるデータ転送を、有効リンクを通じて前記デバイスに接続される第2のSASエクスパンダへ再ルーティングするための手段であって、前記第1のSASエクスパンダが、エクスパンダ間通信のための前記第1のSASエクスパンダの物理ポート及び前記第2のSASエクスパンダの物理ポートを通じて前記第2のSASエクスパンダに接続される手段は、更に、
    前記デバイスに接続される前記第1のSASエクスパンダによるデータ転送を、有効リンクを通じて前記デバイスに接続される第2のSASエクスパンダに、エクスパンダ間通信のための前記第1のSASエクスパンダの物理ポート及びエクスパンダ間通信のための前記第2のSASエクスパンダの物理ポートを通じて再ルーティングするための手段を含む、システム。
  14. 請求項11に記載のシステムであって、
    前記障害リンクを通じて前記デバイスに接続される前記第1のSASエクスパンダによるデータ転送を、有効リンクを通じて前記デバイスに接続される第2のSASエクスパンダへ再ルーティングするための手段であって、前記第1のSASエクスパンダが、エクスパンダ間通信のための前記第1のSASエクスパンダの物理ポート及び前記第2のSASエクスパンダの物理ポートを通じて前記第2のSASエクスパンダに接続される手段は、更に、
    前記データ転送を、前記障害内部リンクから、エクスパンダ間通信のための前記第1のエクスパンダの物理ポートとエクスパンダ間通信のための前記第2のSASエクスパンダの物理ポートとの間のリンクへ再ルーティングするために、前記第1のSASエクスパンダのルーティングテーブルを再設定するための手段を含む、システム。
  15. 請求項11に記載のシステムであって、
    前記障害リンクを通じて前記デバイスに接続される前記第1のSASエクスパンダによるデータ転送を、有効リンクを通じて前記デバイスに接続される第2のSASエクスパンダへ再ルーティングするための手段であって、前記第1のSASエクスパンダが、エクスパンダ間通信のための前記第1のSASエクスパンダの物理ポート及び前記第2のSASエクスパンダの物理ポートを通じて前記第2のSASエクスパンダに接続される手段は、このような再ルーティングが生じていることを、前記単一の一体的SASエクスパンダに接続されるSASイニシエータ及びSASターゲットに示さない、システム。
  16. 請求項11に記載のシステムであって、
    前記障害リンクを通じて前記デバイスに接続される前記第1のSASエクスパンダによるデータ転送を、有効リンクを通じて前記デバイスに接続される第2のSASエクスパンダへ再ルーティングするための手段であって、前記第1のSASエクスパンダが、エクスパンダ間通信のための前記第1のSASエクスパンダの物理ポート及び前記第2のSASエクスパンダの物理ポートを通じて前記第2のSASエクスパンダに接続される手段は、更に、
    有効内部リンクを通じて前記デバイスに接続される前記第2のSASエクスパンダが既に前記デバイスへのアクティブリンクを有している場合に、前記障害内部リンクを通じて前記デバイスに接続される前記第1のSASエクスパンダからアービトレーションインプログレスによって応答するための手段を含む、システム。
  17. 請求項16に記載のシステムであって、
    有効内部リンクを通じて前記デバイスに接続される前記第2のSASエクスパンダが既に前記デバイスへのアクティブリンクを有している場合に、前記障害内部リンクを通じて前記デバイスに接続される前記第1のSASエクスパンダからアービトレーションインプログレスによって応答するための手段は、更に、
    前記再ルーティングされたデータ転送を、前記再ルーティングされたデータ転送を要求し尚且つ前記アービトレーションインプログレス応答を受信するSASイニシエータによって、後に再試行するための手段を含む、システム。
  18. 請求項11に記載のシステムであって、更に、
    前記単一の一体的SASエクスパンダに接続されるSASイニシエータにおいて、前記障害リンクが存在する旨の通知をCHANGEプリミティブの受信を通じて受けるための手段を備えるシステム。
  19. 請求項18に記載のシステムであって、更に、
    前記単一の一体的SASエクスパンダに接続されるSASイニシエータにおける前記CHANGEプリミティブの受信を受けてSASディスカバリを実施するための手段を備えるシステム。
  20. 複数のシリアル接続小型コンピュータシステムインターフェース(SAS)エクスパンダを組み合わせて単一の一体的SASエクスパンダとして機能させつつパスフェールオーバーを提供するための方法を実施するためのコンピュータ実行可能命令を有するコンピュータ可読媒体であって、前記方法は、
    第1のSASエクスパンダとデバイスとの間の障害リンクを検出することと、
    前記障害リンクを通じて前記デバイスに接続される前記第1のSASエクスパンダによるデータ転送を、有効リンクを通じて前記デバイスに接続される第2のSASエクスパンダへ再ルーティングすることであって、前記第1のSASエクスパンダは、エクスパンダ間通信のための前記第1のSASエクスパンダの物理ポート及び前記第2のSASエクスパンダの物理ポートを通じて前記第2のSASエクスパンダに接続される、ことと、
    を含む、コンピュータ可読媒体。
JP2009204928A 2008-09-05 2009-09-04 単一のsasエクスパンダとして動作する複数のsasエクスパンダのためにパスフェールオーバーを提供するための方法、システム、及び、コンピュータ可読媒体 Expired - Fee Related JP5297310B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US19103708P 2008-09-05 2008-09-05
US61/191,037 2008-09-05
US12/384,291 2009-04-02
US12/384,291 US8077605B2 (en) 2008-09-05 2009-04-02 Method for providing path failover for multiple SAS expanders operating as a single SAS expander

Publications (3)

Publication Number Publication Date
JP2010061664A true JP2010061664A (ja) 2010-03-18
JP2010061664A5 JP2010061664A5 (ja) 2010-04-30
JP5297310B2 JP5297310B2 (ja) 2013-09-25

Family

ID=41404155

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009204928A Expired - Fee Related JP5297310B2 (ja) 2008-09-05 2009-09-04 単一のsasエクスパンダとして動作する複数のsasエクスパンダのためにパスフェールオーバーを提供するための方法、システム、及び、コンピュータ可読媒体

Country Status (6)

Country Link
US (1) US8077605B2 (ja)
EP (1) EP2163996A1 (ja)
JP (1) JP5297310B2 (ja)
KR (1) KR101043548B1 (ja)
CN (1) CN101719049A (ja)
TW (1) TWI439865B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2677430A1 (en) 2012-05-28 2013-12-25 Fujitsu Limited Relay device, connection management method, and information communication system
US9411764B2 (en) 2013-07-23 2016-08-09 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Optimized redundant high availability SAS topology
US9959051B2 (en) 2013-09-05 2018-05-01 Hitachi, Ltd. Storage system and storage control method to select path for transmitting command via SAS expanders

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8656058B2 (en) * 2008-09-05 2014-02-18 Lsi Corporation Back-off retry with priority routing
US8270290B2 (en) * 2008-12-19 2012-09-18 Rockstar Bidco, LP Resilient attachment to provider link state bridging (PLSB) networks
JP5327036B2 (ja) * 2009-12-21 2013-10-30 富士通株式会社 記憶装置接続装置,ストレージ装置,情報管理方法及び情報管理プログラム
JP5528243B2 (ja) 2010-07-23 2014-06-25 インターナショナル・ビジネス・マシーンズ・コーポレーション マルチパスを制御するシステム及び方法
US9286253B2 (en) 2011-01-21 2016-03-15 Hewlett Packard Enterprise Development Lp System and method for presenting devices through an SAS initiator-connected device
US8782318B2 (en) * 2011-03-02 2014-07-15 Intel Corporation Increasing Input Output Hubs in constrained link based multi-processor systems
CN102508793A (zh) * 2011-10-11 2012-06-20 浪潮电子信息产业股份有限公司 一种防止磁盘存储系统扩配磁盘的方法
US8843666B2 (en) * 2012-03-02 2014-09-23 Lsi Corporation Method for optimizing wide port power management in a SAS topology
US8918557B2 (en) * 2012-03-16 2014-12-23 Lsi Corporation SAS expander and method to arbitrate traffic in a redundant expander system
WO2013183084A1 (en) * 2012-06-06 2013-12-12 Hitachi, Ltd. Storage system, storage control apparatus and method
US9135198B2 (en) * 2012-10-31 2015-09-15 Avago Technologies General Ip (Singapore) Pte Ltd Methods and structure for serial attached SCSI expanders that self-configure by setting routing attributes of their ports based on SMP requests
US8793406B2 (en) 2012-11-16 2014-07-29 Hewlett-Packard Development Company, L.P. SAS switch that supports bulk discovery wherein the bulk discovery is either on a push basis or pull basis
US9026706B2 (en) 2012-12-14 2015-05-05 Lsi Corporation Method and system for detecting multiple expanders in an SAS topology having the same address
US9092398B2 (en) * 2013-02-14 2015-07-28 Avago Technologies General Ip (Singapore) Pte Ltd Restoring expander operations in a data storage switch
US8990448B2 (en) 2013-03-08 2015-03-24 Lsi Corporation Smart discovery model in a serial attached small computer system topology
US10582634B2 (en) 2016-06-20 2020-03-03 International Business Machines Corporation Cabling a set of enclosures
CN107315542B (zh) * 2017-06-29 2020-11-20 苏州浪潮智能科技有限公司 一种jbod级联系统
CN107844440A (zh) * 2017-10-26 2018-03-27 郑州云海信息技术有限公司 单端口NVMe SSD的访问方法、装置及可读存储介质
US10809926B2 (en) * 2018-02-05 2020-10-20 Microsoft Technology Licensing, Llc Server system
US12063273B2 (en) 2018-02-05 2024-08-13 Microsoft Technology Licensing, Llc. Server system
KR20220051750A (ko) 2020-10-19 2022-04-26 삼성전자주식회사 장치간 물리적 인터페이스의 트레이닝을 위한 장치 및 방법
CN118656333B (zh) * 2024-08-20 2024-12-20 苏州元脑智能科技有限公司 存储设备通信架构、方法、系统、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6598106B1 (en) * 1999-12-23 2003-07-22 Lsi Logic Corporation Dual-port SCSI sub-system with fail-over capabilities
JP2005149173A (ja) * 2003-11-17 2005-06-09 Hitachi Ltd ディスク装置及びその制御方法
JP2006195975A (ja) * 2005-01-13 2006-07-27 Hitachi Ltd 複数の種類のストレージ装置を管理するための装置と方法
WO2008045457A2 (en) * 2006-10-10 2008-04-17 Lsi Corporation System and method for connecting sas raid controller device channels across redundant storage subsystems
WO2008082732A1 (en) * 2006-12-29 2008-07-10 Lsi Corporation Apparatus and methods for multiple unidirectional virtual connections among sas devices
JP2008197780A (ja) * 2007-02-09 2008-08-28 Fujitsu Ltd ディスクドライブの自動認識設定装置

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7363382B1 (en) * 2003-03-31 2008-04-22 Cisco Technology, Inc. Apparatus, methods, and articles incorporating multiple path failover driver mechanism
US7035952B2 (en) 2003-09-24 2006-04-25 Hewlett-Packard Development Company, L.P. System having storage subsystems and a link coupling the storage subsystems
US7039741B2 (en) 2003-09-25 2006-05-02 International Business Machines Corporation Method and apparatus for implementing resilient connectivity in a serial attached SCSI (SAS) domain
US7058749B2 (en) * 2003-11-13 2006-06-06 Dell Products L.P. System and method for communications in serial attached SCSI storage network
US20050138221A1 (en) 2003-12-23 2005-06-23 Intel Corporation Handling redundant paths among devices
US20050193178A1 (en) 2004-02-27 2005-09-01 William Voorhees Systems and methods for flexible extension of SAS expander ports
US9264384B1 (en) * 2004-07-22 2016-02-16 Oracle International Corporation Resource virtualization mechanism including virtual host bus adapters
US7676613B2 (en) 2004-08-03 2010-03-09 Lsi Corporation Methods and structure for assuring correct data order in SATA transmissions over a SAS wide port
US7171500B2 (en) 2004-08-18 2007-01-30 Lsi Logic Corporation Systems and methods for target mode connection management in SAS connections
JP4555029B2 (ja) 2004-09-01 2010-09-29 株式会社日立製作所 ディスクアレイ装置
US7644168B2 (en) 2004-11-05 2010-01-05 Hewlett-Packard Development Company, L.P. SAS expander
US7668925B1 (en) 2005-01-28 2010-02-23 Pmc-Sierra, Inc. Method and apparatus for routing in SAS using logical zones
US20060194386A1 (en) 2005-02-25 2006-08-31 Dell Products L.P. Method and apparatus for supporting port aggregation of serial attached SCSI wide ports via virtual ports
US7769831B2 (en) * 2005-03-22 2010-08-03 Lsi Corporation System and method for SAS PHY dynamic configuration
WO2007001728A1 (en) 2005-06-27 2007-01-04 Emc Corporation Raid data storage system with sas expansion
US7953917B2 (en) 2005-06-30 2011-05-31 Intel Corporation Communications protocol expander
WO2007012919A2 (en) 2005-07-27 2007-02-01 Adaptec, Inc. Ripple queuing algorithm for a sas wide-port raid controller
US7738366B2 (en) * 2005-09-13 2010-06-15 Lsi Corporation Methods and structure for detecting SAS link errors with minimal impact on SAS initiator and link bandwidth
US7519854B2 (en) * 2005-10-14 2009-04-14 International Business Machines Corporation Internal failover path for SAS disk drive enclosure
US20070088917A1 (en) * 2005-10-14 2007-04-19 Ranaweera Samantha L System and method for creating and maintaining a logical serial attached SCSI communication channel among a plurality of storage systems
TWI307034B (en) * 2005-11-23 2009-03-01 Infortrend Technology Inc Storage virtualization subsystem and system with host-side redundancy via sas connectivity
US20070198761A1 (en) 2005-12-28 2007-08-23 Duerk Vicky P Connection management mechanism
US7437462B2 (en) 2006-01-06 2008-10-14 Dell Products L.P. Method for zoning data storage network using SAS addressing
US7529877B2 (en) 2006-03-13 2009-05-05 Lsi Corporation Apparatus and methods for simplified SSP link layer processing
JP4775846B2 (ja) 2006-03-20 2011-09-21 株式会社日立製作所 物理リンクの割当てを制御するコンピュータシステム及び方法
US7707338B1 (en) 2006-04-06 2010-04-27 Marvell International Ltd. WWN table management system and method
US7480757B2 (en) 2006-05-24 2009-01-20 International Business Machines Corporation Method for dynamically allocating lanes to a plurality of PCI Express connectors
US7536584B2 (en) 2006-06-08 2009-05-19 Dot Hill Systems Corporation Fault-isolating SAS expander
EP2052326B1 (en) 2006-06-08 2012-08-15 Dot Hill Systems Corporation Fault-isolating sas expander
US7673185B2 (en) 2006-06-08 2010-03-02 Dot Hill Systems Corporation Adaptive SAS PHY configuration
US8447872B2 (en) 2006-11-01 2013-05-21 Intel Corporation Load balancing in a storage system
US7721021B2 (en) 2006-11-21 2010-05-18 Lsi Corporation SAS zone group permission table version identifiers
US20080183937A1 (en) 2007-01-31 2008-07-31 Brian James Cagno Method and Apparatus to Reduce EMI Emissions Over Wide Port SAS Buses
US20080244620A1 (en) * 2007-03-27 2008-10-02 Brian James Cagno Dynamic Communication Fabric Zoning
US7936767B2 (en) * 2007-04-30 2011-05-03 International Business Machines Corporation Systems and methods for monitoring high speed network traffic via sequentially multiplexed data streams
US7876713B2 (en) 2007-06-29 2011-01-25 Emulex Design & Manufacturing Corporation Label switched routing in SAS expanders
US8051436B2 (en) * 2007-06-29 2011-11-01 Emulex Design & Manufacturing Corporation SAS expander-side optimization for the re-discovery process
US8074105B2 (en) 2007-10-08 2011-12-06 Dot Hill Systems Corporation High data availability SAS-based RAID system
JP4685118B2 (ja) 2008-01-30 2011-05-18 富士通株式会社 ストレージシステムおよびケーブル誤接続判定方法
JP4521038B2 (ja) 2008-02-07 2010-08-11 富士通株式会社 ストレージ装置、中継装置および動作状態制御方法
US8930537B2 (en) 2008-02-28 2015-01-06 International Business Machines Corporation Zoning of devices in a storage area network with LUN masking/mapping
US8321596B2 (en) 2008-09-05 2012-11-27 Lsi Corporation SAS paired subtractive routing
US7849248B2 (en) 2008-09-05 2010-12-07 Lsi Corporation Method and system for combining multiple serial attached small computer system interface (SAS) expanders
US7730252B2 (en) 2008-10-30 2010-06-01 Lsi Corporation Method, apparatus and system for serial attached SCSI (SAS) zoning management of a domain using connector grouping

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6598106B1 (en) * 1999-12-23 2003-07-22 Lsi Logic Corporation Dual-port SCSI sub-system with fail-over capabilities
JP2005149173A (ja) * 2003-11-17 2005-06-09 Hitachi Ltd ディスク装置及びその制御方法
JP2006195975A (ja) * 2005-01-13 2006-07-27 Hitachi Ltd 複数の種類のストレージ装置を管理するための装置と方法
WO2008045457A2 (en) * 2006-10-10 2008-04-17 Lsi Corporation System and method for connecting sas raid controller device channels across redundant storage subsystems
JP2010506332A (ja) * 2006-10-10 2010-02-25 エルエスアイ コーポレーション 冗長ストレージサブシステム間におけるsasraidコントローラデバイスチャネルの接続のためのシステム、及び方法
WO2008082732A1 (en) * 2006-12-29 2008-07-10 Lsi Corporation Apparatus and methods for multiple unidirectional virtual connections among sas devices
JP2010515156A (ja) * 2006-12-29 2010-05-06 エルエスアイ コーポレーション Sasデバイスの間の複数単一方向仮想接続の装置および方法
JP2008197780A (ja) * 2007-02-09 2008-08-28 Fujitsu Ltd ディスクドライブの自動認識設定装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2677430A1 (en) 2012-05-28 2013-12-25 Fujitsu Limited Relay device, connection management method, and information communication system
US9411764B2 (en) 2013-07-23 2016-08-09 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Optimized redundant high availability SAS topology
US9959051B2 (en) 2013-09-05 2018-05-01 Hitachi, Ltd. Storage system and storage control method to select path for transmitting command via SAS expanders

Also Published As

Publication number Publication date
TW201013411A (en) 2010-04-01
US8077605B2 (en) 2011-12-13
EP2163996A1 (en) 2010-03-17
TWI439865B (zh) 2014-06-01
KR20100029015A (ko) 2010-03-15
US20100064086A1 (en) 2010-03-11
CN101719049A (zh) 2010-06-02
KR101043548B1 (ko) 2011-06-21
JP5297310B2 (ja) 2013-09-25

Similar Documents

Publication Publication Date Title
JP5297310B2 (ja) 単一のsasエクスパンダとして動作する複数のsasエクスパンダのためにパスフェールオーバーを提供するための方法、システム、及び、コンピュータ可読媒体
JP5351668B2 (ja) Sasペア・サブストラクティブルーティング
JP5363924B2 (ja) 単一sasエクスパンダの機能性を提供するために複数のsasエクスパンダを組み合わせる方法、及び、単一sasエクスパンダ
JP5460188B2 (ja) Sasワイドポート接続のためのレーンの指定
US8244948B2 (en) Method and system for combining multiple SAS expanders into a SAS switch
US8074105B2 (en) High data availability SAS-based RAID system
CN105721357B (zh) 交换设备、外围部件互连高速系统及其初始化方法
US9760455B2 (en) PCIe network system with fail-over capability and operation method thereof
US20240357010A1 (en) Server system
US20140095754A1 (en) Back-Off Retry with Priority Routing

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100127

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130614

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees