JP3086261B2

JP3086261B2 - マルチプロセッサ・システム用バス構造

Info

Publication number: JP3086261B2
Application number: JP08528822A
Authority: JP
Inventors: ヨルクゲツラフ、クラウス; ヴィレ、ウド; ヴェルナータスト、ハンス; レプラ、ベルント
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1995-03-27
Filing date: 1995-03-27
Publication date: 2000-09-11
Anticipated expiration: 2015-09-11
Also published as: WO1996030842A1; US5889969A; JPH09506731A; EP0760979A1

Description

【発明の詳細な説明】本発明は、主に複数レベルのキャッシュ構造を有する
マルチプロセッサ・コンピュータ・システム用の改良型
多重バスの概念に関する。詳細には、この概念は、その
ようなバス・システムを介して多数のプロセッサが電気
的に相互接続される場合において改良型バス切換装置及
び近端信号受信の方法を提供する。

マルチプロセッサ・コンピュータ・システムにおける
バス構造は、システムの全体的な性能、機能性、及び細
分性に大きく影響する。バスの効率を高める最も重要な
特性の１つは、バスの帯域幅であり、これはプロセッサ
の速度及び可変数のプロセッサと適合することのできる
バスの能力を記述する。これは、バスの幅、バス・プロ
トコルによるバスの効率的利用、及びバスのサイクル時
間に左右される。

バスの幅は、チップ・パッド、モジュール・ピン、カ
ード、及びボードの配線しやすさなどパッケージの物理
的制約によって制限される。したがって、従来技術のバ
ス・システムにおいては、１つの大きなバスまたは１組
の小さなバスが構築されていた。

別の従来技術の手法においては、スマート・バス・プ
ロトコルによりプロセッサ間のバス・インターリーブに
よって、アドレス指定されたメモリ・バンクのアクセス
時間によって生じるバスの時間ギャップを埋めることが
できる。「バス・インターリーブ」は、バス上の待ちサ
イクルを利用して他のメモリ・バンクにコマンドを出す
既知の方法である。バスとメモリの帯域幅を広げるため
に、１つのバスについて複数のメモリ・バンクを同時に
動作させることができる。

バス帯域幅に主に影響を及ぼすのは、バス・サイクル
時間である。効率のよいバス構造は、プロセッサとバス
のサイクル時間をできるだけ一致させる優れた電気特性
を備えていなければならない。たとえば、ランドリー・
ラインのようなプロセッサを接続する簡単な構造では、
電気特性が低いためにサイクル時間とプロセッサの数が
制限される。これと対照的に、より多数の複雑なバス構
造は、各プロセッサと中央切換装置の間にポイント・ツ
ー・ポイント・バスを提供する。この装置には、１つま
たは複数のメモリ・バンクが接続される。この構造によ
って、バス・サイクルを短くすることができるが、長い
配線が必要になる。パッケージングに関しては、すべて
のバスがスイッチに経路指定されるため、中央切換装置
は非常に多くのピン数を必要とする。

さらに、従来技術のシステムにおいて、バス構造の性
能は、、分散調停機能または集中調停機能として実施で
きるバス調停の概念によって改善される。集中調停の概
念は、追加のハードウェア構成要素、すなわち集中バス
・スイッチのような制御装置に基づく。この装置は、す
べてのバス要求を受け取って調停を行い、次のサイクル
で要求装置に許可を出す。

分散方式は、すべての要求線をバスに関与するすべて
の機構に配線しなければならないため、多数の配線を必
要とする。しかし、その利点は、集中調停と比較して、
経路にオフチップ・ネットワークが１つしかないため
に、１サイクル内で調停を終えることができる点であ
る。経路全体は、オフチップ・ネットワーク、すなわち
要求線と、調停論理回路からなる。これがバスのサイク
ル時間を制限する場合は、２サイクルの集中バス調停が
好ましい解決策となる。

効率のよいバス構造のもう一つの重要な特徴は、多重
キャッシュ・プロセッサ構造においてデータの整合性を
保証できることである。既知の簡単な概念は、いわゆる
バス・スヌープである。これにより、各プロセッサが、
他のすべてのプロセッサのバス操作を監視し、そのキャ
ッシュ・ラインの状況を追跡する。この状況は、「修
正」、「独占」、「共用」または「無効」である。必要
なアクションは、メモリを更新しまたは更新せずにライ
ンを無効にするかあるいは修正データをキャストアウト
（cost−out）することである。修正データのキャスト
アウトは、PUがラインの独占的所有者ではなくなってい
ることを意味する。これらの動作はすべて、個々のプロ
セッサによって開始され制御される。

しかし、この簡単な概念は、構造的に複数のバスがあ
る場合には、集中交換装置を有するシステムに制限され
る。したがって、データの整合性を集中交換装置で制御
しなければならない。これにより、プロセッサのすべて
のキャッシュ・ディレクトリならびに各ラインの状況の
コピーが維持される。集中交換装置は、キャッシュ・ラ
インの状況を監視し、必要に応じてプロセッサからのキ
ャストアウトを開始し、データ転送を行うための必要な
メモリ・コマンドを出す。その利点は、サイクル時間が
短いこととバス／メモリの帯域幅が大きいことである。
しかし、この方式の欠点は、キャッシュを含む完全なプ
ロセッサに相当する設計努力が必要なことである。した
がって、このコストのかかる概念は、ハイエンドのメイ
ンフレームの設計においてしか実施できない。

このような集中調停の概念は、IBMテクニカル・ディ
スクロージャ・ブルテン、Vol.35、No.6、1992年11月
（第２図）に、中央クロスバー交換機を使用するものが
開示されている。この論文において、メモリ要求はプロ
セッサ・バスを介して転送され、データはクロスバー交
換機を介してメモリ装置に転送される。この分割概念に
よって、いくつかのメモリ・バンクに対するインターリ
ーブ・アクセスの集中メモリ制御が可能になる。

集中調停のもう１つの手法は、本出願人の米国特許第
5355455号明細書に示されている。この特許は、複数の
バスがバス・アダプタによって接続されたコンピュータ
・システムにおけるデッドロック問題に関するものであ
る。このバス・アダプタは、共通のバス・システムを２
つの並列バスに分割し、第１の部分は処理装置とメモリ
装置を含み、第２の部分はいくつかの入出力制御装置を
含む（上記明細書の第１図。）この発明の基礎となる問
題は、２つのデータ・バスを有するコンピュータ・シス
テムに関し、第１のバスのバス装置が第２のバスのバス
装置と通信しようとするが、第２のバスのバス装置は第
１のバスとは別のバス装置と通信しようとし、通常はデ
ッドロック状態になるものである。この問題は、バス・
アダプタが１つしかないためにボトルネック状況として
発生し、特にBUS SUSPEND制御信号を導入することによ
って解決される。

分散調停手段の例は、Siemens Aktiengesellschaft,G
ermanyに譲渡された米国特許第5093826号明細書に記載
されている。同特許は、任意の半分に分割された多重バ
ス・システムに関し、各半分が、重複した主メモリの対
応する半分に接続されている。これにより、同一の情報
が異なる２つのメモリに記憶される。この特許の教示に
よれば、特別の動作時間に、個々のプロセッサ、１つの
バス・システムの片方、及びいくつかのメモリ・セクシ
ョンが分割され、独立の専用コンピュータを形成するよ
うに相互接続される。

欧州特許出願0557651号明細書は、メモリ・バス上で
効率の良いインターリーブを可能にするマルチプロセッ
サ・システムに関する。この概念によって、メモリが少
なくとも２つのメモリ・バンクに論理的に分割されるた
め、バスに関与する機構のメモリへの複数アクセスが可
能になる。

さらに、ドイツ国特許PS3708887号明細書において、
並列バス構造が開示されている。この構造では、、セク
ション間にレジスタが挿入されてバスがセクションに分
割される。各バス・セクションにおいて、所与の時間
に、データが、互いに独立に転送されまたはパイプライ
ン転送される。個々のバス・セクション内のデータ・バ
スが通常はセンチメートルの物理長さでさらに細分割さ
れるので、信号伝送時間が大幅に短縮される。したがっ
て、サイクル時間と転送速度が速くなる。

したがって、本発明の目的は、単純で効率の良い多重
バス・システムを最短のバス・サイクル時間で利用する
ことによってバス帯域幅が最大になるようにする、密結
合マルチプロセッサ・コンピュータ・システム用の改良
型バスの概念を提供することである。

もう１つの目的は、このバスの概念を実施するコンピ
ュータ・システムの拡張及び縮小に関して最も大きなシ
ステム・モジュール性を有するバス構造を提供すること
である。

もう１つの目的は、バスに関与する機構間のポイント
・ツー・ポイントの接続性が最大になるようにするバス
構造を提供することである。

本発明によるバス構造は、複数の物理バスによって構
成される論理バスを提供することによってこの問題を解
決する。物理バスの数は、変更可能で、そのバス・シス
テムによって相互接続されるプロセッサの数に比例す
る。さらに、各論理入バスは、バス切換装置（BSU）を
含み、メモリ・バンクに接続され、プロセッサは物理バ
スとバス切換装置を介して各論理バスに接続される。

物理バスにより、各プロセッサが各論理バスにアクセ
スすることができる。これにより、１つまたは複数のメ
モリ装置に対する１つまたは複数のプロセッサの並列ア
クセスが極めて効率的に支援される。この並列処理は、
いくつかのメモリ装置に対する１つの処理装置のアクセ
ス、ならびにいくつかのメモリ装置に対するいくつかの
処理装置のアクセスに関するものであることが重要であ
る。

さらに、所与の時間に論理バスに対してプロセッサ・
アクセスを１つだけ可能にするバス調停論理回路によっ
てデータの整合性が達成される。このようにいくつかの
プロセッサによる同一ラインに対するバス要求を自動的
に直列化することによって、所与の時間にただ１つのプ
ロセッサの独占的所有が簡単にできるようになる。さら
に、論理バス上で様々なメモリ装置のバス・インターリ
ーブを簡単に行うことができる。

この多重論理バスの概念によって、二倍または四倍の
バス幅を有する単一バスの概念に勝る接続性及び帯域幅
の著しい改善が達成される。バス上のラインフェッチ動
作は、一般に、コマンド・サイクル、メモリ待ちサイク
ル、及びデータ転送サイクルからなる。単一バスの改善
により、データ転送のサイクル数だけが減少し、コマン
ドまたはメモリ待ち動作のサイクル数は減少しない。こ
の多重論理バスの概念は、完全な動作を並列に行うこと
ができるので、１つのバス動作について少しのサイクル
しか必要でない。BSU動作中の１サイクルの損失は、短
くなったサイクル時間に関してシステムの性能に小さな
影響しか及ぼさない。

提案したバス構造のBSUは、次のサイクルに、１つの
ポートからコマンド／制御信号及びデータを他のすべて
のポートに送出するスイッチ１＞ｎとして働く。バスに
関与する様々な機構の間の電気的ポイント・ツー・ポイ
ント接続によってバス・サイクル時間を改善するため
に、それぞれのBSUは、いくつかの物理バスに分割され
た１つの論理バス上でのみ動作する。論理バスは、それ
ぞれのBSUを介してそのメモリ装置まで経路指定され
る。したがって、この構成により、システム内でメモリ
装置の並列選択が可能になる。

第２レベルのキャッシュ・メモリ装置を少なくとも２
つの部分に分割することによって、単一プロセッサまた
はプロセッサのグループはそれぞれ、各BSUに電気的ポ
イント・ツー・ポイント接続を行う。これにより、これ
らのBSUバスの物理構造を、バス・サイクルがプロセッ
サ・サイクルに等しいかまたは近づくように構成するこ
とができる。

さらに、物理バスの数は可変なので、たとえば、プロ
セッサの数またはグループを拡張した場合に、バス構造
をプロセッサ及び帯域幅の要件に簡単に適合させること
ができる。

特に、提案した構造を利用すると、そのモジュール性
によって、高い性能またはコスト・パフォーマンスある
いは低コストに向けて最適化された様々なシステムを構
成することができる。多数の論理バス及びプロセッサを
備えたハイ・エンド・システム用の複数チップ・モジュ
ール、あるいは、２つの処理装置と１つの論理バスがカ
ード上の単一チップ・モジュールに取り付けられたロー
・エンド・システムなど様々なパッケージを選択するこ
とができる。

さらにこのモジュール式システム構造によって、ハー
ドウェアに欠陥がある場合でも、たとえば、それぞれ、
処理装置の数を減らすか、プロセッサ・クラスタの数を
減らすか、あるいはバスまたはメモリ・カードの数を減
らすことによって、低下モードでのシステム動作が可能
になる。

本願で提案するバスの概念は、独立のコマンド・バ
ス、アドレス・バス及びデータ・バスを含むことができ
ない。信号数に制限があるため、これらはすべて同一の
物理バス上で多重化される。したがって、バス上のコマ
ンド、アドレスまたはデータに応じて、異なるバス通信
が必要になる。この通信の詳細は、実施形態の説明を参
照されたい。

別の実施形態では、これらの通信プロトコルは、特に
情報をバス全体に簡単に同報通信するための再ドライブ
機構を含むBSUによって処理される。

本発明のさらに別の好ましい実施形態では、所与の時
間に論理バスに対するアクセスを１つのプロセッサだけ
に許可するバス調停装置を提供することによって、デー
タの整合性がさらに改善される。論理バスを合同アドレ
ス・クラスに割り当てることにより、多数のプロセッサ
による同一ラインに対するバス要求の直列化が実施され
る。各論理バスをただ１つの合同アドレス・クラスに割
り当てることによって、データの整合性が極めて効率良
く保証される。それにより、各バスは、たとえば低位ラ
イン・アドレス・ビットによって決定されたそれ自体の
合同アドレス・クラスをもつことができる。要求プロセ
ッサは、この基準のみによって適切な論理バスを選択す
る。さらに、バス切換装置内でバス調停機能を実施する
ことによって、バス構造の全体的なパフォーマンスを改
善することができる。さらに、たとえば、Pu＞キャッシ
ュ＞バス＞再ドライブ機構＞バス＞メモリ（コマンド）
あるいはメモリ＞バス＞再ドライブ機構＞バス＞キャッ
シュ＞Pu（データ）などコマンド及びデータの方向に向
かうバス上の再ドライブ論理回路によって、バスのサイ
クル時間を改善することができる。これらの一部のバス
は、サイクル時間を短くすることができるが、再ドライ
ブ論理回路内で１サイクルを各方向に使用しなければな
らない。

BSUは、いくつかのプロセッサ装置、キャッシュ・メ
モリ、メモリ・バス・アダプタ、及び記憶制御装置の間
の様々な物理バスを接続し、バスに関与する機構に入力
データを再ドライブする。したがって、BSUは、バス再
ドライブ機能と制御信号再ドライブ機能を含むことがで
き、それにより、プロセッサとキャッシュの間のデータ
の整合性を保証する機能は含まなくてもよい。その代わ
りに、コマンド選択信号を含めてアクティブ・プロセッ
サのコマンド・サイクルを、１つのバスから他のすべて
のバスに再ドライブする。これにより、他のプロセッサ
が、当該ラインに対するバス・スヌープ操作を実行す
る。

また、本願で提案する構造によって、すべてのバス・
スヌープ・アクションがプロセッサ自体中に留まること
ができる。キャッシュ・ディレクトリのコピーを維持す
る必要はない。さらに、BSUがメモリ・バス上でコマン
ドを並列に出すので、他のバス上のコマンドの再ドライ
ブによってバス・サイクルが失われることはない。

さらに、バス切換装置は、BSUとメモリの間のポイン
ト・ツー・ポイント接続であり、プロセッサのサイクル
時間とも一致するメモリ・インターフェースとしても働
く。

さらに、メモリ階層全体にわたるデータ・ラインの関
連性（アソシアティビティ）を含むことが重要である。
ラインフェッチ動作中に生じるようなすべてのライン置
換動作が、最初に選択した論理バス及びメモリ装置に常
に関連付けられていると好都合である。バス間にもイン
ターリーブしたライン間にも干渉はない。

また、プロセッサが再ドライブ機能を独占的に実行す
ることもできる。メモリ装置は、記憶制御装置によって
制御される少なくとも２つのメモリ・バンクを含むこと
が好ましい。論理バスは、システム内のメモリ・バンク
の並列選択を可能にするそれぞれのBSUを介してそのメ
モリ・バンクまで様々に経路指定される。ラインフェッ
チ中に起こるすべてのライン置換動作は、常に、最初に
選択したバス及びバンクと関連付けられる。バス間にも
インターリーブしたライン間にも干渉はない。

本発明のもう１つの態様は、プロセッサのクラスタが
ポイント・ツー・ポイント接続によって相互接続されて
いない本願に提案するバス構造において、近端信号受信
の問題を解決する方法である。具体的には、１つのプロ
セッサが実際のラインを占有してそれを隣のプロセッサ
に転送しなければならない、同一の物理バス上でのバス
・スヌープやキャストアウトなど、すべての近端送出／
受信動作が２サイクルで実行される。具体的には、実際
の信号反射挙動に応じて、１サイクルと２サイクルの情
報転送動作モードが動的に切り換えられる。さらに、バ
ス構造体に、１サイクルの制御信号しか必要ない。

第１図は、本発明による多重バス構造の基本的な特徴
を示すブロック図である。

第２図は、各メモリ・バス上で２通りのインターリー
ブを可能にする２つの論理バスを有する構造のラインの
割当てを示す表である。

第３図は、１つの論理バスを介してメモリ・バンクに
接続された共用L2キャッシュ・メモリを備える、２つの
プロセッサを含むロー・エンド・コンピュータ・システ
ムにおいて、本発明によるバス構造の実施形態を示す図
である。

第４図は、２つの論理バスを介してメモリ・バンクに
接続された６つのプロセッサを含む中間コンピュータ・
システムにおけるバス構造のさらに別の実施形態を示す
図である。

第５図は、16個のプロセッサが４つの論理バスを介し
て４つのメモリ・バンクに接続されているハイ・エンド
・コンピュータ・システムにおける本発明の好ましい実
施形態の図である。

第６図は、本発明によるBSU（バス切換装置）の好ま
しい実施形態の図である。

第７図は、BSUによって実施される基本的なバス動作
の完全な制御信号の構成を示す図である。

第８図と第９図は、本発明によるバス構造上の「ライ
ンフェッチ」と「キャストアウト動作を伴うラインフェ
ッチ」のためのバス・プロトコルを示すタイミング図で
ある。

第10図は、バス遅延による多重バスの信号受信挙動を
示す（電気的ポイント・ツー・ポイント接続ではな
い）、BSUを介して論理バスに接続されたプロセッサ・
クラスタの概略的なブロック図である。

第11図は、第10図のバス構造をそれぞれの制御信号と
共に示す図である。

第１図は、本発明による多重バス構造を含むマルチプ
ロセッサ・コンピュータ・システムの概略図である。マ
ルチプロセッサ・システムは、具体例として、専用L2キ
ャッシュ・メモリがなく、２つのメモリ・モジュール
５、６からなる第１のメモリ・バンクと２つのメモリ・
モジュール７、８からなる第２のメモリ・モジュールに
例示的に分割された主メモリを有する４つのプロセッサ
１、２、３、４からなる。メモリ・バンク５、６、及び
７、８は、記憶制御装置（STC）９、10によって制御さ
れる。

共通バス・システムは、それぞれ論理参照番号０と１
で示された２つの論理バス11、12に分割され、各論理バ
スはそれぞれ、バス切換装置（BSU）13、14を含む。プ
ロセッサ１、２、３、４はそれぞれ、BSU13、14に電気
接続（レーザ・コンピュータでは光接続）され、４つの
物理アドレス“0L"、“0R"、“1L"、“1R"を有するバス
・ネットワーク（ポイント・ツー・ポイント接続）を提
供する。

BSU13、14は、プロセッサ側の４つの物理バスをメモ
リ・バス15、16を介してメモリ・バンク５、６、７、８
に接続する。論理バス11、12の数がBSU13、14の数と等
しいことに留意されたい。BSU13、14は、論理バス11、1
2へのアクセスを制御するためのバス調停機能（図示せ
ず）を含む。論理バス11、12がそれぞれメモリ・バンク
５、６、７、８への単一の線接続を提供することが重要
である。

さらに、この多重バスの概念によって、それぞれ論理
バス11、12の１本当たりのプロセッサ１、２、３、４の
数及びメモリ装置またはメモリ・バンク５、６、７、８
の数を容易に拡張できることも重要である。プロセッサ
をいくつか追加する場合に、BSU13、14を追加する必要
はない。したがって、メモリ・バンクを追加してシステ
ムを改良するとき、論理バスまたはBSUの数がそれぞれ
変化することがある。

このバス構造の他の重要な要素は、論理バス11、12
が、可変数の物理バスによって構成されていること、な
らびに両方の論理バス11、12によって、ｎウェイのイン
ターリーブ、たとえば第１図による実施形態では、各論
理バス11、12ごとに２つのメモリ・バンク５、６、７、
８があるため、各論理バスごとに２ウェイ、すなわち４
ウェイのインターリーブが可能なことである。しかし、
より複雑なバス・インターリーブを支援するために、論
理バス11、12ごとに複数のバンクを設けることもでき
る。

第１図によるバス構造は、別々のコマンド・バス、ア
ドレス・バス、データ・バスを含まない。信号数を制限
するために、それらの信号はすべて同じ物理バス上で多
重化される（第６図）。したがって、バス上のコマン
ド、アドレス、またはデータに応じて、異なるバス通信
が必要となる（第８図と第９図）。たとえば、データ
は、キャストアウト動作の場合以外はプロセッサ１、
２、３、４とBSU13、14の間でのみ交換される。しか
し、コマンド・サイクルとアドレス・サイクルは、プロ
セッサ−BSU間とプロセッサ−プロセッサ間の両方の通
信を必要とする。

第１図の論理バス11、12はそれぞれ、それ自体の合同
アドレス・クラスに割り当てられる。これを、第２図
に、第１図による各論理バス上の２ウェイのインターリ
ーブを有する２論理バス・システムの事例で示す。メモ
リ・アドレス空間全体が、キャッシュ・ライン・サイズ
のブロックに分割され、各ブロックが、低位アドレス・
ビットによってバスとメモリ・バンクに関連付けられ
る。

したがって、８つのライン０〜７、たとえば第２レベ
ルのL2キャッシュ・メモリを備えたプロセッサの場合は
キャッシュ・ラインが、メモリ・バンク５、６、７、８
に記憶される。各ラインは、論理バスの番号及びそれが
記憶されるメモリ・バンクによって特徴付けられる。

合同アドレス・クラスは、ラインの低位アドレス・ビ
ットによって容易に決定することができる。要求プロセ
ッサ１、２、３、４は、この基準のみによって適切な論
理バス11、12を選択する。論理バス11、12は、それぞれ
のBSU13、14を介してそのメモリ・バンク５、６、７、
８まで経路指定される。この構成によって、全システム
内でメモリ・バンク５、６、７、８を並列に選択するこ
とができ、したがって、所与の時間にそれぞれのライン
を１つのプロセッサだけがアクセスすることができる。
多数のプロセッサが同一のラインに対するアクセスを要
求する場合は、これらのクラスによって自動的にアクセ
スが直列化されるため、コンピュータ・システム全体の
データ整合性が極めて効果的に保証される。

この構成のもう一つの利点は、たとえばラインフェッ
チ動作中に生じるすべてのライン置換動作が、最初に選
択された論理バス11、12ならびに最初に選択されたバン
ク５、６、７、８に常に関連付けられることである。バ
ス間にもインターリブしたライン間にも干渉はない。

本願に提案するバス構造は、少なくとも２つのプロセ
ッサ装置を含むいわゆる「ロー・エンド」と「ハイ・エ
ンド」のマルチプロセッサ・コンピュータ・システム全
般で実施することができる。第３図ないし第５図におい
て、この広い範囲の応用例を、３つの異なるシステムに
おける実施形態で示す。

まず第３図に、物理バス104、105によって共用L2キャ
ッシュ・メモリ103に接続された２つのプロセッサ101、
102を備えたロー・エンド・コンピュータ・システムを
示す。このシステムはまた、例として、独立に動作する
２つのメモリ・バンク107、108を含む主メモリ装置106
を備える。メモリ・バンク107、108へのアクセスを制御
するために、記憶制御装置（STC）を備える。プロセッ
サ101、102とメモリ装置107、108は、バス切換装置（BS
U）109により論理バス110を介して相互接続される。BSU
109はまた、外部入出力装置への接続部として機能する
入出力ポート111を備える。この構造において、両方の
プロセッサ101、102は、メモリ・バンク107、108のそれ
ぞれへの電気的ポイント・ツー・ポイント接続を有す
る。このシステムは、多数のプロセッサまたはメモリ・
モジュールを加えることによって容易に拡張することが
できる。後者の場合には、システム全体の既存部分を変
更せずに、各メモリ装置ごとに追加の論理バスだけを実
施しなければならない。

第４図は、中間コンピュータ・システムの例として、
６つのプロセッサ装置201〜20bと２つの論理バス207、2
08を備えたシステムを示す。３つのプロセッサ装置は、
共用L2キャッシュ・メモリ209、210に接続される。各論
理バス207、208は、それぞれ２つのメモリ・バンク217
〜220からなるメモリ装置215、216に接続されたBSU21
1、212及びSTC213、214を備える。このバスの概念は、
プロセッサ201〜206とメモリ・バンク217〜220との間で
電気的なポイント・ツー・ポイント接続を提供すること
が分かる。したがって、主メモリに記憶される各ライン
には、１つの物理バスを介してのみアクセスすることが
できる。

第５図に、16個のプロセッサを備えた好ましいハイ・
エンド・コンピュータ・システムにおけるバス構造の実
施形態を示すが、この図では、４つの論理バス305〜308
と４つのプロセッサ301〜304だけを示す。さらに、各論
理バス305〜308は、主メモリ装置309〜312を備え、メモ
リ装置は、メモリ・バンク313〜320によって構成され
る。４つのプロセッサ装置からなる各グループ、たとえ
ばグループ301〜304は、２つのL2キャッシュ・メモリ32
1〜328に接続される。このシステムが複雑であるにもか
かわらず、すべてのプロセッサ301〜304とメモリ・バン
ク313〜320は、単純ポイント・ツー・ポイント接続によ
って連結される。さらに、L2キャッシュ・メモリを２つ
の部分に分割するので、２プロセッサ装置301〜304だけ
でなく１プロセッサ装置も、所与の時間に主メモリと通
信することができる。

第６図に、本発明によるBSU（第４図のシステム）の
再ドライブ論理回路のブロック図を、BSU内部のデータ
・フローと共に詳細に示す。BSUは、４つの双方向ポー
ト401〜404を備え、ポート401〜403は、BSUのプロセッ
サ側の双方向物理バスへのポートを表し、ポート404は
双方向メモリ・バスに接続される。最初に、着信トラフ
ィックが、バス受信器405〜408を通り、バス・ドライバ
409〜412の制御信号がディスエーブルされる。着信トラ
フィックはマルチプレクサ413に転送され、適切な信号
が着信コマンド信号414によって選択される。さらに、
トラフィックはレジスタ415〜418内でバッファされ、そ
の後でドライバ409〜412に送られる。そこから、信号
（トラフィック）は、ポート401〜404を介してすべての
バスに再ドライブされる。BSUによって内部で生成され
た信号自体は、バス受信器419を介してマルチプレクサ4
13に転送される。したがって、BSUはスイッチ１＞ｎと
して働き、次のサイクルで、コマンド／制御信号及びデ
ータを１つのポートから他のすべてのポートに接続して
再ドライブする。さらに別の実施形態では、BSUは、様
々な機能、すなわちバス再ドライブ機能、制御信号再ド
ライブ機能、メモリ・インターフェース機能ならびにバ
ス調停機能を含む。BSUは、コマンドとデータを、１つ
のソース・ポートから、メモリ・バスを含む他のすべて
のポートに再ドライブする。それぞれの制御信号も大部
分が再ドライブされる。完全な情報がBSU内でバッファ
され、次のサイクルで配布される。

したがって、各単一プロセッサまたはプロセッサ・グ
ループは、各BSUへのポイント・ツー・ポイント・バス
接続を有し、プロセッサ・サイクルと同じかまたはそれ
に近いバス・サイクルが達成される。同一物理バス上の
バス・スヌープのようなすべての近端駆動／受信動作が
２サイクルで実施される。したがって、物理バス構造の
エンド・ノードにおける電気信号の反射は、少なくとも
第２のサイクルで確実に弱くなる。これにより、反射雑
音信号を、極めて効率よく抑えることができる。

ポイント・ツー・ポイント・バスは、最適な短いバス
・サイクルを可能にし、ビルディング・ブロック（クラ
スタ）内のプロセッサとL2キャッシュ・チップのグルー
プ化によって実施することができる。この構造は、プロ
セッサとL2キャッシュ・チップの間ならびに各グループ
のそのそれぞれのBSUチップの間のポイント・ツー・ポ
イント・バスによって構成することができる。

BSUとSTCの間のメモリ・インターフェースは、４つの
信号だけからなり、その４つの信号とは、バス上にデー
タがあることを示す転送データ（Xfer data）信号、プ
ロセッサによるデータ要求を確認するデータ転送許可
（Allow transfer data）信号、バス上にコマンドがあ
ることを示すコマンド選択信号（Command select）、及
びバス上にエラーまたは無効データがあることを示すメ
モリ・エラー（Memory error）信号である。

バス調停は、BSUによって実行することもできる。そ
れにより、調停論理回路によって許可されバスが使用可
能なときに、すべての要求が集められ、要求プロセッサ
への認可信号を与えられる。

BSUは、プロセッサ・キャッシュ間のデータ整合性を
保証する機能は含まない。さらに、BSUは、コマンド選
択信号を含む活動プロセッサのコマンド・サイクルを、
１つのバスから他のすべてのバスに再ドライブする。こ
れにより、他のプロセッサがバス・スヌープ動作を実行
する。１つまたは複数のプロセッサがラインを見つけた
場合は、それらのプロセッサは、必要なアクションを完
了するまでビジー信号をBSUに送る。この場合も、ビジ
ー信号が、要求プロセッサを含む他のすべてのプロセッ
サに再ドライブされる。プロセッサ内のバス・スヌープ
機能の実施形態は、必要とされる機能のほとんどがすで
にプロセッサのキャッシュ制御装置に含まれているた
め、ほんの小さな追加でしかない。

第７図と関連して、BSUによって実施される基本的な
バスの動作を次に示す。

＊PU REQUEST この制御信号は、BSU調停論理回路に対するプロセッ
サのバス要求に関係する。主に、たとえば、ラインフェ
ッチ／ラインストア、ライン無効化または入出力フェッ
チ、記憶動作を要求の対象とすることができる。要求PU
は、合同アドレス・クラスにより、どの論理バス上に、
要求を転送しなければならないかを判断する。これによ
り、メモリ・バンクに対する確定したアクセスが達成で
きる。

＊PU CMD SELECT この制御信号はPUから送られた、バス上にコマンド、
フィールド長、及びアドレスがあることを示す。この信
号を確定BSUが受け取って、次のサイクルで、メモリ・
インターフェースを含む他のすべてのバス上でBSU CMD
SELECTとして再ドライブする。

＊XFER DATA この信号はメモリから送られ、たとえばラインフェッ
チ動作のためにバス上にデータがあることを示す。この
信号を確定BSUが受け取って、次のサイクルで、他のす
べてのバス上でBSU XFER DATA信号として再ドライブす
る。キャストアウト動作の場合は、信号はBSUによって
生成される。

＊PU BUSY この信号は、一致するラインが見つかったことを示す
プロセッサからの応答である。プロセッサは、必要な動
作が完了するまでこの信号をオンに維持する。この信号
を確定BSUが受け取って、次のサイクルで、他のすべて
のバス上にBSU BUSY信号として再ドライブする。

＊BSU GRANT BSUは、調停の結果として論理バスが利用可能になる
と、要求PUにその論理バスを認可する。

＊ALLOW XFER DATA この制御信号は、メモリへのデータ・フェッチ／記憶
コマンドを確認し、キャストアウトが行われないことを
示す。この信号は、バス・スヌープの結果としてPU BUS
Y信号がキャストアウトなしにハイまたはローにされな
いときに、BSUによって生成される。

＊MEMORY ERROR このエラー表示信号は、メモリ・バンクのメモリ制御
装置によって生成される。この信号をBSUが受け取っ
て、次のサイクルで、他のすべてのバス上でBSU MEMORY
ERROR信号として再ドライブする。

これらの信号はすべて、すべての物理バスに提供され
る。その信号の総量は、１つのバスに接続されたプロセ
ッサの数に応じて異なることがある。

このバス構造とバス・プロトコルにより、重大な性能
の低下なしにすべてのプロセッサの同期バス・スヌープ
が可能になる。これにより、BSU内のすべてのプロセッ
サのキャッシュ・ディレクトリ・コピーが回避され、最
終的に同一バス上でのアドレスとデータの多重化が可能
になり、余分なアドレス・バスが必要でなくなる。

第８図に、本発明によるバス構造の機能を、ラインフ
ェッチ・バス動作を表すタイミング・チャートによって
示す。バスの概念の基本的態様を簡略化するため、バス
切換装置（BSU）に接続された２つの物理バス（0L、0
R）に分割された論理バスを介して通信するプロセッサ
（PU⁰、PU¹）を２つだけ含むシステムの実施形態に関す
る動作を取り上げる。さらに、BSUは、メモリ・バス
（Ｍ−BUS）を介してメモリ装置に接続される。

第１のPU⁰が、ラインフェッチ要求をBSUに送る。調停
サイクル（Ａ）の後で、BSUは、要求PU⁰に利用可能にな
った論理バスを認可する。PU⁰は、物理バス0L上にコマ
ンド、ラインフェッチ・アドレス及び長さ（Ｃ）の情報
があることを示すPU CMD SELECT制御信号を生成する。B
SUは、次のサイクルで、他の物理バス、すなわちBUS“O
R"とＭ−BUS上で、PU CMD SELECT信号をBSU CMD SELECT
信号として再ドライブする。したがって、コマンド、ラ
インフェッチ・アドレス及び長さの情報が、１サイクル
の待ち時間でこれらのバスに達する。

バス0R上のBSU CMD SELECT信号によって、PU¹は、バ
ス・スヌープ時間枠の範囲内でバス・スヌープ動作を実
行する。PU¹は、要求されたラインを見つけず、それに
よりPU BUSY制御信号はアクティブにならない。この制
御信号は、PU¹が一致するラインを見つけた場合だけア
クティブになる。他のプロセッサが物理バス0Lに接続さ
れている場合には、物理バス0L上のPU BUSY信号にも注
意しなければならない。PU BUSY信号がアクティブでな
い場合、BSUは、BSU ALLOW XFER DATA制御信号を生成し
てメモリ装置へのラインフェッチ・コマンドを確認す
る。

ここで、メモリ装置は、要求されたデータをＭ−BUS
を介してBSUに送り、XFER DATA制御信号がメモリによっ
て並列に生成される。この制御信号とデータをBSUが受
け取って、他のすべてのバス上に１サイクルの待ち時間
で再ドライブする。詳細には、制御信号は、BSU XFER D
ATA制御信号として再ドライブされる。どちらの制御信
号も、バス上にデータがある間はバス上に維持される。

第９図は、たとえば、第８図によるシステムにおいて
成功した（一致した）バス・スヌープに応答したキャス
トアウト動作のタイミング図を示す。詳細には、この図
は、近端受信の問題を示す。

この場合も、PU⁰は、最初に、物理バス0Lを介してラ
イン（ラインフェッチ）を要求する。BSUは、PU⁰にバス
を認可し、したがって、そのPUのバス0L上で、コマン
ド、ラインフェッチ・アドレス及び長さがある。さら
に、バスのこの状態を示すPU CMD SELECT制御信号が、P
Uによって並列に生成される。この制御信号をBSUが受け
取って、次のサイクルで、すべてのバス上にBSU CMD SE
LECT信号として再ドライブする。この信号により、PU¹
のバス・スヌープ動作が始まる。PU¹がラインを見つ
け、PU BUSY制御信号をBSUに出したと想定する。この信
号は、PU¹の必要とされるアクションが完了するまでバ
ス上に維持され、BSUがそれを受け取って、次のサイク
ルで、他のすべてのバス上にBSU BUSY制御信号として再
ドライブする。

PU¹は、キャストアウト・コマンドをバス0Rに置き、
それが１サイクルの待ち時間で他のすべてのバスに再ド
ライブされる。同時に、PU¹は、BSUへのPU CMD SELECT
信号をハイにし、それが次のサイクルで他のすべてのバ
スに再ドライブされる。このとき、８つのデータ・パケ
ットが、メモリ装置からPU¹に転送される。

この近端でのプロセッサ−プロセッサ間の通信は、電
気信号の反射挙動を引き起こし、両方のプロセッサによ
ってハイにされBSUによって再ドライブされた信号が各
物理バス上で干渉する。このバス構造の信号の反射を利
用して、バス・サイクル時間を最適化することができ
る。遠端から戻る反射は近端側の受信を妨害するので、
バスの遅延は、信号が近端の受信機に送られるか遠端の
受信機に送られるかによって決まる。この現象は、すべ
ての非終端物理ネットワークで知られている。第10図
は、この型の物理バスを例示する。ここで、本発明の提
案は、近端受信を可能にするために、物理バスを、コマ
ンド、バス・スヌープ・アドレス、及びキャストアウト
・データに関して、２サイクルの間妨害し続けることで
ある。キャストアウト動作により、バス0R上の各データ
・ブロックの第２サイクル中に、BSU XFER DATA制御信
号がBSUによって生成される。このデータ・ブロックは
また、１サイクルの待ち時間で他のバスに再ドライブさ
れる。制御信号のこの１サイクルの遅延は、これらの反
射した信号が、システムの性能に小さな影響しか与え
ず、クリティカルなバス動作を緩和させるという利点を
有する。第11図に、これらのバスをそれぞれの制御信号
と共に示す。ここでは、起点バスと再ドライブバスの両
方のバス妥当性を示すCMD SELECTとXFER DATA信号がBSU
から送られる。

───────────────────────────────────────────────────── フロントページの続き (72)発明者タスト、ハンスヴェルナードイツ国ヴァイルインシェーンブーフ、ハルトマンシュトラーセ 66 (72)発明者レプラ、ベルントドイツ国エーニンゲン、クーニッヒシュトラーセ 93 (56)参考文献特開平２−90354（ＪＰ，Ａ) 特開平６−161895（ＪＰ，Ａ) 米国特許4807184（ＵＳ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 3/00 G06F 12/08 G06F 15/173

Claims

(57)【特許請求の範囲】

【請求項１】少なくとも２つの処理装置を含むマルチプ
ロセッサ・システム用のバス構造であって、少なくとも２つの物理バスによって構成された少なくと
も１つの論理バスを含み、前記論理バスの各々が、メモリ装置及びバス切換装置へ
の接続を提供し、前記処理装置と前記メモリ装置が、前記バス切換装置に
より前記物理バスを介して相互接続され、前記バス切換装置が、着信情報を収集してバッファする受信手段及びレジスタ
手段と、前記バス切換装置に情報を入れまたはそこから情報を再
ドライブするドライブ手段と、第１サイクルで、前記ドライブ手段による再ドライブに
適した信号を、前記バス切換装置の第１ポートから選択
する多重化手段と、次のサイクルで、前記多重化手段を介して前記バス切換
装置の他のすべてのポートに情報を再ドライブする再ド
ライブ論理手段とを備えることを特徴とするバス構造。
【請求項２】前記バス切換装置がさらに、ある一定のバス・プロトコルの後でバスを調停する調停
手段を含むことを特徴とする請求項１に記載のバス構
造。
【請求項３】分岐した物理バスを介して前記バス切換装
置に接続された少なくとも２つの前記処理装置からなる
クラスタを含み、近端信号の受信が、一の起点物理バス
及び一の再ドライブ物理バスを介して相互通信する２つ
の前記処理装置間で転送される信号を動的に見つけ、少
なくとも２つのバス・サイクルの間に当該起点物理バス
及び再ドライブ物理バス上にこれらの信号を維持するこ
とによって行われることを特徴とする請求項１に記載の
バス構造。
【請求項４】前記バス切換装置が、近端受信信号用に１
サイクルの制御信号を提供することを特徴とする請求項
３に記載のバス構造。
【請求項５】前記バス切換装置が、前記起点物理バス上
に維持される前記信号の第２のサイクルに、１サイクル
の制御信号を提供することを特徴とする請求項３に記載
のバス構造。