TWI568335B - 架組成件結構 - Google Patents
架組成件結構 Download PDFInfo
- Publication number
- TWI568335B TWI568335B TW103101431A TW103101431A TWI568335B TW I568335 B TWI568335 B TW I568335B TW 103101431 A TW103101431 A TW 103101431A TW 103101431 A TW103101431 A TW 103101431A TW I568335 B TWI568335 B TW I568335B
- Authority
- TW
- Taiwan
- Prior art keywords
- component
- optical
- tray
- shelf
- communication system
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/18—Packaging or power distribution
- G06F1/183—Internal mounting support structures, e.g. for printed circuit boards, internal connecting means
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/44—Mechanical structures for providing tensile strength and external protection for fibres, e.g. optical transmission cables
- G02B6/4439—Auxiliary devices
- G02B6/444—Systems or boxes with surplus lengths
- G02B6/4452—Distribution frames
- G02B6/44524—Distribution frames with frame parts or auxiliary devices mounted on the frame and collectively not covering a whole width of the frame or rack
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/44—Mechanical structures for providing tensile strength and external protection for fibres, e.g. optical transmission cables
- G02B6/4439—Auxiliary devices
- G02B6/444—Systems or boxes with surplus lengths
- G02B6/44528—Patch-cords; Connector arrangements in the system or in the box
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q1/00—Details of selecting apparatus or arrangements
- H04Q1/02—Constructional details
- H04Q1/09—Frames or mounting racks not otherwise provided for
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q1/00—Details of selecting apparatus or arrangements
- H04Q1/02—Constructional details
- H04Q1/13—Patch panels for monitoring, interconnecting or testing circuits, e.g. patch bay, patch field or jack field; Patching modules
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K7/00—Constructional details common to different types of electric apparatus
- H05K7/14—Mounting supporting structure in casing or on frame or rack
- H05K7/1485—Servers; Data center rooms, e.g. 19-inch computer racks
- H05K7/1487—Blade assemblies, e.g. blade cases or inner arrangements within a blade
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K7/00—Constructional details common to different types of electric apparatus
- H05K7/14—Mounting supporting structure in casing or on frame or rack
- H05K7/1485—Servers; Data center rooms, e.g. 19-inch computer racks
- H05K7/1488—Cabinets therefor, e.g. chassis or racks or mechanical interfaces between blades and support structures
- H05K7/1489—Cabinets therefor, e.g. chassis or racks or mechanical interfaces between blades and support structures characterized by the mounting of blades therein, e.g. brackets, rails, trays
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K7/00—Constructional details common to different types of electric apparatus
- H05K7/14—Mounting supporting structure in casing or on frame or rack
- H05K7/1485—Servers; Data center rooms, e.g. 19-inch computer racks
- H05K7/1488—Cabinets therefor, e.g. chassis or racks or mechanical interfaces between blades and support structures
- H05K7/1492—Cabinets therefor, e.g. chassis or racks or mechanical interfaces between blades and support structures having electrical distribution arrangements, e.g. power supply or data communications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10T—TECHNICAL SUBJECTS COVERED BY FORMER US CLASSIFICATION
- Y10T29/00—Metal working
- Y10T29/49—Method of mechanical manufacture
- Y10T29/49826—Assembling or joining
- Y10T29/49906—Metal deforming with nonmetallic bonding
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Computer Networks & Wireless Communication (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Power Engineering (AREA)
- Human Computer Interaction (AREA)
- Light Guides In General And Applications Therefor (AREA)
Description
此申請案主張2013年1月15日所提出申請之美國臨時申請案61/752,963及61/752,966的優先權。
本揭示的實施例一般有關於資料中心架構,且更特別是有關於使用包括資料中心的計算環境中之分離式架結構。
計算資料中心可包括一個或多個計算系統,其包括複數個計算節點,此複數個計算節點可包含各種計算結構(例如,伺服器),且可被實體地設置在多個架上。此等伺服器及/或包含此等伺服器的節點典型上可經由一個或多個開關(switch)而被互連,其構成不同的計算結構。
然而,由於與存取、服務、及互連不同的網路及存在於架上的計算組件(例如,節點)相關聯之難度,所以運用多個架之目前使用的資料中心結構會需要大量的操作成
本、能量消耗、複雜的管理、及大量的維持費用。
本揭示的實施例提供架組成件的技術及組態。在一個實施例中,被配置於架組成件中的托盤可包含複數個滑車,其中,個別的滑車包括一個或多個計算節點;以及連網元件,係與該複數個滑車的其中之一滑車相耦接,且被組構成使該滑車經由光學通訊系統而通訊式地連接至該架組成件的一個或多個其他的組件。該光學通訊系統可包括外部光學纜線,被組構成使該連網元件與該架組成件通訊式地相連接。其他實施例可予以說明及/或主張。
100‧‧‧架組成件
102‧‧‧托盤
104‧‧‧托盤
106‧‧‧托盤
110‧‧‧計算節點
112‧‧‧連網元件
114‧‧‧光學連接器
116‧‧‧外部光學纜線
118‧‧‧電力連接器
120‧‧‧通訊式的連接
122‧‧‧開關
124‧‧‧光學模組
126‧‧‧控制單元
128‧‧‧光學跳接纜線
130‧‧‧架資源組件
142‧‧‧滑車
200‧‧‧網路連接模型
230‧‧‧插線面板
300‧‧‧方塊圖
302‧‧‧環
304‧‧‧2級Clos模型
306‧‧‧2級Clos模型
310‧‧‧開關
312‧‧‧光學模組
314‧‧‧光學通訊鏈結
402‧‧‧光學纜線
404‧‧‧光學纜線
406‧‧‧光學纜線
408‧‧‧光學纜線
410‧‧‧光學纜線
412‧‧‧上鏈纜線
502‧‧‧中介板
504‧‧‧平面電路板
506‧‧‧夾層卡
512‧‧‧平行光學連接器
528‧‧‧光纖段
560‧‧‧放大圖
570‧‧‧箭頭
572‧‧‧前端
574‧‧‧後端
606‧‧‧光學連接器
622‧‧‧光纖接頭
624‧‧‧接頭殼體
630‧‧‧連接器插座
632‧‧‧光子連接器插頭
648‧‧‧機械對準接腳
650‧‧‧閂鎖機構
700‧‧‧分離式計算系統
702‧‧‧托盤
704‧‧‧架頂端開關
710‧‧‧中央處理單元
712‧‧‧記憶體
714‧‧‧網路介面晶片(NIC)
716‧‧‧固態碟機(SSDs)
718‧‧‧矽光子模組
720‧‧‧介面
730‧‧‧光學纜線
800‧‧‧分離式計算系統
802‧‧‧遠端儲存器
810‧‧‧計算功能
812‧‧‧網路功能
900‧‧‧計算節點
902‧‧‧主機中央處理單元(CPU)
904‧‧‧記憶體裝置
906‧‧‧匯流排
908‧‧‧基板
910‧‧‧中央機構
912‧‧‧感測器
914‧‧‧邏輯
實施例將藉由下面結合附圖的詳細說明而立即瞭解。為了協助此說明,相似的參考標號指示相似的結構元件。在附圖的圖式中,實施例係作為範例,而非作為限制來予以說明。
圖1概略地繪示依據某些實施例之可被使用在資料中心架構中的範例架組成件。
圖2概略地繪示參考圖1所述的架組成件之範例網路連接模型。
圖3係繪示依據某些實施例之架組成件的一種範例網路連接模型(其實施3級Clos-環狀混合架構)之方塊圖。
圖4概略地繪示依據某些實施例之範例光學插線面板
實施。
圖5繪示依據某些實施例之可被包括於架組成件中的托盤之透視圖。
圖6繪示依據某些實施例之可被包括於架組成件中的托盤之透視圖,其中,光學通訊系統被組構成提供此架組成件的通訊連接,其中的某些元件被更詳細地顯示。
圖7係繪示依據某些實施例之可被運用於資料中心中的範例分離式計算系統之方塊圖。
圖8係繪示依據某些實施例之可被運用於資料中心中的另一範例分離式計算系統800之方塊圖。
圖9係包含可與圖1的架組成件中所使用之計算節點類似的計算節點之計算模組的方塊圖。
本揭示的實施例包括計算環境(諸如,資料中心或伺服器群(server farm))的組態。此等組態可包括一個或多個架,其包含計算節點、儲存器、及能以分離的方式而被配置在此等架內的連網組件。
在下面的詳細說明中,實施參考構成此詳細說明的部分之附圖,其中,相似標號代表遍及附圖的相似部件,且其中,附圖被顯示作為可實施本揭示的標的之例示實施例。要瞭解的是,在不脫離本揭示的範圍之下,可利用其他實施例,且其他實施例可實施結構或邏輯的改變。因此,下面的詳細說明不是採用限制的意義,而是實施例的
範圍藉由後附的申請專利範圍及其等效來予以界定。
為了本揭示的目的,詞句「A及/或B」意謂(A)、(B)、或(A及B)。為了本揭示的目的,詞句「A、B、及/或C」意謂(A)、(B)、(C)、(A及B)、(A及C)、(B及C)、或(A、B、及C)。
此說明可使用基於透視的描述,諸如,上/下、入/出、之上/之下、等等。此類描述僅被使用來促進討論,而非意謂將在此所述的實施例之應用限制於任何特定的方向。
此說明可使用詞句「在一實施例中」或「在實施例中」,其各自可指稱相同或不同的實施例之其中一者或多者。再者,當相對於本揭示的實施例而使用時,術語「包含」、「包括」、「具有」、等等為同義的。
在此可使用術語「與之耦接」,以及衍生詞。「被耦接」可意謂下面的其中一者或多者。「被耦接」可意謂兩個或更多個元件係直接實體、電氣、或光學的接觸。然而,「被耦接」還可意謂兩個或更多個元件間接地彼此接觸,但是仍然彼此合作或互動,且可意謂一個或多個其他的元件被耦接或連接於彼此相耦接的元件之間。術語「直接被耦接」可意謂兩個或更多個元件係直接接觸。
要注意的是,雖然某些實施例已參考特定的實施來予以說明,但是依據某些實施例,其他實施是可行的。另外,圖式中所繪示及/或在此所述的電路元件或其他特性之配置及/或順序不需要以所繪示及所述的特定方式來予
以配置。依據某些實施例,許多其他的配置是可行的。
圖1概略地繪示依據某些實施例之可被使用在計算環境(諸如,資料中心,或伺服器的系統)中的範例架組成件100。在某些實施例中,多個架組成件可被包括在計算環境中。架組成件100可包括架組成件100中的一個或多個(例如,一組)托盤(例如,托盤102及104)。托盤102可藉由電力連接器118(其將電力提供給托盤102)而被通訊式地連接在架組成件100內。托盤102可包括複數個滑車(諸如,滑車142),其中,各個滑車具有一個或多個計算節點110。計算節點110可提供計算、儲存、連網功能、或其組合給具有架組成件100的資料中心。計算節點110可包括至少一個中央處理單元(CPU)、記憶體、及/或根據需要的其他組件、或其組合。此計算節點結構參考圖9來予以說明。一般而言,滑車142可包含不同型式的計算(甚至超過連續幾代),而提供彈性的計算。
雖然特別予以說明,但是托盤104可包括與托盤102類似之通訊式的連接及組件。在某些實施例中,托盤102及104可包括至少某些不相似之通訊式的連接/組件。
托盤102中之滑車142中所包括的計算節點110可藉由光學通訊系統(其被組構成載送傳入及傳出的網路(例如,乙太網路)流量)而與架組成件100及其他的架組成件(其包含計算環境(例如,資料中心))之一個或多個其他組件通訊式地相連接。托盤102上之滑車142中所包括的計算節點110與此計算環境(例如,包括架組成件100的資
料中心)的其他組件之間的通訊可藉由配置在托盤102中的一個或多個連網元件112來予以管理。提供托盤102與架組成件100的其他組件之間的通訊鏈結之光學通訊系統將於下面詳細地予以說明。滑車142可經由通訊式的連接120而被通訊式地連接至連網元件112。
在某些實施例中,連網元件112可包括夾層卡,或被包括在夾層卡中(例如,存在於夾層卡上)。在某些實施例中,夾層卡可包含小板,其中,在經由光學模組(例如,下面所述的光學模組124)的發送之前,可聚集電氣訊號(諸如,快速週邊組件互連(PCIe)或乙太網路訊號)。連網元件112可包括開關112(例如,開關晶片),及控制單元126(例如,CPU控制模組)(其被組構成管理由開關122所提供之通訊式的連接)。連網元件112包括夾層卡,或被包括在夾層卡中的實施例係參考圖4而更詳細地予以說明。
組構成使滑車142與架組成件100的其他組件相連接之此光學通訊系統可包括存在於連網元件112上的一個或多個光學模組124,及使光學模組124與光學連接器114通訊式地相耦接的光學跳接纜線128。光學模組124可包含光學收發器,其能夠同時發送及接收光學資料串流。光學連接器114可被組構成使光學模組124經由跳接纜線128而與外部光學纜線116通訊式地相耦接。外部光學纜線116可將托盤102之通訊式的連接提供給架組成件100的其他組件,且經由架資源組件130而提供給其他的架組
成件(未顯示)。架資源組件130舉例來說可包括插線面板。
如以上所述,連網元件112可被配置成與存在於滑車142上的計算節點110分離(諸如,可存在於夾層卡上),而可存在於滑車142上的計算節點(例如,CPUs)可被配置成經由架組成件100的前存取而被實體地可移除。換言之,由於由包含平行光學的此光學通訊系統所提供之通訊式的連接,所以在托盤102(104)內的滑車142可讓計算節點能夠被移除及取代,而不改變連網元件112。此光學通訊系統係參考圖5而更詳細地予以說明。
經由此光學通訊系統而提供托盤102(104)之通訊式的連接之配置於托盤102上的連網元件112可被整合成(例如,在夾層卡上)或可被分佈於架組成件100的各處。此分佈可讓架組成件100內的連網元件112能夠作為單一網路實體來予以管理及控制。使用由此光學通訊系統所提供的連接,滑車142的計算節點110可使用被動連接元件(例如,被動插線面板(圖2及6有更詳細的說明))來予以互連,於是移除架組成件100中的分離的連網元件之需要。分離的連網元件(例如,如選用的托盤106之圖1中所顯示的開關)可被使用來增加計算節點(參考圖7的詳細說明)之間的連網頻寬,但也可能不需要。總之,如上述之分離的架組成件100可提供網路彈性、使此網路與應用工作負載需求相匹配、及可與包含架組成件100的計算節點110分別隨著時間予以更新。
圖2為繪示依據某些實施例之圖1的架組成件100之範例網路連接模型200的方塊圖。在某些實施例中,連接模型200可被實施於實體插線面板(諸如,插線面板230)內。在某些實施例中,插線面板230可包含被動插線面板。如所顯示,托盤102、104、及106可使用不同的連接拓樸(其可提供架組成件100內的計算節點110之間之不同程度的頻寬),經由插線面板230而被通訊式地連接至架組成件100的組件。藉由使用插線面板230內的連接,托盤102中的各個計算節點110可被互連至所有其他的計算節點(例如,托盤104中的計算節點),以及至可構成資料中心的其他架組成件,而不需將分離的連網元件(諸如,托盤106)加入至架組成件100中。不同實施中的拓樸可包括如圖2中所表示之N-維(N-D)環狀、Clos(表示多級電話交換系統的最佳化之多級電路交換網路),或其組合(例如,混合拓樸)。包含光學通訊系統的平行光學內之不同數目的鏈結可被使用來建構架內及架間的連接。
一般而言,任何電腦網路可被表示為頂點(開關)及邊緣(鏈結)的圖形。集成至具有此平行光學的此托盤中之此開關讓至少某些(例如,大多數)的連網功能能夠被分佈,其中,交換首先被實施於112中,然後進一步且選擇性地被實施於第二組的開關中。例如,可有配置於106中的插線面板之上的開關。此種結構的優點是降低與第二層的開關相關之成本,而保持每個托盤具有一個光學纜線。在此架構中,任何拓樸(其包括循環圖、paylay圖、或Clos)會
是可行的。
圖3為繪示依據某些實施例之架組成件100的一種範例網路連接模型(其實施3級Clos-環狀混合架構)之方塊圖300。方塊圖300包括環302,及建構於環302的頂端上之2級Clos模型304和306。此架構的元件包括經由光學通訊鏈結314而連接的多個開關310(與開關122類似)及光學模組312(與光學模組124類似)。在2級Clos模型中,可使用在枝葉(leaf)節點(第一級)與主幹(spine)節點(第二級)之間的連接之蝴蝶圖案。例如,對於4埠開關(122)而言,為了具有Clos模型,可使用六個開關(亦即,四個枝葉及兩個主幹,且各個枝葉可被連接至各個主幹)。來自此枝葉之一半的埠向下進入至此網路中。此結構可導致8埠總開關,於是使此埠數加倍。
為了建構3級Clos模型(其具有兩列的枝葉開關(下方4個埠,上方4個埠),且第三列可包含在頂端處的主幹),可使用開關310中的至少8個埠。因此,可有8個第一級枝葉、8個第二級枝葉、及4個主幹,其可導致128埠開關。
對於基數(radix)R而言,2級Clos模型可提供R^2/2埠的最大值。3級Clos模型可提供R^3/4埠的最大值。更普遍地,n級Clos可提供R^n/(2(n-1))埠。Clos模型可被使用來得到整體的高埠數,其中,所耗費的晶片可被計算為(2n-1)/(2(n-1)*R^2。因此,在此數目的級數中,Clos模型會耗費二次數目的晶片。在此數目的級數中,會想要達
到盡可能高的基數。藉由將此底部級實施為負載平衡環,可增加Clos模型的整體埠數或規模,而與此模型是否包含兩級或三級無關。一般而言,可實施降低級數的設計,或設計根據較高的基數有效開關而實施此等級的其中一級。
圖4繪示依據某些實施例之範例光學插線面板230實施。光學插線面板230包含被動光學連接,其使來自計算節點的光學通道與其他元件(諸如,經由上鏈的輸入-輸出(I/O)子系統及/或開關)相連接,而形成架組成件100內及/或架組成件之間的結構拓樸。光學插線面板230包括多個光學纜線402、404、406、408、410等,其包含外部光學纜線116,其提供如參考圖1所述的架組成件中所包括之托盤(例如,1、2、3、4、5、...N)之間之通訊式的連接。光學插線面板230另包括上鏈纜線412,其提供與其他架組成件之通訊式的連接。光學插線面板230包含環模型,且允許插線面板230與架組成件100及包含架組成件100的計算環境中所包括之子系統之間的外部連接。應該被理解的是,可實施多種結構連接拓樸;所繪示的實施不受限於圖4中所顯示的環範例。此類拓樸可包括,但可不受限於二維(2D)及三維(3D)之環面(Torus)及其他網狀型式的組態。
圖5繪示依據某些實施例之托盤102的透視圖。應該被瞭解的是,托盤102可包含架組成件100之聚集及分布的子托盤層。托盤102可包括中介板502,平面電路板
504(例如,滑車(諸如,滑車142)可經由共平面或垂直的連接器(未顯示)而被插入至中介板502中。夾層卡(例如,夾層卡506)(其可包括連網元件112或被包括於連網元件112中)可例如經由豎卡(riser)連接器(未顯示)而插入至中介板502中。夾層卡506的放大圖560被顯示於圖5中。
平面電路板504還可被組構成用作為垂直匣的基部。平行光學連接器512(與114類似)可為托盤102殼體的部分,且未直接地附接至共平面、垂直、或夾層卡或板的任一者。光學連接器512係參考圖6而更詳細地予以說明。光纖段528(與光學跳接纜線128類似)可使光學連接器512連接至夾層卡506。其他的訊號(諸如,電力訊號)可經由托盤中介板502而連接(未顯示)。
架組成件(諸如,架組成件100)可與架組成件100中的所有托盤(例如,102)之可用的總成電力、插線面板(例如,被動插線面板230)、及插線面板230與各個托盤102之間的佈線(cabling)一起予以組構。此組態允許與架組成件100獨立的托盤102之升級。
如參考圖5所述,插入至架組成件100中的托盤102可包括用以使電力、連網、儲存、管理、及伺服器/計算互連的中介板502。這些元件的各者可與其他獨立。連網子系統可包括連網電路,及可被插入至托盤102中之共平面的夾層模組(例如,夾層卡506)中之佈線。連網子系統可藉由移除與夾層卡506的纜線連接,且取代夾層卡506而被升級。
因為伺服器/計算子系統可與連網子系統獨立,所以伺服器/計算子系統可與連網子系統可獨立地予以升級。如同由箭頭570所表示,托盤102在其前端572處可為可移除的,且在其後端574處可附接至架組成件。
圖6繪示依據某些實施例之托盤102的透視圖,其中,某些連接元件被更詳細地顯示。
如參考圖1所述,此光學通訊系統可包括組件124、128、114、及116,該等組件的某些在此更詳細地予以說明。如以上所討論的,此光學統訊系統組件的某些組件可存在於夾層卡506上。例如,光學模組124可包含具有一些(例如,N)光纖連接(其經由光學連接器606而介接至夾層多光纖纜線(諸如,光學跳接纜線128))的矽光子(SiP)模組。夾層多光纖纜線(諸如,光學跳接纜線128)可提供嵌入於此系統中的光學,而仍然允許具有單一多光纖隔板連接的架殼之前端或後端中的光學連接。這可讓計算或輸入-輸出托盤(例如,托盤102)能夠可自此前端存取,以供簡單移除之用。
光學跳接纜線128可經由光學連接器114而與外部光學纜線116通訊式地相連接。光學連接器114可包括連接器插座630,其可被附接於托盤102的前端572附近。插座630可提供參考給藉由來自內部光纖跳線的插座630與外部光學纜線116的光子連接器插頭632所構成之光子連接器配對。對於64個光纖的總可擴展性解決方式,光學連接器114可被組構成支援達到4列,各列有16個光
纖,其可導致大於每平方毫米一個光纖的光纖密度。如所顯示,光子連接器插頭632可包括光纖接頭622及接頭殼體624。機械對準公差可藉由機械對準接腳648及閂鎖機構650來予以提供。
圖6顯示具有24個光纖(以3列,各列有8個來予以配置,其藉由此設計的光纖接頭622部分中之透鏡來予以表示)的光子連接器插頭632之實施。此特定的實施僅為了例示目的來予以顯示;依據所述的設計之其他實施可予以達成。如以上所述,與光子連接器插頭632相耦接的外部光學纜線116可實施伺服器/計算子系統與插線面板(例如,230)或分離的連網元件(例如,106)(諸如,架頂端(Top-of-Rack,TOR)開關)之間的光學連接。與連接器插頭632一起組構的外部光學纜線可提供各個光學通道至插線面板230的1:1光學連接。
圖7為繪示依據某些實施例之可被運用於資料中心中的範例分離式計算系統700之方塊圖。範例系統700可包括圖1-6中所討論之架組成件100的一個或多個組件。
範例系統700包括一個或多個托盤702(與102類似),其可包含一個或多個CPUs(中央處理單元)710,及經由介面720(諸如,雙倍資料速率(DDR)同步動態隨機存取記憶體介面(SDRAM),及控制和開機支援(未顯示))而耦接之相關聯的記憶體712。在某些實施例中,包含托盤702的計算節點可構成伺服器。
在托盤702之間的通訊可經由矽光子模組718(與光學
模組124類似)而被聚集至開關(諸如,架頂端(ToR)開關704),其可被組構成提供計算節點與其他裝置的通訊互連。ToR開關704可經由透過光學纜線730的網路介面晶片(NIC)714而通訊至托盤702中的個別計算節點,而且支援固態碟機(SSDs)716的陣列。此組態可允與計算及記憶體基礎架構的模組升級。應該理解的是,分散式計算系統架構的其他組態(例如,包括分散的記憶體系統)是可行的。
圖8為繪示依據某些實施例之可被運用於資料中心中的另一範例分離式計算系統800之方塊圖。如所顯示,系統800可包括參考圖7所討論的一個或多個托盤702,以及遠端儲存器802。如所顯示,計算及網路功能可被分佈於系統組件之間,如同分別由標號810及812所表示。開關802(例如,被集成於開關晶片中)可被組構成支援托盤702之間的資料串流之聚集,以降低整體的光纖及佈線負擔,以及分散式的交換功能。此方法可允許資料中心基礎架構各處的資源之精細佈署,且可以可在不同的計算元件之間共用系統資源的此種方式而支援此架構的可升級及重新分割之精細方法。應該瞭解的是,此範例系統800中的組件810及812可動態且非對稱地予以對換,而使得在托盤702的特定計算節點之間的頻寬之改善可個別地予以升級。
圖9為包含可與圖1的架組成件100中所使用之計算節點類似的計算節點900之計算模組的方塊圖(之後,將
可交換地使用計算節點與計算模組的術語)。可例如使用計算節點900,以構成依據參考圖1-9所述的實施例之資料中心的各種計算結構(例如,伺服器)。計算模組900可例如包含膝上型電腦、桌上型電腦、平板電腦、行動裝置、伺服器、或刀鋒伺服器、上網機(netbook)、筆記型電腦、超極緻筆電(ultrabook)、智慧型電話、個人數位助理器(PDA)、超行動PC(個人電腦)、列印機、掃描器、監測器、機上盒、娛樂控制單元、數位相機、可攜式音樂播放器、或數位錄影機等。在另外的實施中,計算模組900可為處理資料之任何其他的電子裝置。
在某些範例中,計算模組或計算節點為能夠跨過多節點系統而通訊至另一個模組的任何裝置。因此,在某些範例中,多節點系統為模組的網路,其中,各個模組為能夠跨過此網路通訊的任何裝置。另外,在某些範例中,多節點為架伺服器系統中的伺服器。計算模組900可包括中央機構(central authority),其被耦接至複數個節點,且包含供資料中心或伺服器群中的複數個節點之用的管理韌體。
計算模組900可包括主機中央處理單元(CPU)902(其被組構成執行儲存的指令),以及記憶體裝置904(其儲存可被主機CPU 902執行的指令)。主機CPU 902可藉由匯流排906而被耦接至記憶體裝置904。另外,主機CPU 902可為單核處理器、多核處理器、計算叢集器、或任何數目的其他組態。在某些情況中,主機CPU 902及計算模組900的其他組件可被實施為晶片上系統(SOC)。此外,
計算模組900可包括超過一個的主機CPU 902。記憶體裝置904可包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、快閃記憶體、或任何其他適合的記憶體系統。例如,記憶體裝置904可包括動態隨機存取記憶體(DRAM)。
此計算模組可被通訊式地連接至基板908。基板908可包含中央機構910。此中央機構被使用來管理連接至此基板的各個節點。另外,各個計算模組還可包括複數個感測器912。此等感測器可收集關於其各自節點的的資料。例如,感測器可收集各個節點的系統管理資訊。此資料可包括電力管理資料、濕度控制資料、冷卻控制資料、工作負載供應資料(workload provisioning data)、儲存器服務資料、I/O資料、產出資料、等等。此系統管理資料被發送至中央機構。
各個計算模組還包括邏輯914。邏輯914能夠實施各個節點的系統管理資料之監測。系統管理資料可經由邏輯914而被傳遞至中央機構910。在某些情況中,系統管理資料經由許多不同的介面而被收集。例如,一般用途輸入/輸出(GPIO)介面可被使用而能夠自主機CPU 902存取計算模組900的電力控制、重置、及狀態資訊。低接腳數(LPC)或加強式序列週邊介面(eSPI)匯流排可被使用來支援計算模組900的各種嵌入式控制器。另外,平台環境控制介面(PECI)可被使用來管理計算模組900內的熱感測器。邏輯914可自各種介面獲得系統管理資訊,且將此資料發
送至此中央機構。同樣地,此中央機構可藉由將資訊發送至邏輯914而管理計算模組900。邏輯914可將必要的資訊發送至主機CPU 902。以此方式,標準化集的介面可被使用來與主機CPU 902相通訊。
圖9的方塊圖不意謂表示計算模組900係要包括圖9中所顯示之所有的組件。另外,計算模組900可依據特定實施的細節而包括圖9中所顯示之任何數目的額外組件。此外,計算模組900可包括比圖9中所繪示的那些組件更少之組件。例如,計算模組900可包括GPU、I/O裝置介面、或顯示介面。
在此所述的實施例另可藉由下面的範例來予以繪示。範例1係要被配置於架組成件中的托盤,該托盤包含:複數個滑車,其中,個別的滑車包括一個或多個計算節點;以及連網元件,係與該複數個滑車的其中之一滑車相耦接,且被組構成使該滑車經由光學通訊系統而通訊式地連接至該架組成件的一個或多個其他的組件,其中,該光學通訊系統包括外部光學纜線,其被組構成使該連網元件與該架組成件通訊式地相連接。
範例2可包括範例1的標的,且另指定該連網元件包括開關組件,其被組構成使該等滑車通訊式地連接至該光學通訊系統。
範例3可包括範例2的標的,且另指定該連網元件包括控制單元,其被組構成管理由該開關組件所提供的通訊連接。
範例4說明一種架組成件,包含如申請專利範圍第2項的托盤;以及該光學通訊系統,其中,該光學通訊系統另包括光學模組,其被組構成使該連網元件經由該開關組件而與該架組成件通訊式地相連接,以發送及接收光學資料串流。
範例5可包括範例4的標的,且另指定該光學模組被組構成經由光學跳接纜線而與該外部光學纜線通訊式地相連接。
範例6可包括範例5的標的,且另指定該架組成件另包含插線面板,其中,該至少一外部光學纜線被組構成使該連網元件與該架組成件的該插線面板通訊式地相連接。
範例7可包括範例6的標的,且另指定該插線面板為被動插線模型,其被組構成提供該架組件內,或該架組件與另一架組成件之間的通訊連接,該等通訊連接構成連接模型。
範例8可包括範例7的標的,且另指定該連接模型包括n-維(N-D)環狀拓樸、Clos拓樸、或其組合。
範例9可包括範例6的標的,且另指定該托盤包含前端及後端,其中,該托盤被配置於該架組成件中,其中,該後端面向該架組成件的框架。
範例10可包括範例9的標的,且另指定該外部光學纜線用配置於該架組成件的該前端處之平行光學連接器而與該光學跳接纜線通訊式地相連接。
範例11可包括範例9的標的,且另指定該連網元件
包含夾層卡,其被配置於該托盤的該後端中。
範例12可包括範例4至11的標的,且另指定該滑車被組構成可自該托盤移除,而不需使該托盤自該架組成件移除。
範例13可包括範例4至11的標的,且另指定該計算節點包含中央處理單元。
範例14可包括範例4至11的標的,且另指定該計算節點包含記憶體。
範例15為一種架組成件之構成方法,包含:構成托盤,該托盤包括:複數個滑車,其中,個別的滑車包括一個或多個計算節點;及連網元件,係與該複數個滑車的其中之一滑車相耦接,且被組構成使該滑車經由光學通訊系統而通訊式地連接至該架組成件的一個或多個其他的組件;以及使該托盤通訊式地連接至具有該光學通訊系統的該架組成件,其中,該光學通訊系統包括外部光學纜線,其被組構成使該連網元件與該架組成件通訊式地相連接。
範例16可包括範例15的標的,且另指定構成該托盤另包括:組裝該連網元件,包括添加被組構成使該複數個滑車通訊式地連接至該光學通訊系統的開關組件,以及使該開關組件與被組構成提供該托盤的網路連接之網路介面組件相耦接。
範例17可包括範例15的標的,且另指定構成該托盤另包括:組裝該光學通訊系統,包括提供被組構成使該連網元件經由該開關組件而與該架組成件的一個或多個組件
通訊式地相連接之光學模組,以發送及接收光學資料串流;以及使該光學模組經由光學跳接纜線而通訊式地相連接至外部光學纜線,該外部光學纜線被組構成使該連網元件與該架組成件的插線面板通訊式地相連接。
範例18可包括範例17的標的,且另指定構成該托盤另包括:將平行光學連接器配置於該托盤的前端附近;以及使該光學跳接纜線經由該平行光學連接器而與該外部光學纜線通訊式地相連接。
範例19可包括範例18的標的,且另指定將該托盤配置於該架組成件上,其中,該托盤的後端面向該架組成件的框架,而該托盤的該前端面向外面。
範例20可包括範例15至19的標的,且另指定該計算節點包含中央處理單元及/或記憶體。
各種操作以瞭解所主張的標的之最有幫助的方式而被依序地敘述為多個分離操作。然而,說明的順序不應該被解釋為意謂這些操作為必然相依的順序。本發明的實施例可使用所想要組構之任何適當的硬體及/或軟體而被實施於系統中。
雖然為了說明的目的,在此已繪示及說明某些實施例,但是在不脫離本揭示的範圍之下,適合達成相同目的之廣泛的替代及/或等效實施例或實施可替代所顯示及所述的實施例。此申請案意謂涵蓋在此所討論的實施例之任何改寫或變化。因此,清楚地意謂在此所述的實施例僅藉由申請專利範圍及其等效來予以限制。
100‧‧‧架組成件
102‧‧‧托盤
104‧‧‧托盤
106‧‧‧托盤
110‧‧‧計算節點
112‧‧‧連網元件
114‧‧‧光學連接器
116‧‧‧外部光學纜線
118‧‧‧電力連接器
120‧‧‧通訊式的連接
122‧‧‧開關
124‧‧‧光學模組
126‧‧‧控制單元
128‧‧‧光學跳接纜線
130‧‧‧架資源組件
142‧‧‧滑車
Claims (15)
- 一種架組成件,包含:要被配置於該架組成件中的托盤,該托盤包含:複數個滑車,其中,個別的滑車包括一個或多個計算節點;以及連網元件,係與該複數個滑車的其中之一滑車相耦接,且被組構成使該滑車經由光學通訊系統而通訊式地連接至該架組成件的一個或多個其他的組件,其中,該光學通訊系統包括外部光學纜線,其被組構成使該連網元件與該架組成件通訊式地相連接,並且其中,該連網元件包括開關組件,其被組構成使該等滑車通訊式地連接至該光學通訊系統;該光學通訊系統,其中,該光學通訊系統另包括光學模組,其被組構成使該連網元件經由該開關組件而與該架組成件通訊式地相連接,以發送及接收光學資料串流;以及插線面板,其中,該至少一外部光學纜線被組構成使該連網元件與該架組成件的該插線面板通訊式地相連接。
- 如申請專利範圍第1項之架組成件,其中,該光學模組被組構成經由光學跳接纜線而與該外部光學纜線通訊式地相連接。
- 如申請專利範圍第1項之架組成件,其中,該插線面板為被動插線模型,其被組構成提供該架組件內,或該架組件與另一架組成件之間的通訊連接,該等通訊連接構 成連接模型。
- 如申請專利範圍第3項之架組成件,其中,該連接模型包括n-維(N-D)環狀拓樸、Clos拓樸、或其組合。
- 如申請專利範圍第1項之架組成件,其中,該托盤包含前端及後端,其中,該托盤被配置於該架組成件中,其中,該後端面向該架組成件的框架。
- 如申請專利範圍第5項之架組成件,其中,該外部光學纜線用配置於該架組成件的該前端處之平行光學連接器而與該光學跳接纜線通訊式地相連接。
- 如申請專利範圍第5項之架組成件,其中,該連網元件包含夾層卡,其被配置於該托盤的該後端中。
- 如申請專利範圍第1至7項的任一項之架組成件,其中,該滑車被組構成可自該托盤移除,而不需使該托盤自該架組成件中移除。
- 如申請專利範圍第1至7項的任一項之架組成件,其中,該計算節點包含中央處理單元。
- 如申請專利範圍第1至7項的任一項之架組成件,其中,該計算節點包含記憶體。
- 一種架組成件之構成方法,包含:構成托盤,該托盤包括:複數個滑車,其中,個別的滑車包括一個或多個計算節點;及連網元件,係與該複數個滑車的其中之一滑車相耦接,且被組構成使該滑車經由光學通訊系統而通訊式地 連接至該架組成件的一個或多個其他的組件;使該托盤通訊式地連接至具有該光學通訊系統的該架組成件,其中,該光學通訊系統包括外部光學纜線,其被組構成使該連網元件與該架組成件通訊式地相連接;組裝該光學通訊系統,包括提供被組構成使該連網元件經由該開關組件而與該架組成件的一個或多個組件通訊式地相連接之光學模組,以發送及接收光學資料串流;以及使該光學模組經由光學跳接纜線而通訊式地相連接至外部光學纜線,該外部光學纜線被組構成使該連網元件與該架組成件的插線面板通訊式地相連接。
- 如申請專利範圍第11項之方法,其中,構成該托盤另包括:組裝該連網元件,包括添加被組構成使該等滑車通訊式地連接至該光學通訊系統的開關組件,以及使該開關組件與被組構成提供該托盤的網路連接之網路介面組件相耦接。
- 如申請專利範圍第11項之方法,其中,構成該托盤另包括:將平行光學連接器配置於該托盤的前端附近;以及使該光學跳接纜線經由該平行光學連接器而與該外部光學纜線通訊式地相連接。
- 如申請專利範圍第13項之方法,另包含:將該托盤配置於該架組成件上,其中,該托盤的後端 面向該架組成件的框架,而該托盤的該前端面向外面。
- 如申請專利範圍第11至14項的任一項之方法,其中,該計算節點包含中央處理單元及/或記憶體。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361752966P | 2013-01-15 | 2013-01-15 | |
| US201361752963P | 2013-01-15 | 2013-01-15 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201444453A TW201444453A (zh) | 2014-11-16 |
| TWI568335B true TWI568335B (zh) | 2017-01-21 |
Family
ID=51210028
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW103101431A TWI568335B (zh) | 2013-01-15 | 2014-01-15 | 架組成件結構 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US9609782B2 (zh) |
| TW (1) | TWI568335B (zh) |
| WO (1) | WO2014113451A1 (zh) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2811420C (en) * | 2010-09-28 | 2015-09-01 | Williams Robotics Llc | Automated apparatus for constructing assemblies of building components |
| TWI568335B (zh) | 2013-01-15 | 2017-01-21 | 英特爾股份有限公司 | 架組成件結構 |
| CA2921751C (en) * | 2013-08-29 | 2017-03-28 | Dan Oprea | Method and apparatus to manage the direct interconnect switch wiring and growth in computer networks |
| US20160006808A1 (en) * | 2014-07-07 | 2016-01-07 | Samsung Electronics Co., Ltd. | Electronic system with memory network mechanism and method of operation thereof |
| US9652429B2 (en) * | 2015-09-16 | 2017-05-16 | Onulas, Llc | Horizontally expandable computing system |
| US10034407B2 (en) * | 2016-07-22 | 2018-07-24 | Intel Corporation | Storage sled for a data center |
| US20180150256A1 (en) | 2016-11-29 | 2018-05-31 | Intel Corporation | Technologies for data deduplication in disaggregated architectures |
| US11182315B2 (en) * | 2017-02-10 | 2021-11-23 | Intel Corporation | Apparatuses, methods, and systems for hardware control of processor performance levels |
| US10334330B2 (en) * | 2017-08-03 | 2019-06-25 | Facebook, Inc. | Scalable switch |
| US20190044809A1 (en) | 2017-08-30 | 2019-02-07 | Intel Corporation | Technologies for managing a flexible host interface of a network interface controller |
| US20190068466A1 (en) * | 2017-08-30 | 2019-02-28 | Intel Corporation | Technologies for auto-discovery of fault domains |
| DE112018005298A5 (de) * | 2017-09-19 | 2020-06-18 | Osram Gmbh | System zur Übertragung von Daten |
| KR101898601B1 (ko) * | 2018-04-09 | 2018-09-13 | 손규열 | 광케이블 단자함 |
| US10725245B2 (en) | 2018-12-16 | 2020-07-28 | Hewlett Packard Enterprise Development Lp | High-density fabric systems interconnected with multi-port aggregated cables |
| GB201904267D0 (en) * | 2019-03-27 | 2019-05-08 | Graphcore Ltd | A networked computer with multiple embedded rings |
| CN113711703B (zh) * | 2019-04-15 | 2023-05-12 | 康普技术有限责任公司 | 数据中心内的电缆布置 |
| NL2023308B1 (nl) * | 2019-06-13 | 2021-01-21 | Anthonius Cornelis Van Rooden Johannes | Ethernet netwerk met verbeterde netwerk switch. |
| US11321259B2 (en) * | 2020-02-14 | 2022-05-03 | Sony Interactive Entertainment Inc. | Network architecture providing high speed storage access through a PCI express fabric between a compute node and a storage server |
| US20240168234A1 (en) * | 2022-11-17 | 2024-05-23 | Panduit Corp. | Fabric network modules |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110268441A1 (en) * | 2009-01-09 | 2011-11-03 | Martin Goldstein | Configurable point-to-point optical communications system between servers |
| CN102844725A (zh) * | 2009-12-28 | 2012-12-26 | 惠普发展公司,有限责任合伙企业 | 用于在数据中心中提供物理分离的计算和i/o资源以实现空间和功率节约的系统 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7289334B2 (en) * | 2003-08-27 | 2007-10-30 | Epicenter, Inc. | Rack architecture and management system |
| US7898117B2 (en) * | 2008-05-22 | 2011-03-01 | International Business Machines Corporation | Modular racks and methods of use |
| US20100024001A1 (en) * | 2008-07-25 | 2010-01-28 | International Business Machines Corporation | Securing Blade Servers In A Data Center |
| US8538226B2 (en) * | 2009-05-21 | 2013-09-17 | Corning Cable Systems Llc | Fiber optic equipment guides and rails configured with stopping position(s), and related equipment and methods |
| BR112012004133A2 (pt) * | 2009-08-26 | 2017-07-25 | Commscope Inc North Carolina | módulo adaptado para uso com um rack de telecomunicações, armação ou gabinete, gabinete de comunicações de dados, cassete, e, estrutura de montagem de equipamento de comunicações de dados |
| CN102483644B (zh) * | 2009-09-09 | 2014-12-24 | 株式会社日立制作所 | 信息处理系统的运用管理方法及信息处理系统 |
| KR100970121B1 (ko) | 2009-12-24 | 2010-07-13 | (주)올라웍스 | 상황에 따라 적응적으로 이미지 매칭을 수행하기 위한 방법, 시스템, 및 컴퓨터 판독 가능한 기록 매체 |
| US20110164880A1 (en) | 2010-01-06 | 2011-07-07 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Data center with free-space optical communications |
| US8594100B2 (en) * | 2010-03-31 | 2013-11-26 | International Business Machines Corporation | Data frame forwarding using a distributed virtual bridge |
| US8984109B2 (en) * | 2010-11-02 | 2015-03-17 | International Business Machines Corporation | Ensemble having one or more computing systems and a controller thereof |
| US20120155885A1 (en) * | 2010-12-21 | 2012-06-21 | Hannah Eric C | Rack to rack optical communication |
| US8867214B2 (en) * | 2011-12-15 | 2014-10-21 | Amazon Technologies, Inc. | Modular server design for use in reconfigurable server shelf |
| US8902593B2 (en) * | 2012-04-11 | 2014-12-02 | Dell Products L.P. | System and method for coupling information handling systems in a modular chassis |
| US9483089B2 (en) * | 2012-10-12 | 2016-11-01 | Dell Products, Lp | System and method for integrating multiple servers into single full height bay of a server rack chassis |
| TWI568335B (zh) * | 2013-01-15 | 2017-01-21 | 英特爾股份有限公司 | 架組成件結構 |
-
2014
- 2014-01-15 TW TW103101431A patent/TWI568335B/zh not_active IP Right Cessation
- 2014-01-15 US US14/236,583 patent/US9609782B2/en active Active
- 2014-01-15 WO PCT/US2014/011643 patent/WO2014113451A1/en not_active Ceased
-
2016
- 2016-12-14 US US15/378,786 patent/US9904027B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110268441A1 (en) * | 2009-01-09 | 2011-11-03 | Martin Goldstein | Configurable point-to-point optical communications system between servers |
| CN102844725A (zh) * | 2009-12-28 | 2012-12-26 | 惠普发展公司,有限责任合伙企业 | 用于在数据中心中提供物理分离的计算和i/o资源以实现空间和功率节约的系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20170102510A1 (en) | 2017-04-13 |
| US9904027B2 (en) | 2018-02-27 |
| WO2014113451A1 (en) | 2014-07-24 |
| US20150334867A1 (en) | 2015-11-19 |
| TW201444453A (zh) | 2014-11-16 |
| US9609782B2 (en) | 2017-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI568335B (zh) | 架組成件結構 | |
| US10474460B2 (en) | Technologies for optical communication in rack clusters | |
| US10491302B1 (en) | Rack-level photonic solution | |
| AU2018200158B2 (en) | Method And Apparatus To Manage The Direct Interconnect Switch Wiring And Growth In Computer Networks | |
| US9325604B2 (en) | System and method for data center optical connection | |
| US20120250679A1 (en) | Network Transpose Box and Switch Operation Based on Backplane Ethernet | |
| US20180131634A1 (en) | Logical switches | |
| US8934483B2 (en) | Data center switch | |
| Siokis et al. | The role of optical interconnects in the design of data center architectures | |
| HK40006999A (zh) | 管理计算机网络的直接互连交换机布线与增长的方法和装置 | |
| HK1226207B (zh) | 管理计算机网络的直接互连交换机布线与增长的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |