TWI883861B - 資料伺服器系統 - Google Patents

Abstract

一種資料伺服器系統，包含設置在主板上的中央處理器及基板管理控制器，設置在基板上的乙太網路交換器、多個處理器節點、二匯流排及第一光收發器，以及設置在光模組板上的第二、第三光收發器及實體層晶片。基板管理控制器連接於中央處理器。乙太網路交換器連接於中央處理器及基板管理控制器。處理器節點連接於乙太網路交換器及中央處理器。二匯流排連接於中央處理器及處理器節點。第一光收發器連接於乙太網路交換器。第二光收發器連接於第一光收發器。實體層晶片連接於第二光收發器。第三光收發器連接於實體層晶片。

Description

資料伺服器系統

本發明係關於一種資料伺服器系統。

為因應目前網路短影音平台延伸之商業模式，主要提供影片轉碼及遊戲處理需求。商業模式之一在於提供高畫質影音轉碼營銷產品，透過短影音的平台放送，吸引客戶端購買產品興趣；商業模式之二在於提供在線遊戲實時處理，讓在線用戶享受網路遊戲平台服務。為了滿足上述平台的需求，需要提供一種能夠處理大量數據的伺服器系統。

鑒於上述，本發明提供一種資料伺服器系統。

依據本發明一實施例的資料伺服器系統，包含設置在主板上的中央處理器及基板管理控制器，設置在基板上的乙太網路交換器、多個處理器節點、第一匯流排、第二匯流排及第一光收發器，以及設置在光模組板上的第二、第三光收發器及實體層晶片。所述基板管理控制器連接於所述中央處理器。所述乙太網路交換器連接於所述中央處理器及基板管理控制器。所述處理器節點連接於所述乙太網路交換器及中央處理器。所述第一及第二匯流排連接於所述中央處理器及處理器節點。所述第一光收發器連接於所述乙太網路交換器。所述第二光收發器 連接於所述第一光收發器。所述實體層晶片連接於所述第二光收發器。所述第三光收發器連接於所述實體層晶片。

藉由上述結構，本案所揭示的資料伺服器系統，透過光收發器接收與傳輸大量資料，並以乙太網路交換器及第一及第二匯流排作為中央處理器及多個處理器節點之間資料傳輸介面，可提高伺服器的資料儲存密度及處理能力，讓用戶即時享受網路短影音平台及網路遊戲平台的大數據服務。

以上之關於本揭露內容之說明及以下之實施方式之說明係用以示範與解釋本發明之精神與原理，並且提供本發明之專利申請範圍更進一步之解釋。

1:資料伺服器系統

11:主板

12:基板

13:光模組板

101:中央處理器

102:基板管理控制器

103:乙太網路交換器

104,104-1至104-n:處理器節點

105:第一匯流排

106:第二匯流排

107:第一光收發器

108:第二光收發器

109:實體層晶片

110:第三光收發器

111:乙太網路收發器

112:USB 3.0控制器

113:USB集線器

114:USB 2.0控制器

115:USB接口晶片

116:UART控制器

117:複雜可程式化邏輯裝置

1031:第一傳輸晶片

1032:第二傳輸晶片

1033:第三傳輸晶片

1034:第四傳輸晶片

T1:第一端

T2:第二端

T3:第三端

T4:第四端

N1:第一節點

N2:第二節點

N3:第三節點

N4:第四節點

N5:第五節點

N6:第六節點

G1:第一群組

G2:第二群組

G3:第三群組

圖1係依據本發明一實施例所繪示的資料伺服器系統的方塊圖。

圖2係依據本發明一實施例所繪示的資料伺服器系統的乙太網路交換器的內部架構的示意圖。

圖3示出本發明一實施例的資料伺服器系統的第一及第二傳輸晶片在不同模式下的訊號連接關係。

圖4係依據本發明一實施例所繪示的資料伺服器系統的管理架構的示意圖。

圖5係依據本發明另一實施例所繪示的資料伺服器系統的USB拓樸設計的示意圖。

圖6係依據本發明另一實施例所繪示的資料伺服器系統的UART拓樸設計的示意圖。

以下在實施方式中詳細敘述本發明之詳細特徵以及優點，其內容足以使任何熟習相關技藝者了解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。以下之實施例係進一步詳細說明本發明之觀點，但非以任何觀點限制本發明之範疇。

請參考圖1，圖1係依據本發明一實施例所繪示的資料伺服器系統的方塊圖。如圖1所示，資料伺服器系統1包含設置在主板11上的中央處理器101及基板管理控制器102，設置在基板12上的乙太網路交換器103、多個處理器節點104、第一匯流排105、第二匯流排106及第一光收發器107，以及設置在光模組板13上的第二光收發器108、實體層晶片109及第三光收發器110。基板管理控制器102連接於中央處理器101。乙太網路交換器103連接於中央處理器101及基板管理控制器102。處理器節點104連接於乙太網路交換器103及中央處理器101。第一及第二匯流排105、106連接於中央處理器101及處理器節點104。第一光收發器107連接於乙太網路交換器103。第二光收發器108連接於第一光收發器107。實體層晶片109連接於第二光收發器108。第三光收發器110連接於實體層晶片109。

舉例而言，中央處理器101可例如為intel公司的D2775晶片，或者，資料伺服器系統1也可採用其他可處理大數據的高效能處理 器，本案不限於此。基板管理控制器102可例如為ASPEED公司的AST2600晶片，用於執行伺服器管理的處理流程，或者，本案的資料伺服器系統1也可採用其他的基板管理控制器(Board Management Controller，BMC)。中央處理器101與基板管理控制器102之間可透過多種連接器規格彼此連接，如PCIe、USB、UART、NCSI等。乙太網路交換器103(Ethernet switch)可包含多個資料傳輸晶片，用於作為主板11、基板12及光模組板13之間主要的資料傳輸介面。乙太網路交換器103與中央處理器101之間可透過多種連接器規格彼此連接，如PCIe、CAUI等。乙太網路交換器103與多個處理器節點104-1至104-n的每一者之間可透過2.5GBaseT的連接器規格彼此連接。乙太網路交換器103與第一光收發器107之間可透過100G CAUI的連接器規格彼此連接。

多個處理器節點104的每一者可為一個處理單元，例如Qualcomm公司的QCS8550晶片，或者，資料伺服器系統1也可採用其他可對大數據進行運算的高效能處理器，本案不限於此。在一實施例中，多個處理器節點104-1至104-n的數量可為240個，且這些處理器節點104-1至104-n的每四者可設置於一運算卡(POD card)上，且每一運算卡(共60張)可支持熱插拔功能。具體而言，每一張運算卡可安裝於運算卡底座的一插槽中，且透過金手指機構設計及相關線路保護機制，可以實現每一張運算卡的熱插拔功能，支持線上熱運行模式。

第一匯流排105及第二匯流排106可例如為基於PCIe連接器規格的PI7C9X2G608GP交換器。第一匯流排105可透過PCIe轉UART的轉接器連接於每一個處理器節點104。第二匯流排106可透過 PCIe轉USB 3.0的轉接器連接於每一個處理器節點104。第一及第二光收發器107、108可例如為四通道小封裝可插拔(Quad Small Form-factor Pluggable，QSFP)的收發器，並支持100G的資料傳輸速率。第三光收發器110可包含雙通道小封裝可插拔(dual Small Form-factor Pluggable，DSFP)及四通道小封裝可插拔(QSFP)的收發器，並支持100G的資料傳輸速率。特別來說，一組光收發器可包含兩個光收發元件。實體層晶片109可例如為Broadcom公司的BCM81358晶片，其屬於一種低功耗元件，且具有重計時(retime)及均衡(equalize)之功能。

透過上述配置，240個處理器節點可透過2.5G Base-T的網路接口進行資料傳輸，並將這240路2.5G Base-T通過兩級乙太網路交換器匯聚為2個100G上行光傳輸接口；支持兩路UART至各處理器節點，主UART採用USB轉UART，備用UART採用PCIe轉UART並經過複雜可程式邏輯元件多工器(CPLD MUX)切換，後者為備份設計方案，提高系統管理的可靠性；支持USB3.0至各處理器節點，以實現各個處理器節點的韌體升級。

請結合圖1參考圖2，圖2係依據本發明一實施例所繪示的資料伺服器系統的乙太網路交換器的內部架構的示意圖。如圖2所示，本例的乙太網路交換器103可包含二第一傳輸晶片1031、一第二傳輸晶片1032、多個第三傳輸晶片1033及多個第四傳輸晶片1034。所述二第一傳輸晶片1031可透過第一端T1連接於中央處理器101，並透過第二端T2連接於第一光收發器107。第二傳輸晶片1032連接於所述二第一傳輸晶片1031。多個第三傳輸晶片1033連接於第二傳輸晶片1032。多個第四傳輸 晶片1034連接於多個第三傳輸晶片1033，並透過第三端T3連接於多個處理器節點104。

在本例中，第一傳輸晶片1031可為Broadcom公司的BCM81381晶片，第二傳輸晶片1032可為Broadcom公司的BCM56771晶片，第三傳輸晶片1033可為Broadcom公司的BCM56072晶片，第四傳輸晶片1034可為Broadcom公司的BCM54908E晶片。第一傳輸晶片1031與第二傳輸晶片1032之間可透過CAUI的連接器規格連接，且支持100G的資料傳輸速率。第二傳輸晶片1032與第三傳輸晶片1033之間可透過Base-KR4的連接器規格連接，且支持100G的資料傳輸速率。第三傳輸晶片1033與第四傳輸晶片1034之間可透過QXGMII的連接器規格連接，且支持100G的資料傳輸速率。進一步，本例的第三傳輸晶片1033的數量可為5個，第四傳輸晶片的數量可為30個，處理器節點104的數量可為240個。即，第二傳輸晶片1032可連接於5個第三傳輸晶片1033，每個第三傳輸晶片1033可連接於6個第四傳輸晶片1034，每個第四傳輸晶片1034可連接於8個處理器節點104。進一步，本例的資料伺服器系統可包含多個轉接元件。這些轉接元件透過Base-T連接埠連接於所述多個處理器節點104，且透過PCIe連接埠連接於乙太網路交換器103的第四傳輸晶片1034。

各處理器節點的PCIe透過Intel的乙太網路控制器I226轉為2.5GBase-T進入系統的乙太網鏈路；系統使用30個BCM54908E將每8個2.5GBase-T轉為2路10G QXGMII至5個BCM56072轉為5路100G Base-KR，再透過BCM56771彙聚為2個100G上行口；系統的2個 100G上行口透過主動式光纜連接至光模組板，透過BCM81358做重計時/適配(Retimer/Gearbox)以支持QSFP或DSFP；使用2個BCM81381執行一般模式(Normal Mode)實現100G雙上聯；使用2個BCM81381執行多工模式(MUX mode)實現雙口預啟動執行環境(Preboot eXecution Environment，PXE)。

請結合圖1、圖2參考圖3，圖3示出本發明一實施例的資料伺服器系統的第一及第二傳輸晶片在不同模式下的訊號連接關係。如圖3所示，二第一傳輸晶片1031支持100G的資料傳輸速度，且用於受到基板管理控制器102的控制被切換為一第一模式或一第二模式。在第一模式下，中央處理器101可直接透過二第一傳輸晶片1031的第一節點N1及第二節點N2接收來自第一光收發器107的訊號。在第二模式下，中央處理器101透過二第一傳輸晶片1031的第一節點N1及第三節點N3和第二傳輸晶片1032的第五節點N5接收來自第一光收發器107的訊號。也就是說，在第一模式下，從第三光收發器110接收的訊號經過實體層晶片109、第二光收發器108傳輸至第一光收發器107，並經過第一傳輸晶片1031的第二節點N2及第一節點N1傳輸至中央處理器101。在第二模式下，從第三光收發器110接收的訊號經過實體層晶片109、第二光收發器108傳輸至第一光收發器107，並透過第一傳輸晶片1031的第二節點N2及第四節點N4傳輸至第二傳輸晶片1032(透過第六節點N6)，再透過第二傳輸晶片1032的第五節點N5及第一傳輸晶片的第三節點N3及第一節點N1傳輸至中央處理器101。所述第一模式對應於上述的一般模式，第二模式對應於上述的多工模式。

請結合圖1、圖2參考圖4，圖4係依據本發明一實施例所繪示的資料伺服器系統的管理架構的示意圖。如圖4所示，中央處理器101可用於管理第二傳輸晶片1032及多個第三傳輸晶片1033，且每個第三傳輸晶片1033可用於管理多個第四傳輸晶片1034。具體而言，中央處理器101可透過4個PCIeGen3管理第二傳輸晶片1032，並透過5個PCIeGen3分別管理5個第二傳輸晶片1032。基板管理控制器102可連接於一乙太網路收發器111，並用於管理實體層晶片109及兩個第一傳輸晶片1031。透過此配置，基板管理控制器102可透過MDC/MDIO接口完成2個BCM81381和BCM81358的初始化；中央處理器101透過PCIe接口來管理BCM56771和5個BCM56072；每個BCM56072透過2個MDC/MDIO接口管理6個BCM54908E。

請結合圖1參考圖5，圖5係依據本發明另一實施例所繪示的資料伺服器系統的USB拓樸設計的示意圖。本例的資料伺服器系統可更包含多個通用序列匯流排，連接於第二匯流排106與處理器節點104之間。如圖5所示，中央處理器101可透過1個PCIe2.0×4接口連接於第二匯流排106。第二匯流排106可透過4個PCIe2.0×1接口連接於4個第一群組G1的USB 3.0控制器112。中央處理器101可透過8個PCIe2.0×1接口連接於8個第一群組G1的USB 3.0控制器112。也就是說，中央處理器101可一共連接於12個第一群組G1的USB 3.0控制器112。中央處理器101還可透過1個PCIe2.0×1接口連接於1個第二群組G2的USB 3.0控制器112。在每個第一群組G1中，USB 3.0控制器112可分別透過3個USB 3.0接口連接於3個USB集線器113，3個USB集線器113再分別透過6個USB 3.0接口連接於一共18個處理器節點104。每個第一群組G1中，USB 3.0控制器112還可透過1個USB 3.0接口連接於1個處理器節點104。也就是說，在第一群組G1中，每個USB 3.0控制器112可連接於19個處理器節點104。

在第二群組G2中，USB 3.0控制器112可透過2個USB 3.0接口連接於2個USB集線器113，2個USB集線器113再分別透過6個USB 3.0接口連接於一共12個處理器節點104。也就是說，在第二群組G2中，每個USB 3.0控制器112可連接於12個處理器節點104。在此架構下，中央處理器101可透過第一群組G1及第二群組G2的USB 3.0控制器112以通用序列匯流排連接至12×19+12=240個處理器節點104。另外，中央處理器101還可透過USB連接埠連接於基板管理控制器102，且具有備用的USB連接埠以供其他裝置進行連接。

請參考圖6，圖6係依據本發明另一實施例所繪示的資料伺服器系統的UART拓樸設計的示意圖。本例的資料伺服器系統可更包含多個通用非同步收發傳輸器，連接於第一匯流排105與多個處理器節點104之間，這些通用非同步收發傳輸器包含多個主要傳輸器及多個備用傳輸器。如圖6所示，中央處理器101可透過1個PCIe2.0×1接口連接於第一匯流排105。第一匯流排105可透過4個PCIe2.0×1接口連接於4個第三群組G3的USB 3.0控制器112。也就是說，中央處理器101可一共連接於4個第三群組G3的USB 3.0控制器112。在每個第三群組G3中，USB 3.0控制器112可分別透過2個USB 2.0接口連接於2個USB 2.0控制器114，4個USB 2.0控制器114再分別透過7個USB 2.0接口連接於7個 USB接口晶片115。每個USB接口晶片115可透過UART連接埠連接於4個處理器節點104。在每個第三群組G3中，USB 3.0控制器112還可透過1個USB 2.0接口連接於1個USB接口晶片115以透過UART連接埠連接至4個處理器節點104。也就是說，在第三群組G3中，每個USB 3.0控制器112可連接於4×7×2+4=60個處理器節點104。另外，第一匯流排105還可透過1個PCIe1.0×1接口連接於UART控制器116。UART控制器116可透過8個UART連接埠連接至複雜可程式邏輯裝置(Complex Programmable Logic Device，CPLD)117。複雜可程式邏輯裝置117可透過240個UART連接埠連接至240個處理器節點104，以作為備用傳輸器。

舉例而言，上述實施例的USB 3.0控制器可採用Renesas公司的UPD720201晶片實現。USB集線器113可採用Microchip公司的USB5806晶片實現。USB 2.0控制器114可採用Microchip公司的USB2517晶片實現。USB接口晶片115可採用FTDI公司的FT4232晶片實現。UART控制器116可採用MAXLinear公司的XR17V358晶片實現。然本案不限於選用上述元件。透過本實施例的配置，資料伺服器系統可支持2個前置USB3.0接口，CPU與BMC之間預留USB2.0接口用於通訊。本系統提供了240路USB3.0以實現對各節點中的QCS8550透過USB3.0進行韌體升級的功能。本方案中分配了CPU的PCIe口並通過PCIe Switch PI7C9X2G608GP擴展為13路PCIe2.0，再由USB控制器uPD720201搭配USB集線器擴展出240路USB3.0。其中受限於uPD720201支持的插槽及端點數量，一個uPD720201可擴展出19個 USB3.0，因此本方案中使用了12組1×uPD720201+3×USB5806的組合方案，外加1組1×uPD720201+2×USB5806的組合方案，實現了本系統中240路USB3.0的需求。

透過本實施例的配置，本系統支持兩路UART至各節點，一路為主要UART，一路為備用UART。在本方案中分配CPU的1路X1PCIe2.0，通過PCIe交換器PI7C9X2G608GP擴展為5路PCIe，其中4路通過PCIe轉USB、USB轉UART的方案來擴展出240路主要UART，實現方案為：4組1×uPD720201+2×USB2517+7×FT4232；另一路PCIe透過XR17V358轉為8路URAT，再由CPLD實現240路備用UART的擴展及切換。

關於PCIe的分配請參考以下描述，網路交換器BCM56771佔用一個PCIe3.0x4，5個BCM56072佔用5個PCIe3.0×1；UART：PCIe2.0x1透過交換器擴展4個PCIe2.0×1接4個USB控制器供USB-UART轉換晶片使用+擴展1路PCIe2.0×1接PCIe-UART控制器；USB：PCIe2.0×4透過交換器擴展4個PCIe2.0×1接4個USB控制器+HSIO引出9個PCIe2.0×1接9個USB控制器，共計13個；BMC：PCIe2.0×1；2個USB3.0×1；2個M.2 SATA。

本系統亦支持4個電源供應器(2+2)之架構，系統電力分配板(Power Distribution Board，PDB)為各板卡供電。PDB通過4個2×12電力連接器給基板供電；PDB通過1個2×2電力連接器給光模組板供電；基板通過1個2X2電力連接器給主板供電。

藉由上述結構，本案所揭示的資料伺服器系統，透過光收發器接收與傳輸大量資料，並以乙太網路交換器及第一及第二匯流排作為中央處理器及多個處理器節點之間資料傳輸介面，可提高伺服器的資料儲存密度及處理能力，讓用戶即時享受網路短影音平台及網路遊戲平台的大數據服務。另外，本系統支持240個節點的PCIe轉為2.5G Base-T，並通過系統的網絡彙聚為2個100G上行口，實現影音轉碼及遊戲數據的傳輸；系統支持240路主要UART用於個節點控制管理，同時支持240路備用UART作為冗餘設計，可提高系統管理的可靠性；系統支持前置100G雙上聯功能；系統支持PXE功能，通過BMC切換，支持透通及連通交換器晶片轉傳模式；每張POD上搭載4個節點，可節約壞卡維護成本，且支持熱插拔，透過金手指機構設計，及相關線路保護機制，支持在線熱運行模式。

雖然本發明以前述之實施例揭露如上，然其並非用以限定本發明。在不脫離本發明之精神和範圍內，所為之更動與潤飾，均屬本發明之專利保護範圍。關於本發明所界定之保護範圍請參考所附之申請專利範圍。

1:資料伺服器系統

11:主板

12:基板

13:光模組板

101:中央處理器

102:基板管理控制器

103:乙太網路交換器

104,104-1至104-n:處理器節點

105:第一匯流排

106:第二匯流排

107:第一光收發器

108:第二光收發器

109:實體層晶片

110:第三光收發器

Claims (10)

1. 一種資料伺服器系統，包含： 一主板； 一中央處理器，設置於該主板上； 一基板管理控制器，設置於該主板上，連接於該中央處理器； 一基板； 一乙太網路交換器，設置於該基板上，連接於該中央處理器及該基板管理控制器； 多個處理器節點，設置於該基板上，連接於該乙太網路交換器，且連接於該中央處理器； 一第一匯流排及一第二匯流排，設置於該基板上，連接於該中央處理器及該些處理器節點； 一組第一光收發器，設置於該基板上，連接於該乙太網路交換器； 一光模組板； 一組第二光收發器，設置於該光模組板上，連接於該組第一光收發器； 一實體層晶片，設置於該光模組板上，連接於該組第二光收發器；以及 一組第三光收發器，設置於該光模組板上，連接於該實體層晶片。
2. 如請求項1所述的資料伺服器系統，其中該乙太網路交換器包含二第一傳輸晶片、一第二傳輸晶片、多個第三傳輸晶片及多個第四傳輸晶片，該二第一傳輸晶片連接於該組第一光收發器，該第二傳輸晶片連接於該二第一傳輸晶片，該些第三傳輸晶片連接於該第二傳輸晶片，該些第四傳輸晶片連接於該些第三傳輸晶片及該些處理器節點。
3. 如請求項2所述的資料伺服器系統，其中該些處理器節點的數量為240個，該些第三傳輸晶片的數量為5個，該些第四傳輸晶片的數量為30個。
4. 如請求項2所述的資料伺服器系統，其中該二第一傳輸晶片支持100G的資料傳輸速度，且用於受到該基板管理控制器的控制被切換為一第一模式或一第二模式，在該第一模式下該中央處理器直接透過該二第一傳輸晶片接收來自該組第一光收發器的訊號，在該第二模式下該中央處理器透過該二第一傳輸晶片及該第二傳輸晶片接收來自該組第一光收發器的訊號。
5. 如請求項2所述的資料伺服器系統，其中該中央處理器用於管理該第二傳輸晶片及該些第三傳輸晶片，該些第三傳輸晶片用於管理該些第四傳輸晶片。
6. 如請求項1所述的資料伺服器系統，更包含多個轉接元件，該些轉接元件透過Base-T連接埠連接於該些處理器節點，且透過PCIe連接埠連接於該網路交換器。
7. 如請求項1所述的資料伺服器系統，更包含多個通用序列匯流排，連接於該第二匯流排與該些處理器節點之間。
8. 如請求項1所述的資料伺服器系統，更包含多個通用非同步收發傳輸器，連接於該第一匯流排與該些處理器節點之間，該些通用非同步收發傳輸器包含多個主要傳輸器及多個備用傳輸器。
9. 如請求項1所述的資料伺服器系統，其中該組第三光收發器包含DSFP連接埠及QSFP連接埠。
10. 如請求項1所述的資料伺服器系統，其中該些處理器節點的數量為240個，該些處理器節點的每四者設置於一運算卡上，且該運算卡支持熱插拔功能。

Images