國家超算廣州中心機(jī)房網(wǎng)絡(luò)與布線設(shè)計(jì)

任 嘉 競

(廣東省電信規(guī)劃設(shè)計(jì)院有限公司, 廣東 廣州 510630)

0 引 言

超算中心含大量的服務(wù)器設(shè)備、網(wǎng)絡(luò)設(shè)備以及按照普通用戶使用需求和政務(wù)需求分離的邏輯區(qū)域。為了保證超算中心在今后的高可擴(kuò)展及實(shí)用性,超算中心的網(wǎng)絡(luò)及布線系統(tǒng)設(shè)計(jì)需考慮今后擴(kuò)展需求,預(yù)留相應(yīng)的物理空間及擴(kuò)展條件。

國家超算廣州中心項(xiàng)目建設(shè)完成后,將使廣州初步具備集先進(jìn)計(jì)算與信息處理、開放科研開發(fā)基礎(chǔ)平臺、開放培訓(xùn)和教育平臺、面向綜合信息化管理的綜合辦公平臺于一體的基礎(chǔ)設(shè)施。高可靠的超算中心需要高等級、高可靠的網(wǎng)絡(luò)布線系統(tǒng),在保證電力及空調(diào)系統(tǒng)的前提下,為數(shù)據(jù)中心內(nèi)部的數(shù)據(jù)交換提供雙重保障,滿足日益增長的帶寬需求,從而實(shí)現(xiàn)超算中心內(nèi)IT及網(wǎng)絡(luò)設(shè)備的不間斷運(yùn)轉(zhuǎn)。

1 超算中心網(wǎng)絡(luò)設(shè)計(jì)

1.1 網(wǎng)絡(luò)設(shè)計(jì)目標(biāo)

超算中心網(wǎng)絡(luò)作為中心基礎(chǔ)設(shè)施的重要組成部分,為核心業(yè)務(wù)系統(tǒng)服務(wù)器和存儲設(shè)備提供安全、可靠的接入平臺。網(wǎng)絡(luò)設(shè)計(jì)應(yīng)以實(shí)現(xiàn)下列目標(biāo)為原則。

(1) 實(shí)用性、先進(jìn)性、成熟性。方案不僅需要適應(yīng)新技術(shù)發(fā)展方向,保證計(jì)算機(jī)網(wǎng)絡(luò)的先進(jìn)性,同時(shí)也兼顧成熟的網(wǎng)絡(luò)技術(shù)和經(jīng)濟(jì)實(shí)用性。

(2) 融合超算與云計(jì)算。超算技術(shù)和云計(jì)算技術(shù)都有各自特點(diǎn),網(wǎng)絡(luò)設(shè)計(jì)應(yīng)將兩者的長處結(jié)合起來,實(shí)現(xiàn)取長補(bǔ)短,協(xié)同發(fā)展。

(3) 安全性、可靠性和容錯(cuò)性。由于超算中心向用戶提供數(shù)據(jù)類服務(wù)的性質(zhì),決定其網(wǎng)絡(luò)設(shè)計(jì)的首要原則是保證用戶的設(shè)備或內(nèi)容在安全、可靠的網(wǎng)絡(luò)環(huán)境下進(jìn)行安全、可靠的信息傳輸和處理。從安全、可靠的角度,網(wǎng)絡(luò)設(shè)計(jì)將核心網(wǎng)絡(luò)設(shè)備互為冗余備份,網(wǎng)絡(luò)連接采用雙鏈路連接,網(wǎng)絡(luò)設(shè)備的選型要考慮模塊的冗余等,使整個(gè)網(wǎng)絡(luò)盡可能減少單點(diǎn)故障而引起的系統(tǒng)無法運(yùn)行情況。

(4) 大容量。超算中心不但要提供高帶寬和多業(yè)務(wù),且能隨時(shí)升級網(wǎng)絡(luò),以滿足將來的業(yè)務(wù)需要,包括提供多種接入端口,滿足不同帶寬的專線接入、VPN業(yè)務(wù)等。

(5) 開放式、標(biāo)準(zhǔn)化。超算中心是集中各類至關(guān)重要的設(shè)備、軟件和應(yīng)用系統(tǒng),集成最先進(jìn)的計(jì)算機(jī)類產(chǎn)品。超算中心網(wǎng)絡(luò)平臺的目的在于互連不同制造廠商的設(shè)備,實(shí)現(xiàn)計(jì)算機(jī)軟、硬件資源的數(shù)據(jù)交換。一個(gè)不標(biāo)準(zhǔn)、不開放的網(wǎng)絡(luò)平臺將極大地阻礙超算中心業(yè)務(wù)運(yùn)作和發(fā)展。

1.2 網(wǎng)絡(luò)設(shè)計(jì)方法

廣州超算中心分層設(shè)計(jì)如圖1所示。按照二層扁平化設(shè)計(jì)的原則,結(jié)合超算中心的業(yè)務(wù)特點(diǎn),將網(wǎng)絡(luò)層次模型大致劃分為核心層、匯聚層、接入層。

圖1 廣州超算中心分層設(shè)計(jì)

核心層構(gòu)成整個(gè)超算中心生產(chǎn)局域網(wǎng)的高速交換核心,為各個(gè)功能分區(qū)提供高可靠、高穩(wěn)定和支持快速愈合的第三層接入服務(wù)。核心層設(shè)計(jì)以高可靠、高速交換為主要原則。

匯聚層由各個(gè)功能分區(qū)的交換核心組成,提供各個(gè)分區(qū)內(nèi)部接入層的匯聚,作為各個(gè)分區(qū)的對外接入,集中實(shí)現(xiàn)接入控制和安全控制。各種增值業(yè)務(wù)部署在匯聚層。

接入層是用于各個(gè)分區(qū)主機(jī)和服務(wù)器的接入,具有萬兆上行、高密度千兆接入的能力,支持雙向訪問控制,并針對接入的數(shù)據(jù)流進(jìn)行標(biāo)記工作,便于傳輸過程中逐級實(shí)現(xiàn)針對流量的QoS控制策略。

超算中心網(wǎng)絡(luò)系統(tǒng)框架如圖2所示。

需要注意的是,對于涉密網(wǎng)絡(luò),網(wǎng)絡(luò)結(jié)構(gòu)簡單,且不需要提供負(fù)載的安全業(yè)務(wù),所以可以將匯聚層、接入層和核心層合一。

圖2 超算中心網(wǎng)絡(luò)系統(tǒng)框架

2 綜合布線系統(tǒng)設(shè)計(jì)

超算中心的網(wǎng)絡(luò)系統(tǒng)是整個(gè)中心業(yè)務(wù)的最終承載者,需要長期可靠運(yùn)行,而綜合布線系統(tǒng)則是網(wǎng)絡(luò)系統(tǒng)的運(yùn)輸大使,為整個(gè)網(wǎng)絡(luò)系統(tǒng)提供可擴(kuò)展的通道。

國家超算廣州中心項(xiàng)目屬于高可靠性工程,按照布線等級R3要求,鏈路采用冗余方式,保證機(jī)房布線安全性達(dá)到容錯(cuò)級別,單點(diǎn)故障均不會影響業(yè)務(wù)。同時(shí),根據(jù)客戶屬性不同,為提高客戶機(jī)房布線系統(tǒng)安全性,部署獨(dú)立的布線系統(tǒng),系統(tǒng)主要匯聚、核心及出口線路均選用抗干擾能力更強(qiáng)、可靠性更高的阻燃光纜,且大樓業(yè)務(wù)布線系統(tǒng)的關(guān)鍵布線設(shè)備和鏈路均按全容量設(shè)有冗余,部署在不同物理位置機(jī)房和按不同路由進(jìn)行敷設(shè),避免單點(diǎn)故障的出現(xiàn)。

根據(jù)GB 50174—2017《電子信息系統(tǒng) 機(jī)房設(shè)計(jì)規(guī)范》[1]和ANSI/TIA-942-A—2012標(biāo)準(zhǔn)[2],數(shù)據(jù)機(jī)房分為接入間、主配線區(qū)、中間配線區(qū)、水平配線區(qū)等。

(1) 接入間。在機(jī)樓東西兩側(cè)共設(shè)置2個(gè)接入間,用于安裝傳輸設(shè)備、光纖配線架(ODF)、出口路由器、網(wǎng)路安全等設(shè)備。2個(gè)接入間不應(yīng)共用防火分區(qū)、空調(diào)設(shè)備等。在接入間完成室內(nèi)通信線纜和出局通信線纜的轉(zhuǎn)接,出局通信線纜應(yīng)設(shè)置不同出局路由。

(2) 主配線區(qū)。在機(jī)樓I/O機(jī)房設(shè)置2個(gè)網(wǎng)絡(luò)核心區(qū)域。2個(gè)核心區(qū)域不應(yīng)共用防火分區(qū)、電力配電設(shè)備、空調(diào)設(shè)備等,用于安裝數(shù)據(jù)中心核心交換機(jī)、匯聚交換機(jī)、網(wǎng)絡(luò)安全、網(wǎng)絡(luò)優(yōu)化、ODF等設(shè)備。

(3) 中間配線區(qū)。在某機(jī)房列內(nèi)設(shè)置中間配線區(qū),該區(qū)域相當(dāng)于一個(gè)匯聚的配線區(qū)域,可用于安裝匯聚/接入交換機(jī)、SAN交換機(jī)、KVM交換機(jī)、ODF、網(wǎng)絡(luò)配線設(shè)施等。

(4) 水平配線區(qū)。在機(jī)樓各IT機(jī)房內(nèi)可按列設(shè)置水平配線區(qū),該區(qū)域相當(dāng)于一個(gè)列內(nèi)匯聚的配線區(qū)域,可用于安裝接入交換機(jī)、SAN交換機(jī)、KVM交換機(jī)、ODF、網(wǎng)絡(luò)配線設(shè)施等。每個(gè)水平配線區(qū)至中間配線區(qū)(即機(jī)房匯聚機(jī)柜)宜分別設(shè)置不同的通信線纜路由,分別接入2臺匯聚交換機(jī)設(shè)備。兩列相鄰機(jī)柜的列頭柜間應(yīng)通過一定數(shù)量的光纖和雙絞線互連,使得部署在相鄰兩列機(jī)柜中的設(shè)備可以靈活組網(wǎng)。

(5) 設(shè)備配線區(qū)。該區(qū)域完成每個(gè)機(jī)柜接入至其所在區(qū)域的水平區(qū)域配線設(shè)備的布線。

光纜布線系統(tǒng)采用先進(jìn)、便捷和安全的預(yù)端接光纖系統(tǒng),預(yù)端接方案把安裝中諸如剝除光纜外護(hù)套、光纜分支、連接器安裝和硬件組裝等耗時(shí)的步驟都在工廠內(nèi)完成,再將整個(gè)產(chǎn)品運(yùn)送到工地現(xiàn)場進(jìn)行快捷的安裝[3-4]。

預(yù)端接的光纜和硬件是超算中心應(yīng)用的理想選擇。在這些實(shí)際的應(yīng)用中,預(yù)端接解決方案節(jié)省系統(tǒng)安裝時(shí)間,縮短故障宕機(jī)時(shí)間,遠(yuǎn)優(yōu)于傳統(tǒng)的安裝方式。

布線系統(tǒng)采用MPO/MTP預(yù)端接光纖系統(tǒng),可以為今后超算中心平滑升級到40/100 Gb/s系統(tǒng)提供保障,只換轉(zhuǎn)接模塊即可,主干鏈路無需更換,可滿足未來10年內(nèi)的使用需求。

3 結(jié) 語

超算中心網(wǎng)絡(luò)布線系統(tǒng)復(fù)雜而又精密,應(yīng)根據(jù)超算中心機(jī)房的規(guī)模、等級,在遵照執(zhí)行國家和行業(yè)相關(guān)技術(shù)規(guī)范、標(biāo)準(zhǔn)的基礎(chǔ)上,合理設(shè)計(jì)可靠、可擴(kuò)展的超算中心網(wǎng)絡(luò)及布線系統(tǒng),確保超算中心電子信息系統(tǒng)設(shè)備的安全、可靠運(yùn)行。

[1]電子信息系統(tǒng)機(jī)房設(shè)計(jì)規(guī)范:GB50174—2017[S].

[2]Telecommunicationsinfrastructurestandardfordatacenters:ANSI/TIA-942-A—2012[S].

[3]沈亞,戴卓瑩.同城災(zāi)備中心綜合布線設(shè)計(jì)[J].現(xiàn)代建筑電氣,2017,8(8):14-18.

[4]黨崗.超級計(jì)算中心核心應(yīng)用的淺析[J].計(jì)算機(jī)科學(xué),2013,40(3):133-135.