小型超算中心基礎(chǔ)設(shè)施電氣設(shè)計(jì)要點(diǎn)

摘 要：以某小型超算中心的基礎(chǔ)設(shè)施建設(shè)項(xiàng)目為例，探討和分析小型超算中心基礎(chǔ)設(shè)施的電氣設(shè)計(jì)要點(diǎn)。小型超算中心基礎(chǔ)設(shè)施的主要設(shè)備包括高壓直流、模塊化UPS、微模塊機(jī)柜、磁懸浮水冷空調(diào)、板式換熱器等。電氣系統(tǒng)設(shè)計(jì)重點(diǎn)為高效確定供電方案和冗余，并在設(shè)計(jì)中充分考慮施工便利性。結(jié)果可供同類項(xiàng)目參考。

關(guān)鍵詞：小型超算中心; 基礎(chǔ)設(shè)施; UPS冗余; 電氣設(shè)計(jì)

中圖分類號(hào)： TU855

文獻(xiàn)標(biāo)志碼： B

文章編號(hào)： 1674-8417（2024）11-0054-05

DOI：10.16618/j.cnki.1674-8417.2024.11.010

0 引 言

當(dāng)下小型超算中心主要針對(duì)小規(guī)模的計(jì)算需求，通常配置較少的計(jì)算節(jié)點(diǎn)和存儲(chǔ)設(shè)備，適用于小型團(tuán)隊(duì)的科學(xué)計(jì)算、科學(xué)研究、數(shù)據(jù)處理等。

本文以某小型超算中心的基礎(chǔ)設(shè)施建設(shè)項(xiàng)目為例，探討和分析小型超算中心基礎(chǔ)設(shè)施的電氣設(shè)計(jì)要點(diǎn)。

1 小型超算中心項(xiàng)目概況

本超算中心是利用已有建筑進(jìn)行改造，根據(jù)需求進(jìn)行平面布置的調(diào)整。超算中心位于某建筑的二層，總建筑面積1 500 m2，層高為4.7 m;一層為整棟樓的變配電室。主機(jī)房主要布置1臺(tái)超算主機(jī);2套微模塊機(jī)柜;2臺(tái)加濕機(jī);1臺(tái)新風(fēng)機(jī)等。

主要電氣設(shè)計(jì)需求如下：

（1） 超算主機(jī)總功耗800 kW（峰值）、服務(wù)器機(jī)柜總功耗150 kW。

（2） 超算主機(jī)HVDC直流電源系統(tǒng)蓄電池后備時(shí)間要求5 min;服務(wù)器機(jī)柜UPS電源系統(tǒng)蓄電池后備時(shí)間要求30 min。

2 小型超算中心設(shè)計(jì)

2.1 機(jī)房布置

小型超算中心平面布局規(guī)劃的基本思路，是從數(shù)據(jù)中心最基本的超算主機(jī)和服務(wù)器機(jī)柜需求出發(fā)，選取能夠匹配需求的電氣、暖通系統(tǒng)技術(shù)路線和解決方案，在滿足設(shè)計(jì)規(guī)范的同時(shí)兼顧考慮建設(shè)成本和施工便利，以及相應(yīng)的降低PUE指標(biāo)。

關(guān)于配電室的布置，一方面考慮超算主機(jī)功耗大，電力電纜需求量較多，配電室需靠近主機(jī)房，保證HVDC直流電源至超算主機(jī)電纜敷設(shè)距離短;另一方面考慮從一層變配電室引電方便，靠墻不同方向分別設(shè)置兩個(gè)電纜孔洞，電纜路由距離最短，可大大節(jié)省投資成本;配電室主要布置2臺(tái)市電交流配電柜;2套HVDC直流電源;1臺(tái)UPS電源;2臺(tái)機(jī)房專用空調(diào)等。

考慮電池電纜敷設(shè)距離短，電池室與配電室僅一墻之隔。電池室主要布置2套HVDC直流電源系統(tǒng)后備蓄電池組4組;1套UPS主機(jī)電源系統(tǒng)后備蓄電池組2組;10臺(tái)電池柜;2臺(tái)機(jī)房專用空調(diào)等。

考慮各水泵服務(wù)不同的功能區(qū)，水泵房分為2間設(shè)置。一間為主泵房：布置3套冷凍水泵;3臺(tái)水泵控制柜;1臺(tái)水系統(tǒng)群控柜;1套超純水制造設(shè)備，主要服務(wù)液冷超純水空調(diào)系統(tǒng);1臺(tái)1立方補(bǔ)充水箱。另一間為副泵房：布置2臺(tái)板換;2臺(tái)冷凍水泵;2臺(tái)水泵控制箱等，主要服務(wù)模塊化機(jī)柜的列間空調(diào)系統(tǒng)。本項(xiàng)目規(guī)模較小，配套服務(wù)水泵功率為37 kW，采用直接起動(dòng)就地控制方式進(jìn)行配電和控制。

考慮超算中心所在建筑物現(xiàn)有格局情況，盡量減少平面的改動(dòng)，超算中心各功能區(qū)域及其面積規(guī)劃如下：主機(jī)房區(qū)域約為270 m2、配電室區(qū)域約為50 m2、電池室區(qū)域約為80 m2、2間水泵房約為90 m2、預(yù)留機(jī)房區(qū)約為370 m2，其余為輔助區(qū)域。室外冷水機(jī)組布置在機(jī)房樓南側(cè)，位于室外一層地面;將監(jiān)控室及辦公區(qū)域空調(diào)室外機(jī)，布置在二層機(jī)房東側(cè)一層前廳屋面。超算中心功能區(qū)域平面布局圖如圖1所示。

2.2 UPS架構(gòu)對(duì)比

本工程存儲(chǔ)區(qū)域服務(wù)器機(jī)柜采用微模塊冷通道封閉模式，設(shè)計(jì)采用2套微模塊機(jī)柜，每套模塊單元配置22臺(tái)3 kW機(jī)柜，2臺(tái)電源列頭柜（A、B兩路），共計(jì)44個(gè)服務(wù)器機(jī)柜。同步系數(shù)按0.85計(jì)算，功率因數(shù)按0.95計(jì)算，總視在功率約為150 kVA。數(shù)據(jù)中心常見(jiàn)的UPS架構(gòu)包括2N+1、2N、N+1、BR、DR、RR等［1］，側(cè)重點(diǎn)各有不同。

基本型UPS架構(gòu)圖如圖2所示。由一路市電接入U(xiǎn)PS向負(fù)載直接供電，基本型方案效率最高、成本最低。

串聯(lián)冗余是一種特定的N+1架構(gòu)，將冗余UPS接入主用UPS的靜態(tài)旁路中，當(dāng)主用UPS故障時(shí)，通過(guò)旁路切換使備用UPS切入系統(tǒng)。其優(yōu)點(diǎn)在于不限定主備用UPS型號(hào)，可適性強(qiáng)，經(jīng)濟(jì)性好，但存在單故障點(diǎn)。串聯(lián)冗余UPS架構(gòu)圖如圖3所示。

并聯(lián)冗余也是一種特定的N+1架構(gòu)，它由多個(gè)同一規(guī)格的UPS模塊并聯(lián)在一根公用輸出母線上組成。備用的UPS容量至少要為其中一個(gè)UPS單元的容量。并聯(lián)冗余系統(tǒng)要求UPS模塊的容量、型號(hào)、頻率、相位等均相同，對(duì)設(shè)備要求較高。并聯(lián)冗余UPS架構(gòu)圖如圖4所示。

模塊化UPS冗余是一種特定的N+1配置。上述串聯(lián)冗余和并聯(lián)冗余的冗余部分，多指采用獨(dú)立的UPS單元。但是模塊化UPS通過(guò)內(nèi)置算法，可從UPS架構(gòu)內(nèi)功率模塊層解決冗余問(wèn)題，在該配置下，內(nèi)部模塊共用一套電源、控制系統(tǒng)和電池設(shè)備。

BR和RR容錯(cuò)架構(gòu)基本原理相似，均為以3臺(tái)或以上的UPS單元做基礎(chǔ)，其中1臺(tái)UPS空載做備份。當(dāng)1臺(tái)主用UPS單元損壞時(shí)，負(fù)載端通過(guò)STS切換至備份UPS供電。本架構(gòu)模塊化易擴(kuò)容，但是采用大量的STS架構(gòu)復(fù)雜，需配套自控轉(zhuǎn)換控制，對(duì)運(yùn)維有較高的要求。

DR容錯(cuò)架構(gòu)以3臺(tái)或以上的UPS單元做基礎(chǔ)，各UPS均帶載運(yùn)行，1臺(tái)UPS損壞時(shí)，其負(fù)載切換至其余UPS，此時(shí)會(huì)形成單UPS單元供電，可靠性較低，對(duì)UPS負(fù)載率有要求。

2N+1、2N架構(gòu)整體存在50%及以上的容量冗余，在金融、銀行行業(yè)應(yīng)用較為廣泛。

供配電各類架構(gòu)優(yōu)缺點(diǎn)對(duì)比如表1所示。

根據(jù)文獻(xiàn)［2］中附錄A要求，數(shù)據(jù)中心其重要性分為A、B、C三級(jí)，其中A級(jí)按容錯(cuò)配置電源、B級(jí)按N+1冗余配置電源、C級(jí)按基本需求配置電源。本工程為小型超算中心，考慮本項(xiàng)目為改造項(xiàng)目，一層變壓器已存在雙重電源，同時(shí)考慮項(xiàng)目重要程度和保密程度，電源層面采用一套UPS電源加一路市電構(gòu)成的雙路2N供電方案。每套模塊單元配置A、B路2臺(tái)電源列頭柜，A路為1路UPS電源;B路為1路市電電源引自本項(xiàng)目2層配電室。規(guī)范最低標(biāo)準(zhǔn)要求UPS滿足N架構(gòu)即可，但在實(shí)際工程設(shè)計(jì)中，應(yīng)結(jié)合項(xiàng)目的重要程度、業(yè)主需求做好冗余，應(yīng)綜合考慮供電可靠性及工程造價(jià)的平衡。通過(guò)上述對(duì)比分析，采用一套模塊化UPS做N+1架構(gòu)冗余。根據(jù)負(fù)荷計(jì)算，負(fù)載總視在功率約為150 kVA，模塊化UPS選用200 kVA，其中150 kVA做主用，其余50 kVA做冗余。根據(jù)文獻(xiàn)［2］第8.1.7條校驗(yàn)，滿足1.2倍冗余要求，方案設(shè)計(jì)合理且經(jīng)濟(jì)。

2.3 不間斷電源旁路方案

為保障維修系統(tǒng)安全及數(shù)據(jù)中心的可持續(xù)供電，需要為UPS配備旁路方案。內(nèi)置UPS旁路按其構(gòu)成可以分為分散旁路型式和集中旁路型式［3］。分散旁路是指在一套運(yùn)行的UPS系統(tǒng)中，每處UPS單元均獨(dú)立配置旁路，當(dāng)單元一點(diǎn)維修或故障時(shí)，由該旁路直接向負(fù)載供電，當(dāng)多臺(tái)故障時(shí)，由各自旁路分別直接向負(fù)載供電。集中旁路是指在一套運(yùn)行的UPS系統(tǒng)中，獨(dú)立設(shè)置一套靜態(tài)旁路，旁路電源的斷路器線纜等規(guī)格和主路電源一致。當(dāng)UPS組有檢修需求或故障時(shí)，切換至旁路向負(fù)載直接供電。兩種旁路方式各有利弊，需根據(jù)工程實(shí)際情況進(jìn)行選擇。UPS集中旁路示意圖如圖5所示。UPS分散旁路示意圖如圖6所示。

集中旁路控制系統(tǒng)具有過(guò)載能力強(qiáng)、可靠性高的優(yōu)點(diǎn);分散旁路控制系統(tǒng)則具有可擴(kuò)容性高、節(jié)約空間、成本低的優(yōu)點(diǎn)，但存在一定可靠性風(fēng)險(xiǎn)。本工程采用模塊化UPS方案，模塊化UPS采用熱插拔技術(shù)，允許單體模塊在不停電的情況下接入或退出，不會(huì)影響其余模塊的正常工作，能夠?qū)崿F(xiàn)在線維護(hù)，減少了旁路檢修的概率。本工程為小型超算中心，負(fù)荷容量小、整體風(fēng)險(xiǎn)可控，故采用集中旁路控制系統(tǒng)。

在極端情況下，UPS故障退出運(yùn)行，需要進(jìn)行電氣隔離，此時(shí)需要設(shè)置外置檢修旁路開(kāi)關(guān)，該旁路能夠有效保障UPS的使用安全，進(jìn)一步提升系統(tǒng)的穩(wěn)定性和安全性。平時(shí)情況下，檢修旁路開(kāi)關(guān)應(yīng)帶鎖，以防止人為誤操作;開(kāi)關(guān)合閘后，UPS的輸入輸出側(cè)均須可靠斷開(kāi);檢修完成后，先切換至靜態(tài)旁路，再接入系統(tǒng)，最后斷開(kāi)維修旁路開(kāi)關(guān)。

2.4 HVDC電源系統(tǒng)

本工程采用第三代主機(jī)超級(jí)計(jì)算機(jī)系統(tǒng)，設(shè)備使用電壓等級(jí)為直流336 V，超算主機(jī)分為前、后兩個(gè)模塊倉(cāng)，每個(gè)模塊倉(cāng)功率400 kW，平時(shí)前、后兩個(gè)模塊倉(cāng)互為備份，峰時(shí)計(jì)算均為主用，即超算主機(jī)兩個(gè)模塊倉(cāng)峰時(shí)功率可達(dá)800 kW。

市面上336 V直流電源系統(tǒng)廠家較多，但本工程輸出分路須非標(biāo)定制才能滿足超算主機(jī)用電需求。采用HVDC直流電源系統(tǒng)單獨(dú)給超算主機(jī)供電模式，按系統(tǒng)負(fù)荷率約80%設(shè)計(jì)，配置2套336 V/500 kW直流電源系統(tǒng)，分別為超算主機(jī)前、后兩個(gè)模塊倉(cāng)供電。平時(shí)兩套系統(tǒng)互為備份，設(shè)備峰值時(shí)可全部主用。每套直流系統(tǒng)額定輸出電壓為336 V，單個(gè)模塊容量為20 kW，配置30個(gè)20 kW整流模塊（含備用及充電）。系統(tǒng)不設(shè)交流配電屏，交流電源直接從一層變配電室低壓配電柜輸出斷路器引接。

每套直流系統(tǒng)輸出單元配置5路500 A熔芯，其中4路供超算主機(jī)電源接入，另外一路作為備用。每套直流電源系統(tǒng)配置12 V/200 Ah高功率蓄電池120節(jié)，按恒功率放電計(jì)算蓄電池組后備時(shí)間大于5 min，每組后備蓄電池組直流開(kāi)關(guān)柜分別設(shè)置，且電池開(kāi)關(guān)低電壓脫扣功能關(guān)閉。

交流輸入應(yīng)與直流輸出電氣隔離。直流輸出應(yīng)與地、機(jī)架、外殼電氣隔離。正負(fù)極全程均不接地，采用懸浮方式供電;系統(tǒng)應(yīng)采用直流型絕緣監(jiān)察裝置，能對(duì)直流總母排和各直流輸出主分路的絕緣狀況進(jìn)行監(jiān)測(cè)。HVDC直流系統(tǒng)原理圖如圖7所示。

3 結(jié) 語(yǔ)

本文以某小型超算中心的基礎(chǔ)設(shè)施建設(shè)項(xiàng)目為例，探討和分析小型超算中心基礎(chǔ)設(shè)施的電氣設(shè)計(jì)要點(diǎn)。在設(shè)計(jì)中，超算主機(jī)采用高壓直流系統(tǒng);存儲(chǔ)區(qū)域采用1路UPS（模塊化）+1路市電;UPS采用模塊化N+1冗余設(shè)計(jì)。本設(shè)計(jì)可提高施工效率，降低施工成本，對(duì)后期小型超算中心項(xiàng)目的電氣設(shè)計(jì)有一定的參考及借鑒意義。

［1］ 鐘景華.數(shù)據(jù)中心供配電系統(tǒng)架構(gòu)及備用電源的選擇［J］.建筑電氣，2018，37（1）：4-7.

［2］ 中華人民共和國(guó)工業(yè)和信息化部.數(shù)據(jù)中心設(shè)計(jì)規(guī)范：GB 50147—2017［S］.北京：中國(guó)計(jì)劃出版社，2017.

［3］ 李平，鄭凱，袁松林，等.某超算中心電氣設(shè)計(jì)方案［J］.建筑電氣，2023，9（42）：21-26.

Electrical Design Points for Supporting Small Supercomputing Centers

Abstract：

This paper takes the infrastructure construction project of a small supercomputing center as an example to discuss and analyze the key points of electrical design of the infrastructure of a small supercomputing center.The main equipment for the design of the infrastructure of the small supercomputing center includes HVDC，modular UPS，micro-module cabinets，magnetic levon-cooled air conditioners，plate heat exchangers，etc.Electrical system design focuses on how to efficiently determine the power supply scheme and redundancy，and fully consider the construction convenience in the design.The results can be used as a reference for similar projects.

Key words：

small supercomputing center; infrastructure; UPS redundancy; electrical design