超級(jí)計(jì)算數(shù)據(jù)中心電氣設(shè)計(jì)例析

王 昀

(中國建筑設(shè)計(jì)研究院有限公司，北京 100044)

0 引言

當(dāng)今世界，人工智能與大數(shù)據(jù)成為經(jīng)濟(jì)發(fā)展的新動(dòng)力。高性能計(jì)算為人工智能應(yīng)用提供了強(qiáng)勁的計(jì)算力，大數(shù)據(jù)則為人工智能提供數(shù)據(jù)資源，反之，人工智能與大數(shù)據(jù)也在推動(dòng)高性能計(jì)算機(jī)發(fā)展出各種新的形態(tài)。一個(gè)國家的超級(jí)計(jì)算機(jī)研制和應(yīng)用的水平，既是國家科研實(shí)力的體現(xiàn)，也是綜合國力的重要標(biāo)志。

超級(jí)計(jì)算數(shù)據(jù)中心通常指業(yè)務(wù)既包含高性能計(jì)算，又涵蓋了對(duì)電子信息進(jìn)行處理以及配套存儲(chǔ)、傳輸、交換、管理等功能和服務(wù)的物理空間，廣義上集合了高速數(shù)據(jù)計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)而形成的集成應(yīng)用環(huán)境。

未來科技創(chuàng)新的規(guī)模和復(fù)雜性將急劇增長，對(duì)數(shù)據(jù)采集、存儲(chǔ)、傳輸、處理，以及計(jì)算能力的需求將達(dá)到前所未有的高度。這也迫使科研信息化基礎(chǔ)設(shè)施性能和服務(wù)能力加速向更高量級(jí)和水平發(fā)展，加速微觀和宏觀雙向的科學(xué)發(fā)現(xiàn)與創(chuàng)新。

本文以某超級(jí)計(jì)算數(shù)據(jù)中心的規(guī)劃建設(shè)為例，對(duì)超級(jí)計(jì)算數(shù)據(jù)中心的電氣設(shè)計(jì)進(jìn)行探討。該項(xiàng)目包含超算硬件資源建設(shè)、超算軟件環(huán)境建設(shè)和數(shù)據(jù)中心綜合樓建設(shè)。終期建設(shè)目標(biāo)計(jì)算能力100Pflops，數(shù)據(jù)存儲(chǔ)能力不低于20PB，并通過高速網(wǎng)絡(luò)實(shí)現(xiàn)與國內(nèi)、國際各類信息化資源的互聯(lián)互通。

1 主要用電設(shè)備

超級(jí)計(jì)算數(shù)據(jù)中心包含多種類電子信息設(shè)備及基礎(chǔ)設(shè)施設(shè)備，除常規(guī)數(shù)據(jù)中心所包含的主要IT設(shè)備外，該項(xiàng)目的超級(jí)計(jì)算設(shè)備具有某些特殊性，對(duì)用電設(shè)備進(jìn)行梳理，以便進(jìn)行用電負(fù)荷等級(jí)劃分及電氣系統(tǒng)搭建。

1.1 電子信息設(shè)備

超級(jí)計(jì)算資源系統(tǒng)(圖1)主要包括先進(jìn)計(jì)算分系統(tǒng)、數(shù)據(jù)存儲(chǔ)分系統(tǒng)、網(wǎng)絡(luò)交換分系統(tǒng)、支撐管理分系統(tǒng)等部分。

圖1 超級(jí)計(jì)算資源系統(tǒng)架構(gòu)

計(jì)算分系統(tǒng)：包含高性能計(jì)算浸沒液冷單元、人工智能計(jì)算浸沒液冷節(jié)點(diǎn)等，支持科學(xué)和工程計(jì)算、人工智能、大數(shù)據(jù)等應(yīng)用場(chǎng)景。

數(shù)據(jù)存儲(chǔ)分系統(tǒng)：分布式并行存儲(chǔ)系統(tǒng)。

網(wǎng)絡(luò)交換分系統(tǒng)：包含液冷IB交換機(jī)、風(fēng)冷計(jì)算存儲(chǔ)交換機(jī)、風(fēng)冷萬兆核心交換機(jī)等。

支撐管理分系統(tǒng)：包含數(shù)據(jù)控制器、索引控制器等，提供系統(tǒng)登錄、管理、服務(wù)專用節(jié)點(diǎn)。

1.2 動(dòng)力設(shè)備

本次高性能計(jì)算項(xiàng)目采用業(yè)界先進(jìn)的液冷技術(shù)，結(jié)合冷凍水行間空調(diào)、精密空調(diào)，為所有計(jì)算設(shè)備、高速網(wǎng)絡(luò)設(shè)備、存儲(chǔ)管理設(shè)備等制冷。與傳統(tǒng)的風(fēng)冷技術(shù)相比，液體熱傳導(dǎo)的效率更高，換熱能力更強(qiáng)。采用液冷技術(shù)后，計(jì)算子系統(tǒng)的PUE將不高于1.05，達(dá)到業(yè)界領(lǐng)先水平。

計(jì)算分系統(tǒng)超算計(jì)算單元，采用全浸沒蒸發(fā)相變液冷冷卻，每兩臺(tái)計(jì)算機(jī)柜配置一臺(tái)浸沒液冷機(jī)柜。單臺(tái)液冷換熱柜制冷量為320kW，可滿足2臺(tái)計(jì)算機(jī)柜液冷散熱需求。液冷交換機(jī)柜采用冷板式液冷技術(shù)。

網(wǎng)絡(luò)分系統(tǒng)，部分高速網(wǎng)絡(luò)設(shè)備采用冷板式液冷技術(shù)，通過冷板式液冷與高溫冷源進(jìn)行換熱；其余監(jiān)控設(shè)備熱負(fù)荷及高速網(wǎng)絡(luò)設(shè)備風(fēng)冷部分負(fù)荷采用冷凍水行間空調(diào)進(jìn)行散熱。

存儲(chǔ)分系統(tǒng)、管理分系統(tǒng)采用模塊化風(fēng)冷。

2 電氣系統(tǒng)

本項(xiàng)目主要的電氣系統(tǒng)包含10kV配電系統(tǒng)、備用柴油發(fā)電機(jī)系統(tǒng)、10/0.4kV變配電系統(tǒng)、高壓直流配電系統(tǒng)、不間斷電源系統(tǒng)及低壓配電系統(tǒng)。本項(xiàng)目中的主要設(shè)備用電需求包括10kV供電(高壓冷機(jī))、高壓直流380V供電、交流三相380V供電和交流單相220V供電。

(1)10kV配電系統(tǒng)

項(xiàng)目包含一級(jí)負(fù)荷中特別重要負(fù)荷，需雙重電源供電，由上級(jí)變電站引入相互獨(dú)立的10kV電源作為本項(xiàng)目的市電電源。

(2)備用柴油發(fā)電機(jī)系統(tǒng)

超級(jí)計(jì)算數(shù)據(jù)中心的所有一、二級(jí)負(fù)荷，除高性能浸沒液冷服務(wù)器外的IT設(shè)備，交換機(jī)柜、存儲(chǔ)機(jī)柜、管理機(jī)柜、網(wǎng)絡(luò)安全機(jī)柜、液冷換熱柜、冷凍水行間空調(diào)，及配套冷源、冷卻塔、循環(huán)水泵、水冷自控系統(tǒng)等，包含IT負(fù)荷及為IT負(fù)荷提供制冷的負(fù)荷及消防負(fù)荷、事故風(fēng)機(jī)、災(zāi)后清空風(fēng)機(jī)等，均需備用柴油發(fā)電機(jī)系統(tǒng)保障。

采用10kV快速自啟動(dòng)柴油發(fā)電機(jī)組按N+1配置，雙母線輸出，保障負(fù)荷的可靠供電。

高性能浸沒液冷服務(wù)器采用高壓直流供電，單路380V市電接入高性能液冷服務(wù)器機(jī)柜單元的高壓直流柜，其設(shè)備功率較大，且服務(wù)器計(jì)算數(shù)據(jù)可短時(shí)間間隔自動(dòng)保存，故無需設(shè)置柴油發(fā)電機(jī)保障供電。

(3)10/0.4kV變配電系統(tǒng)

交換機(jī)柜、存儲(chǔ)機(jī)柜、管理機(jī)柜、網(wǎng)絡(luò)安全機(jī)柜、液冷換熱柜、冷凍水行間空調(diào)、配套冷源、冷卻塔、循環(huán)水泵、水冷自控系統(tǒng)等IT設(shè)備和動(dòng)力設(shè)備變壓器采用2N配置。

高性能浸沒液冷服務(wù)器設(shè)備功率較大，設(shè)置專用變壓器，末端采用高壓直流供電，單路380V市電接入高性能液冷服務(wù)器機(jī)柜單元的高壓直流柜，其供電變壓器采用單N配置。

(4)高壓直流配電系統(tǒng)

采用380V單路市電，接入高性能液冷服務(wù)器機(jī)柜單元的高壓直流柜，供高性能浸沒液冷服務(wù)器。

高性能液冷服務(wù)器單元及存儲(chǔ)交換機(jī)每兩臺(tái)為一組，需配置一臺(tái)高壓直流配電柜。高壓直流電源轉(zhuǎn)換損耗約為4.5%，直流配電線損約為1.5%。

(5)不間斷電源系統(tǒng)

存儲(chǔ)機(jī)柜、管理機(jī)柜、網(wǎng)絡(luò)安全機(jī)柜、網(wǎng)絡(luò)交換機(jī)及輔助設(shè)施設(shè)置按2N配置的UPS不間斷電源，蓄電池后備時(shí)間單機(jī)滿載15min。

冷源控制系統(tǒng)、液冷換熱柜、冷卻水循環(huán)泵、行間空調(diào)、精密空調(diào)等按N+1配置UPS不間斷電源，電池后備時(shí)間單機(jī)滿載15min。

(6)低壓配電系統(tǒng)

本項(xiàng)目除高性能浸沒液冷服務(wù)器外，其余IT設(shè)備及制冷設(shè)備均需雙電源供電，并按要求配置不間斷電源系統(tǒng)。事故風(fēng)機(jī)、災(zāi)后清空風(fēng)機(jī)及消防負(fù)荷等均需雙電源供電，普通照明、普通動(dòng)力等采用單電源供電。

3 系統(tǒng)架構(gòu)

3.1 超算計(jì)算單元供電系統(tǒng)架構(gòu)

超算計(jì)算單元采用高壓直流供電，每臺(tái)高壓直流柜輸出兩路DC 380V直流電源，可為2臺(tái)計(jì)算機(jī)柜提供電源。高壓直流配電柜采用單路AC 380V市電輸入，采用專設(shè)變壓器供電。系統(tǒng)架構(gòu)見圖2。

圖2 超算計(jì)算單元供電系統(tǒng)架構(gòu)圖

3.2 存儲(chǔ)及網(wǎng)絡(luò)單元供電系統(tǒng)架構(gòu)

存儲(chǔ)及網(wǎng)絡(luò)單元配電系統(tǒng)采用容錯(cuò)系統(tǒng)架構(gòu)，變壓器及UPS均按2N配置，為配合建設(shè)方的分期建設(shè)需求，將UPS分期并機(jī)，以減少不必要的初期建設(shè)投資及設(shè)備損耗。其系統(tǒng)架構(gòu)見圖3。

圖3 超算存儲(chǔ)及網(wǎng)絡(luò)單元供電系統(tǒng)架構(gòu)圖。

3.3 動(dòng)力設(shè)備系統(tǒng)架構(gòu)

為IT設(shè)備提供持續(xù)制冷設(shè)備采用不間斷電源供電按照N+1配置，普通動(dòng)力、照明設(shè)備采用單路電源供電，其他動(dòng)力和消防設(shè)備采用雙路市電電源供電。其系統(tǒng)架構(gòu)圖見圖4。

圖4 動(dòng)力設(shè)備供配電架構(gòu)圖

4 分期建設(shè)

本著靈活性和擴(kuò)展性原則，本超級(jí)計(jì)算數(shù)據(jù)處理中心機(jī)房建筑平面和空間的布局應(yīng)當(dāng)具有相當(dāng)?shù)撵`活性，各樓層的機(jī)房進(jìn)行了合理的面積分割，按業(yè)務(wù)發(fā)展程度分步投入使用，機(jī)房精密空調(diào)的數(shù)量也根據(jù)需要分步配置。機(jī)房內(nèi)的隔斷墻結(jié)構(gòu)設(shè)計(jì)便于拆裝，既能相對(duì)獨(dú)立分割使用，又能適應(yīng)擴(kuò)容組合和面積擴(kuò)充，各子系統(tǒng)也適應(yīng)這種變化，符合自身和客戶的要求。在電氣系統(tǒng)的設(shè)計(jì)上，也與設(shè)備及平面的分期建設(shè)相協(xié)調(diào)。

4.1 市電容量的分期報(bào)裝

因超算計(jì)算單元設(shè)備集成度高，用電功率較大，再包含網(wǎng)絡(luò)和存儲(chǔ)設(shè)備及動(dòng)力設(shè)備，總的用電負(fù)荷達(dá)到約2萬kW，需申請(qǐng)四路市政10kV電源,同組兩路互為備用。

為配合分期建設(shè)需求，電氣系統(tǒng)設(shè)計(jì)過程中將超算計(jì)算單元、超算網(wǎng)絡(luò)及存儲(chǔ)設(shè)備、數(shù)據(jù)機(jī)房部分常規(guī)IT設(shè)備、動(dòng)力及樓宇設(shè)備四大類用電設(shè)備的供電變壓器分開設(shè)置，同時(shí)，將用電設(shè)備按一期投入、二期投入進(jìn)行劃分。

電氣系統(tǒng)分期建設(shè)需綜合考量：(1)總建設(shè)投資；(2)初期建設(shè)投資；(3)合理的變壓器容量選擇；(4)減少機(jī)房支持區(qū)的空間占用。

4.2 不間斷電源設(shè)備的分期投入

參照項(xiàng)目的終期建設(shè)目標(biāo)一次性配置不間斷電源系統(tǒng)存在著諸多弊端，為減少項(xiàng)目建設(shè)初期不必要的投資，且縮減不必要設(shè)備投入帶來的設(shè)備和能源損耗，需合理規(guī)劃不間斷電源系統(tǒng)的配置。該項(xiàng)目采用的主要措施包含以下內(nèi)容。

(1)合理規(guī)劃UPS設(shè)備的分組并機(jī)

計(jì)算初期、中期、終期建設(shè)需不間斷電源系統(tǒng)保障供電的具體負(fù)荷容量，規(guī)劃選擇UPS容量及并機(jī)形式時(shí)結(jié)合變壓器的容量選擇，尋求分期投資、機(jī)房面積指標(biāo)、系統(tǒng)架構(gòu)合理性、可靠性、運(yùn)維便捷性等幾大因素結(jié)合的最優(yōu)解。

(2)針對(duì)場(chǎng)景選擇設(shè)備

電子信息設(shè)備采用高頻塔式UPS，并合理配置UPS并機(jī)方案，兼顧分期需求及可靠性原則。

持續(xù)制冷設(shè)備的UPS電源方案則推薦采用模塊化UPS，一方面避免設(shè)備建設(shè)初期因較小的用電設(shè)備容量選配小容量UPS，導(dǎo)致在后期建設(shè)過程中進(jìn)行大的系統(tǒng)改造帶來的擴(kuò)建周期長、需停電停運(yùn)等問題。

另一方面避免過多的小容量UPS分組并機(jī)造成的總投資增加。

模塊化UPS的優(yōu)勢(shì)主要體現(xiàn)在部署更為靈活，以及后期更為簡(jiǎn)易的運(yùn)維。

5 結(jié)束語