數(shù)據(jù)中心的供配電設(shè)計與施工探討

張一凡, 滑 祥

(萬國數(shù)據(jù)服務(wù)有限公司, 上海 200131)

0 引 言

數(shù)據(jù)中心供配電系統(tǒng)是為機(jī)房內(nèi)所有需要電源的設(shè)備提供穩(wěn)定、可靠的動力電源支持的系統(tǒng)。一旦供配電系統(tǒng)出現(xiàn)故障,輕則降低IT或輔助設(shè)備的冗余度,重則會導(dǎo)致IT設(shè)備斷電宕機(jī),造成經(jīng)濟(jì)損失和社會影響。本文結(jié)合項目中的實際設(shè)備故障案例和運(yùn)行數(shù)據(jù),對A級數(shù)據(jù)中心的供配電系統(tǒng)設(shè)計、施工方面進(jìn)行分析,供相關(guān)技術(shù)人員參考。

1 數(shù)據(jù)中心的規(guī)范要求

1.1 ANSI標(biāo)準(zhǔn)TIA-942

美國國家標(biāo)準(zhǔn)學(xué)會(ANSI)于2005批準(zhǔn)頒布的TIA-942(ANSI/TIA/EIA-942 Telecommunications Infrastructure Standard for Data Centers《數(shù)據(jù)中心通信基礎(chǔ)設(shè)施標(biāo)準(zhǔn)》),該標(biāo)準(zhǔn)針對數(shù)據(jù)中心基礎(chǔ)設(shè)施的可用性定義了4種不同等級,作為數(shù)據(jù)中心基礎(chǔ)設(shè)施分級認(rèn)證的標(biāo)準(zhǔn)。4種不同等級認(rèn)證分別被命名為Tier 1、Tier 2、Tier 3、Tier 4等級,分別對應(yīng)數(shù)據(jù)中心的可用性指標(biāo)及年平均故障時間。其中Tier 4級可用性99.995%、年平均故障時間0.4 h。

1.2 國標(biāo)GB 50174

依據(jù)GB 50174—2017《數(shù)據(jù)中心設(shè)計規(guī)范》規(guī)定,數(shù)據(jù)中心設(shè)計時應(yīng)根據(jù)機(jī)房的使用性質(zhì),管理要求及其在經(jīng)濟(jì)社會中的重要性確認(rèn)機(jī)房級別,劃分為A、B、C 3種級別。A級數(shù)據(jù)中心的基礎(chǔ)設(shè)施宜按照容錯系統(tǒng)配置,基礎(chǔ)設(shè)施應(yīng)在一次意外事故后或單系統(tǒng)設(shè)備維護(hù)、檢修時仍能保證電子信息系統(tǒng)正常運(yùn)行[1]。A級數(shù)據(jù)中心應(yīng)由雙重電源供電,并應(yīng)設(shè)置備用電源。

2 數(shù)據(jù)中心的現(xiàn)狀

大型園區(qū)型數(shù)據(jù)中心通常配置獨(dú)立的220 kV或110 kV變電站,由變電站饋送10 kV電源至數(shù)據(jù)樓;中型數(shù)據(jù)中心往往采用2回110 kV或35 kV的線變組接入后,通過10 kV母線饋送各配電變;小型數(shù)據(jù)中心基本上用2回10 kV市電電源通過電纜送往數(shù)據(jù)中心高壓10 kV配電系統(tǒng)。

獨(dú)立的數(shù)據(jù)樓通常是2路10 kV電纜電源進(jìn)線,10 kV電氣主接線為單母線分段,并配置能承擔(dān)數(shù)據(jù)機(jī)房滿載正常運(yùn)行的柴油發(fā)電機(jī)組作為備用電源。配電變壓器常采用2N系統(tǒng)設(shè)置,后端不間斷電源系統(tǒng)通常采用2N的UPS并機(jī)系統(tǒng)供電,也有部分采用2N的高壓直流配電或1路高壓直流配電、1路市電直供方式。標(biāo)準(zhǔn)2N系統(tǒng)A級數(shù)據(jù)中心供配電系統(tǒng)示意圖如圖1所示。

圖1 標(biāo)準(zhǔn)2N系統(tǒng)A級數(shù)據(jù)中心供配電系統(tǒng)示意圖

2.1 0.4 kV聯(lián)絡(luò)母線

2N系統(tǒng)設(shè)計的低壓配電系統(tǒng),考慮10 kV饋線電纜、配電變壓器在運(yùn)行中的故障場景,通常設(shè)計有0.4 kV聯(lián)絡(luò)母線[1]。低壓密集絕緣母線由于其造價、體積等優(yōu)點(diǎn),數(shù)據(jù)中心項目上基本上采用此類母線。

按照建設(shè)方對降低數(shù)據(jù)中心建設(shè)成本的要求,部分項目在0.4 kV優(yōu)化聯(lián)絡(luò)母線。某項目低壓配電一次圖如圖2所示。圖中,原本低壓聯(lián)絡(luò)開關(guān)、隔離開關(guān)的標(biāo)準(zhǔn)配置省去了額定電流3 200 A或4 000 A的隔離開關(guān)。

圖2 某項目低壓配電一次圖

在實際運(yùn)維現(xiàn)場中,0.4 kV聯(lián)絡(luò)母線空載帶電時發(fā)生過數(shù)起短路故障,造成配電變低壓總進(jìn)線開關(guān)保護(hù)分閘,單邊母線停電。人工應(yīng)急檢查,對聯(lián)絡(luò)母線段隔離后,恢復(fù)2N低壓配電。與母線廠商一起對事故原因進(jìn)行分析,結(jié)論為:母線連接處安裝不到位,一側(cè)連接側(cè)板壓在連接器異型材,接觸不緊密,存在間隙;另一側(cè)未插接到位,母線銅排相間裸露,電氣間隙不滿足設(shè)計要求。某品牌低壓密集絕緣母線接頭連接器安裝異常如圖3所示。在灰塵、濕度變化時易引起擊穿空氣造成短路,瞬間高溫造成銅排熔化。

圖3 某品牌低壓密集絕緣母線接頭連接器安裝異常

2.2 UPS并機(jī)系統(tǒng)外部維修旁路母線

項目中UPS通常采用2～4臺并機(jī)系統(tǒng),通過UPS的并列運(yùn)行,提高UPS供電系統(tǒng)的可靠性、增加UPS系統(tǒng)的冗余度。UPS并機(jī)系統(tǒng)均配置外部維修旁路,用于UPS的整組維修、維護(hù)等場景。根據(jù)并機(jī)系統(tǒng)容量的大小,外部維修旁路常采用額定電流3 200 A、2 500 A、2 000 A的低壓密集絕緣母線。

為降低數(shù)據(jù)中心的建設(shè)成本,新設(shè)計的項目在外部維修旁路電源側(cè)設(shè)置框架式斷路器,后端通過母線直接轉(zhuǎn)接至UPS輸出并機(jī)柜的母線,省去了1個框架式隔離開關(guān)及其盤柜。早期項目配電情況如圖1所示,外部維修旁路的電源側(cè)配置斷路器、負(fù)載側(cè)配置斷路器或隔離開關(guān),其優(yōu)勢在于密集絕緣母線故障時隔離、日常維護(hù)隔離用。

2.3 園區(qū)型中心用戶變電站的電氣主接線

隨著“東數(shù)西算”項目的推進(jìn),在大型、超大型、園區(qū)型數(shù)據(jù)中心項目中,獨(dú)立變電站往往配置不小于4臺電力變壓器,此時其電氣主接線在設(shè)計報審階段前就需要和外電部門溝通。目前部分110/10 kV的變電站,110 kV采用單母線分段,設(shè)置聯(lián)絡(luò)開關(guān);部分變電站,采用兩套一進(jìn)多出的單母線,無聯(lián)絡(luò)開關(guān)。

以江蘇某園區(qū)型數(shù)據(jù)中心為例,某園區(qū)型數(shù)據(jù)中心配套變電站一次圖如圖4所示。因電網(wǎng)側(cè)的原因,近年上級電網(wǎng)多次要求用戶站配合倒閘,設(shè)置聯(lián)絡(luò)開關(guān),在電網(wǎng)調(diào)度指令下,利用110 kV聯(lián)絡(luò)開關(guān)短時合環(huán)運(yùn)行,實施不停電倒負(fù)荷,避免下掛5棟數(shù)據(jù)樓的10條線路停電操作,實現(xiàn)后端負(fù)載無感知。

圖4 某園區(qū)型數(shù)據(jù)中心配套變電站一次圖

2.4 用戶變電站的無功補(bǔ)償配置

數(shù)據(jù)中心設(shè)置的變電站電壓等級分為35 kV、110 kV及220 kV,國網(wǎng)單位往往憑借原來應(yīng)用于工業(yè)企業(yè)或者電網(wǎng)變電站的設(shè)計經(jīng)驗,在10 kV母線段上掛大量電容器,作為感性無功功率的補(bǔ)償。

數(shù)據(jù)中心行業(yè)設(shè)備以不間斷電源UPS設(shè)備為主,其設(shè)備技術(shù)參數(shù)要求功率因素不低于0.95,電源端內(nèi)部配置PFC等類似設(shè)備。因此在后端服務(wù)器負(fù)載投入時,用戶站進(jìn)線側(cè)功率因素為0.95以上,且偏容性。用戶站配置的高壓電容器除變電站起動時,整個數(shù)據(jù)中心生命周期,電容器補(bǔ)償裝置均閑置,造成設(shè)備投資浪費(fèi)。

電網(wǎng)電費(fèi)計量點(diǎn)根據(jù)所在區(qū)域、項目也不一樣。上海區(qū)域電費(fèi)計量點(diǎn)均在用戶側(cè)進(jìn)線計量;河北等地電費(fèi)計量點(diǎn)在電網(wǎng)變電站出線側(cè);江蘇區(qū)域依據(jù)不同項目,有的計量點(diǎn)在用戶側(cè),有的在電網(wǎng)側(cè),根據(jù)供用電合同的約定。當(dāng)計量點(diǎn)在電網(wǎng)側(cè)時,通過較長的電纜輸送至用戶站,因電纜的電容效應(yīng),會消耗大量的容性無功功率。數(shù)據(jù)中心后端負(fù)載一般都是隨客戶服務(wù)器上架而緩慢升高,在投用的1～3年內(nèi),有功功率不高時,易造成計量點(diǎn)處功率因素偏低,每個月都會因電網(wǎng)考核指標(biāo)而罰款,造成用戶不必要的經(jīng)濟(jì)損失。用戶站因前期按照工業(yè)企業(yè)變電站配置,未配置高壓電抗器類負(fù)載而面臨無法進(jìn)行容性無功功率過剩的補(bǔ)償尷尬。

3 設(shè)計與施工

3.1 低壓密集絕緣母線應(yīng)用時的設(shè)計

設(shè)計配置時需要注意:① 0.4 kV配電系統(tǒng),采用單母線分段接線形式,新建工程必須設(shè)置低壓聯(lián)絡(luò)開關(guān)、隔離開關(guān)柜,用于低壓聯(lián)絡(luò)用密集絕緣母線的故障隔離、日常檢修場景。② IT用UPS外部維修旁路采用低壓密集絕緣母線時,維修旁路的電源側(cè)、負(fù)載側(cè)宜分別裝斷路器、隔離開關(guān),用于應(yīng)對密集絕緣母線的故障隔離、日常檢修場景。

由于低壓密集絕緣母線的安裝工藝要求較空氣絕緣母線高,如果沒有設(shè)置隔離開關(guān),一旦發(fā)生故障會造成低壓母線一段時間單邊不可用,單邊UPS的蓄電池放電耗盡,后端負(fù)載單邊供電中斷,IT設(shè)備冗余降低。并機(jī)UPS系統(tǒng)的輸出柜亦需要考慮上述接頭故障場景,如果沒有設(shè)置隔離開關(guān),一旦發(fā)生故障,會造成UPS輸出中斷,多個列頭柜單邊供電中斷。隔離故障部位的時間視搶修人員能力而定,易造成下端模塊機(jī)房IT設(shè)備長時間單邊供電。數(shù)據(jù)機(jī)房目前都是靠2N服務(wù)器電源PSU來保證高可靠性,隔離故障所需時間內(nèi),多個列頭柜的單路供電存在較大風(fēng)險。

3.2 用戶變電站的設(shè)計

設(shè)計優(yōu)化點(diǎn)一:大型園區(qū)型數(shù)據(jù)中心項目中,其往往配置不小于4臺電力變壓器,其高壓電氣主接線宜按照設(shè)計聯(lián)絡(luò)開關(guān)報批。

項目中,GIS設(shè)備在上述設(shè)計時,除了增加1個間隔的成本外,必然會布置在同一個防火分區(qū)內(nèi),有人會提出疑問:按照GB 50174—2017的要求A級數(shù)據(jù)中心,容錯配置的變配電設(shè)備應(yīng)分別布置在不同的物理隔間內(nèi)[1]。數(shù)據(jù)樓內(nèi)配電設(shè)施按照此要求執(zhí)行,而獨(dú)立變電站可以參考電網(wǎng)的變電站設(shè)計。

設(shè)計優(yōu)化點(diǎn)二:設(shè)計高電壓等級變電站的項目,當(dāng)計量點(diǎn)在電網(wǎng)側(cè),通過較長的電纜、架空/電纜混合線路輸送至用戶站,需要設(shè)計單位考慮電纜的電容效應(yīng)的影響,結(jié)合數(shù)據(jù)中心生產(chǎn)負(fù)載增長速度,適當(dāng)設(shè)置電抗器類補(bǔ)償設(shè)備,減少電容設(shè)備的配置。

3.3 低壓密集絕緣母線的施工

低壓聯(lián)絡(luò)母線施工中需要注意:① 低壓密集絕緣母線(大母線、機(jī)房配電母線)的安裝需要確保施工遵循廠家的《作業(yè)施工、安裝維護(hù)手冊》技術(shù)點(diǎn)實施。重點(diǎn)關(guān)注段間連接器的安裝質(zhì)量。在專人檢查連接器內(nèi)部母排和銅片的搭接狀態(tài)無誤后,統(tǒng)一進(jìn)行連接器外防護(hù)蓋板的安裝。母線接頭連接器結(jié)構(gòu)示意圖如圖5所示。具體執(zhí)行參考《低壓母線槽應(yīng)用技術(shù)規(guī)程》的安裝、驗收章節(jié)[2]。② 運(yùn)維前帶載測試期間,紅外成像檢查母線槽的連接器等是否滿足廠家標(biāo)稱溫升要求。

圖5 母線接頭連接器結(jié)構(gòu)示意圖

低壓密集絕緣母線的設(shè)計說明、施工交底中需明確:① 聯(lián)絡(luò)母線額定電流不小于3 200 A,單節(jié)母線長度不小于2 m的,每一單元母線支架應(yīng)不少于2個;② 水平母線槽的安裝方面:立式、臥式均需要使用壓板將母線槽外殼固定在支架上;③ 支架的高低應(yīng)一致,支架設(shè)置的位置應(yīng)避開母線槽接頭,位于連接器兩端[2]。

在實際故障、施工中,單節(jié)密集絕緣母線較長時,其重量較大,施工人員對母線進(jìn)行安裝時如果吊架過少,其安裝難度較大,難以確保施工質(zhì)量(接頭);吊桿、支架等輔材其價格便宜,不會影響工程成本。用母線槽壓板防止安裝中母線左右晃動,造成安裝好的連接器又出現(xiàn)移位。

3.4 10 kV電纜頭的施工

電力電纜終端的施工注意事項:① 施工人員具備施工資質(zhì),按照附件廠商施工說明書施工;② 電纜的外屏蔽層與電纜終端內(nèi)的屏蔽層搭接良好;③ 電纜終端的應(yīng)力錐部位不允許承受彎曲應(yīng)力,盡量保持直線[3]。

電纜終端往往是高壓電纜相對薄弱的地方,其制作質(zhì)量決定了電纜的運(yùn)行可靠性。事故案例一:10 kV電纜使用冷縮終端時,可以采用冷縮直管、冷縮終端、三支套結(jié)構(gòu),也可以采用冷縮終端、冷縮直管、三支套結(jié)構(gòu)。采用第一種結(jié)構(gòu)相對來說安裝后,局部放電風(fēng)險較大。某數(shù)據(jù)中心項目中干式配電變的高壓側(cè)電纜采用上進(jìn)線,10 kV電纜采用第一種方式制作終端,由于冷縮終端處于分叉處,長期導(dǎo)致喇叭口處電場應(yīng)力集中,最終導(dǎo)致電纜的主絕緣單相對地絕緣擊穿事故發(fā)生。事故案例二:某施工單位為降低成本,臨時聘請1人實施10 kV電纜頭的施工作業(yè),施工單位未能識別出該人員不具備電纜頭制作能力。造成多個新建項目電纜頭制作不合格,耐壓試驗時發(fā)現(xiàn)異常,解剖發(fā)現(xiàn)擠包絕緣電纜的半導(dǎo)電層沒有按照要求與應(yīng)力錐的半導(dǎo)電層均勻不間斷地過渡,中間有一段僅用冷縮直管包裹剝?nèi)グ雽?dǎo)電層的電纜主絕緣。

4 結(jié) 語

一座高可靠性、經(jīng)濟(jì)運(yùn)行的數(shù)據(jù)中心與開始的設(shè)計到設(shè)備制造、施工安裝、后期運(yùn)行維護(hù)等都密切相關(guān),任何一個環(huán)節(jié)的不足都會給后期設(shè)備運(yùn)維帶來潛在風(fēng)險或增加運(yùn)維成本。