數(shù)據(jù)中心2+1路市電的科學(xué)運(yùn)用研究

趙銳涵 朱同先 趙宇衡 季海峰 張曉艷 姜 昊

中國(guó)移動(dòng)通信集團(tuán)江蘇有限公司

0 引言

數(shù)據(jù)中心是云計(jì)算服務(wù)的核心基礎(chǔ)設(shè)施，是云計(jì)算規(guī)?；⒓s化發(fā)展的關(guān)鍵，云和終端客戶(hù)的互動(dòng)要通過(guò)數(shù)據(jù)中心及其所提供的運(yùn)營(yíng)服務(wù)來(lái)實(shí)現(xiàn)。云服務(wù)商對(duì)于數(shù)據(jù)中心快速部署、快速擴(kuò)張和高功率密度的要求，帶動(dòng)了數(shù)據(jù)中心向大規(guī)模、模塊化、綠色節(jié)能的趨勢(shì)發(fā)展，同時(shí)提出更高的運(yùn)維和定制化要求。

1 行業(yè)背景與電源選擇

1.1 數(shù)據(jù)中心發(fā)展趨勢(shì)

為了滿(mǎn)足社會(huì)信息化水平不斷提高的要求，促進(jìn)我國(guó)數(shù)據(jù)中心，特別是大型數(shù)據(jù)中心的合理布局和健康發(fā)展，國(guó)家發(fā)展改革委、中央網(wǎng)信辦、工業(yè)和信息化部、國(guó)家能源局于2020年12月23日下發(fā)《關(guān)于加快構(gòu)建全國(guó)一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系的指導(dǎo)意見(jiàn)》。據(jù)統(tǒng)計(jì)，2019年中國(guó)數(shù)據(jù)中心數(shù)量大約有7.4萬(wàn)個(gè)，較2012年增加2.3萬(wàn)個(gè)。其中，超大型、大型數(shù)據(jù)中心占數(shù)據(jù)中心總量達(dá)到12.7%；而規(guī)劃在建數(shù)據(jù)中心中，超大型、大型數(shù)據(jù)中心數(shù)量占比達(dá)到36.1%。

數(shù)據(jù)中心規(guī)模的不斷擴(kuò)大，單機(jī)架的設(shè)計(jì)功耗也在持續(xù)升高。北京市經(jīng)濟(jì)和信息化局于2021年4月27日率先發(fā)布《北京市數(shù)據(jù)中心統(tǒng)籌發(fā)展實(shí)施方案（2021-2023年）》，其中明確要求“新建云數(shù)據(jù)中心PUE不應(yīng)高于1.3，單機(jī)架功率不應(yīng)低于6千瓦”。在政策、現(xiàn)場(chǎng)、土地價(jià)格等諸多因素影響下，高功率機(jī)柜成為未來(lái)機(jī)柜發(fā)展的必然趨勢(shì)。

1.2 外市電選擇標(biāo)準(zhǔn)

隨著用電需求持續(xù)增大，在數(shù)據(jù)中心規(guī)劃設(shè)計(jì)階段，如何確定外市電的電壓等級(jí)，需要充分考慮局站類(lèi)別、當(dāng)?shù)毓╇姉l件、市電的可靠性和分類(lèi)、局（站）用電容量以及供電部門(mén)要求。在《通信局（站）電源系統(tǒng)總技術(shù)要求》YD/T 1051-2018中規(guī)定了通信局（站）根據(jù)其重要性、規(guī)模大小分類(lèi)。其中承載國(guó)際、省際等全網(wǎng)性業(yè)務(wù)的機(jī)房、集中為全省提供業(yè)務(wù)及支撐的機(jī)房、超大型和大型數(shù)據(jù)中心機(jī)房等的局站為一類(lèi)機(jī)房，原則上應(yīng)考慮采用一類(lèi)市電引入。引入外市電的電壓等級(jí)通常在220 kV、110 kV、66 kV、35 kV、20 kV、10 kV、380 V或220 V電源中選擇，經(jīng)技術(shù)性和經(jīng)濟(jì)性比較確定。

根據(jù)《數(shù)據(jù)中心設(shè)計(jì)規(guī)范》（GB50174-2017）要求，A級(jí)數(shù)據(jù)中心的供電電源也應(yīng)按一級(jí)負(fù)荷中的特別重要的負(fù)荷考慮，因此按《供配電系統(tǒng)設(shè)計(jì)規(guī)范》（GB50052-2009）要求需采用雙重電源+柴油發(fā)電機(jī)供電。在A(yíng)級(jí)數(shù)據(jù)中心內(nèi)的10/0.4 kV變電所及以下低壓配電系統(tǒng)中均按照2N的原則配置設(shè)備及線(xiàn)路，對(duì)于其上一級(jí)的110 kV或220 kV變電站的線(xiàn)路及主變沒(méi)有做出強(qiáng)制性的要求。按照江蘇省《電力用戶(hù)業(yè)擴(kuò)工程技術(shù)規(guī)范》（DB32/T1088-2007）規(guī)定，數(shù)據(jù)中心的市電電源進(jìn)線(xiàn)滿(mǎn)足N+1要求即可。如果總用電量超過(guò)10萬(wàn)kVA容量，根據(jù)江蘇省《電力用戶(hù)業(yè)擴(kuò)工程技術(shù)規(guī)范》（DB32/T1088-2007）規(guī)定“用戶(hù)申請(qǐng)容量在10萬(wàn)kVA及以上時(shí)，宜采用220 kV及以上電壓等級(jí)供電”。

以總用電容量為10萬(wàn)kVA為限，若數(shù)據(jù)中心設(shè)計(jì)PUE為1.30，平均單機(jī)架設(shè)計(jì)功耗為5 KW，則園區(qū)機(jī)架數(shù)可達(dá)15300架；若平均單機(jī)架為7 KW，則園區(qū)機(jī)架數(shù)可達(dá)10900架。用電容量限制了數(shù)據(jù)中心的整體機(jī)架規(guī)模。

因此，從土地規(guī)模、政策方向、電力容量、業(yè)務(wù)需求、投資回報(bào)等多個(gè)角度去分析數(shù)據(jù)中心的建設(shè)方向和目標(biāo)，是非常復(fù)雜的項(xiàng)目，本文以某運(yùn)營(yíng)商數(shù)據(jù)中心為研究對(duì)象，重點(diǎn)分析討論“1+1”模式220 kV供電與“2+1”模式110 kV供電兩種方案的優(yōu)劣勢(shì)。

2 方案比較

2.1 項(xiàng)目概況

某運(yùn)營(yíng)商數(shù)據(jù)中心園區(qū)地處華東地區(qū)，園區(qū)整體基礎(chǔ)設(shè)施系統(tǒng)設(shè)計(jì)遵循國(guó)家GB 50174-2017 A標(biāo)準(zhǔn)及部分參考國(guó)際Uptime和TIA942 T3+標(biāo)準(zhǔn)。其中一期包含機(jī)房樓2棟，110 kV變電站1棟，制冷站1棟，動(dòng)力中心1棟，輔助辦公用房1棟，總設(shè)計(jì)用電功率超6萬(wàn)kVA。二期新建機(jī)房樓2棟，柴油發(fā)電機(jī)樓1棟，用電功率達(dá)到10萬(wàn)kVA。園區(qū)整體用電功率達(dá)到16萬(wàn)kVA，遠(yuǎn)遠(yuǎn)超出110kV線(xiàn)路容量上限。

從電氣結(jié)構(gòu)上分析，一期110kV變電站已經(jīng)引入兩路110 kV市電進(jìn)線(xiàn)，對(duì)應(yīng)兩臺(tái)容量為10萬(wàn)kVA的110kV/10 kV主變壓器，10 kV母線(xiàn)采用單母線(xiàn)四分段的形式，其中I、II段母線(xiàn)對(duì)應(yīng)1#主變，III、IV段母線(xiàn)對(duì)應(yīng)2#主變。當(dāng)出現(xiàn)單路市電停電或者計(jì)劃性停電時(shí)，I和IV，II和III可分別通過(guò)聯(lián)絡(luò)柜實(shí)現(xiàn)手拉手供電。一期根據(jù)負(fù)載分配情況，已經(jīng)啟用6組10kV出線(xiàn)為末端進(jìn)行供電。

二期按照規(guī)劃負(fù)載，需要重新引出10組10kV配電線(xiàn)路為機(jī)房樓供電，每組進(jìn)線(xiàn)組容量約為1萬(wàn)kVA。因此需要對(duì)園區(qū)整體電力容量進(jìn)行擴(kuò)容并重新進(jìn)行負(fù)載分配。

2.2 電氣引入方案比較

從電源引入角度來(lái)看，如果采用兩路220 kV市電供電模式，需要拆除原有外市電電纜，重新選擇上級(jí)電源站，規(guī)劃外市電線(xiàn)路路由，復(fù)核110 kV變電站土建設(shè)計(jì)能否滿(mǎn)足要求或者重新新建220 kV變電站，拆除原系統(tǒng)中的電纜和電氣設(shè)備。如果考慮“2+1”110 kV外市電擴(kuò)容方案，需要確定新建線(xiàn)路上級(jí)變電站，規(guī)劃進(jìn)線(xiàn)路由，確定原110 kV是否有空間擺放擴(kuò)容變壓器、GIS等設(shè)備。參考原有一期圖紙和現(xiàn)場(chǎng)勘查結(jié)果，擴(kuò)容一路110 kV進(jìn)線(xiàn)，電纜管溝、變壓器、GIS的空間是可以滿(mǎn)足要求的。

從負(fù)載分配方案考慮，兩路220 kV市電供電模式比較簡(jiǎn)單，所有10 kV電源進(jìn)線(xiàn)引入端分別引自?xún)陕?20 kV下掛母線(xiàn)，日常運(yùn)行時(shí)，任一路電源運(yùn)行容量不超過(guò)50%即可，單路停電時(shí)，通過(guò)手拉手形式通過(guò)聯(lián)絡(luò)柜供電，雙路停電則通過(guò)應(yīng)急后備電源供電。如果為“2+1”110 kV市電供電方案則需要對(duì)每路10 kV進(jìn)線(xiàn)規(guī)劃容量進(jìn)行統(tǒng)計(jì)復(fù)核，重新進(jìn)行排列組合。理想情況下，終期滿(mǎn)載運(yùn)行，每路110 kV日常用電容量可達(dá)線(xiàn)路總?cè)萘康?/3，當(dāng)其中任一一路市電停電，則將所帶負(fù)載進(jìn)行均分，由另外兩路分別帶載，此時(shí)另外兩路運(yùn)行功率達(dá)到100%，當(dāng)出現(xiàn)兩路停電乃至三路停電的情況，則通過(guò)應(yīng)急后備電源供電。將三路110 kV市電分別記作A、B、C，每路市電通過(guò)110 kV主變，各帶兩段10 kV母線(xiàn)，分別記作I、II、III、IV、V、VI，則A路外市電帶I、II段母線(xiàn)，B路進(jìn)線(xiàn)帶III、IV段母線(xiàn)，C路進(jìn)線(xiàn)帶V、VI段母線(xiàn)。由于同組變壓器下兩段母線(xiàn)分別引自?xún)砂逊种ч_(kāi)關(guān)，并無(wú)電氣連接，I、VI，II、III和IV、V直接有聯(lián)絡(luò)柜可以進(jìn)行手拉手。因此，假定A路停電，則I、II兩段母線(xiàn)下所帶負(fù)載分別由C路進(jìn)線(xiàn)和B路進(jìn)線(xiàn)進(jìn)行供電。考慮到數(shù)據(jù)中心負(fù)載增長(zhǎng)的一般規(guī)律，在較長(zhǎng)周期內(nèi)，園區(qū)整體用電功率很難達(dá)到一路市電的總設(shè)計(jì)容量。因此在負(fù)載分配的設(shè)計(jì)規(guī)劃階段，技術(shù)團(tuán)隊(duì)提出，10kV負(fù)載在分配階段，機(jī)房樓、制冷站同組10kV進(jìn)線(xiàn)分配應(yīng)該按照I、IV，II、V和III、VI進(jìn)行進(jìn)線(xiàn)互備設(shè)計(jì)。這種分配方案可以保證園區(qū)在整體市電容量充足的情況下，即使兩路110 kV外市電停電，園區(qū)整體依然可以保證都由外市電進(jìn)行供電，不需要啟動(dòng)應(yīng)急后備電源。

圖1 “2+1”110 kV負(fù)載分配示意圖

從投資角度考慮，110 kV外市電線(xiàn)路引入電纜選用YJLW03-64/110 kV-1×800mm2，單回路綜合單價(jià)約為1200萬(wàn)/千米；220kV外市電線(xiàn)路引入電纜選用ZC-YJLW03-127/220kV-1×2000 mm2，單回路造價(jià)約為5800萬(wàn)/千米。此外，如果采用220 kV方案，還需要廢除原有110 kV變電站，并且重新完成新變電站的建設(shè)。結(jié)合該項(xiàng)目上級(jí)電源站所距離數(shù)據(jù)中心的距離，兩種方案的投資估算如表1所示。

表1 新建兩路220kV和引入一路110kV市電引入方案對(duì)比表

從現(xiàn)有業(yè)務(wù)保障角度考慮，重新引入一路110kV及負(fù)載割接改造，機(jī)房業(yè)務(wù)大約會(huì)有5天供電可靠性會(huì)受到影響。而220kV改造方案會(huì)有20天左右機(jī)房供電至少一路需要中斷。

經(jīng)多輪溝通，不斷優(yōu)化方案，最終擬按照再引入一路110kV電源和現(xiàn)有兩路110kV電源組成2+1方案，并通過(guò)10kV中壓側(cè)倒換實(shí)現(xiàn)園區(qū)供電。經(jīng)測(cè)算，該方案最終投資預(yù)算約1.6億元，至少可節(jié)省7.4億元。且后期運(yùn)營(yíng)維護(hù)、建設(shè)周期都大大減少和縮短。

3 落地實(shí)施

園區(qū)第三路110kV外市電引自臨近220kV變電站110kV備用間隔，線(xiàn)路全長(zhǎng)約8公里，電纜采用YJLW03-64/110-1×800mm2。110kV變電站內(nèi)部新增1臺(tái)100MVA主變，新增1組110kV進(jìn)線(xiàn)GIS裝置（線(xiàn)變組接線(xiàn)），10kV新增2段母線(xiàn)，接入原10kV母線(xiàn)系統(tǒng)，最終10kV改建為單母線(xiàn)六分段環(huán)形接線(xiàn)。

4 自動(dòng)化運(yùn)維方案

4.1 自動(dòng)化需求

“2+1”方案落地后，又面臨新的難題和挑戰(zhàn)，如何解決結(jié)構(gòu)復(fù)雜的系統(tǒng)或者設(shè)備分布比較分散的大系統(tǒng)，如何確保系統(tǒng)動(dòng)作順序的可靠性、準(zhǔn)確性，避免由于誤動(dòng)作影響系統(tǒng)的持續(xù)運(yùn)行成為一個(gè)重要課題。

通常，高壓開(kāi)關(guān)柜的保護(hù)邏輯往往在建設(shè)調(diào)測(cè)期間已經(jīng)固化完成，后期調(diào)整的可能性很小。以單路進(jìn)線(xiàn)停電為例，該數(shù)據(jù)中心機(jī)樓高壓開(kāi)關(guān)柜的動(dòng)作順序?yàn)椋喊错樞蛞来畏珠_(kāi)停電側(cè)出線(xiàn)柜→分開(kāi)停電側(cè)進(jìn)線(xiàn)柜→閉合高壓聯(lián)絡(luò)柜開(kāi)關(guān)→按順序依次閉合停電側(cè)出線(xiàn)柜。一般我們將這種投切方式叫做順序投切，這個(gè)方案的優(yōu)點(diǎn)在于調(diào)試相對(duì)簡(jiǎn)單，如果出現(xiàn)開(kāi)關(guān)動(dòng)作錯(cuò)誤，現(xiàn)場(chǎng)人員方便定位。然而在“2+1”供電模式下，如果需要實(shí)現(xiàn)10kV側(cè)中壓倒換的順利完成，需要增加的采樣單元、二次線(xiàn)數(shù)量非常多，相互之間的聯(lián)動(dòng)關(guān)系也非常復(fù)雜，改造后的調(diào)測(cè)難度也非常大。因此，技術(shù)團(tuán)隊(duì)提出基于SCADA平臺(tái)進(jìn)行功能開(kāi)發(fā)實(shí)現(xiàn)對(duì)10kV以及后備電源的整體調(diào)度，并且更進(jìn)一步實(shí)現(xiàn)智能化分級(jí)保障方案。

4.2 自控方案設(shè)計(jì)

場(chǎng)控系統(tǒng)利用SCADA系統(tǒng)既有的采樣、存儲(chǔ)功能，對(duì)一定時(shí)間區(qū)域內(nèi)負(fù)載電流進(jìn)行計(jì)算，加上該線(xiàn)路的充電電流需量以及一定安全裕量，從而得到需要保障各出線(xiàn)柜負(fù)載穩(wěn)定運(yùn)行電流需量。通過(guò)人工對(duì)出線(xiàn)開(kāi)關(guān)進(jìn)行預(yù)分級(jí)標(biāo)記，從而優(yōu)先保障為重要出線(xiàn)開(kāi)關(guān)供電，從而保障重要業(yè)務(wù)不受斷電影響，持續(xù)穩(wěn)定運(yùn)行。

假定110 kV進(jìn)線(xiàn)A、B停電，兩路所帶母線(xiàn)分別為I、II和III、IV，每段母線(xiàn)需要倒切的電流量為各出線(xiàn)最大短期運(yùn)行電流與充電電流之和：

I需=∑（Imax出線(xiàn)1+Imax出線(xiàn)2+…）+∑（Imax充電1+Imax充電2+…）

由于I段與VI段，IV段與V段有聯(lián)絡(luò)柜連接，當(dāng)前V段與VI段母線(xiàn)運(yùn)行電流分別為IVI及IIII，每路進(jìn)線(xiàn)大載流量為In，則：

若In-IV-IVI-III需-IIII需≥I1需+IIV需，則通過(guò)機(jī)樓內(nèi)10 kV母聯(lián)將II、III段母線(xiàn)下負(fù)載倒切至V、VI段，同時(shí)閉合110kV變電站IV、V段和I、VI段之間的聯(lián)絡(luò)柜；

若In-IV-IVI-III需-IIII需≥0且In-IV-IVI-III需-IIII需＜I1需+IIV需，則通過(guò)機(jī)樓內(nèi)10 kV母聯(lián)將II、III段母線(xiàn)下負(fù)載倒切至V、VI段，啟動(dòng)I、IV段母線(xiàn)所帶負(fù)載的對(duì)應(yīng)的油機(jī)組，完成啟機(jī)并機(jī)進(jìn)行供電；

若In-IV-IVI-III需-IIII需＜0，則根據(jù)重要等級(jí)，將重要負(fù)載通過(guò)機(jī)樓內(nèi)10 kV母聯(lián)將II、III段母線(xiàn)下負(fù)載倒切至V、VI段，超出部分及I、IV段母線(xiàn)所帶負(fù)載通過(guò)啟動(dòng)對(duì)應(yīng)的油機(jī)組，完成啟機(jī)并機(jī)進(jìn)行供電。

這里特別強(qiáng)調(diào)，負(fù)載對(duì)應(yīng)母線(xiàn)一定要按照I、IV，II、V和III、VI進(jìn)行進(jìn)線(xiàn)互備設(shè)計(jì)。

當(dāng)系統(tǒng)給出倒切方案后，會(huì)先在人機(jī)界面進(jìn)行彈框，調(diào)度人員可以選擇進(jìn)行方案預(yù)演，或者立即執(zhí)行。

通過(guò)SCADA系統(tǒng)的介入，我們還可以實(shí)現(xiàn)對(duì)同一重要級(jí)別的負(fù)載根據(jù)末端負(fù)荷大小進(jìn)行排序，使整套高壓開(kāi)關(guān)柜投入順序按照負(fù)荷的大小順序投入，減少對(duì)園區(qū)微電網(wǎng)的沖擊。

5 結(jié)束語(yǔ)

采用“2+1”供電模式引入一路110 kV電源，通過(guò)10 kV成環(huán)互為備份，在行業(yè)內(nèi)屬于先進(jìn)技術(shù)處理模式，可有效解決供電容量的問(wèn)題，且大大節(jié)省建設(shè)投資，減少后續(xù)維護(hù)成本。

（1）節(jié)約建設(shè)投資：某運(yùn)營(yíng)商數(shù)據(jù)中心三路110 kV線(xiàn)路方案相對(duì)于兩路220kV方案可減少投資7.4億元；（2）縮短建設(shè)周期：采用1路110kV引入對(duì)施工環(huán)境、施工工藝要求較220kV要低，預(yù)計(jì)節(jié)省工期約6個(gè)月以上；（3）減少后續(xù)維護(hù)成本：220kV電壓等級(jí)更高，維護(hù)難度更大，預(yù)防性試驗(yàn)及絕緣性檢測(cè)成本要降低成本500萬(wàn)元/年；（4）變電站建設(shè)面積減?。?20kV市電電源需新建1棟220kV變電站6000平方米，而本方案采用“2+1”110kV引入只需建1臺(tái)110kV變壓器及配套，利用現(xiàn)有變電站擴(kuò)容；（5）通過(guò)場(chǎng)控平臺(tái)降低硬件投資、減少改造施工量并減少一線(xiàn)駐場(chǎng)技術(shù)人員數(shù)量?？梢怨?jié)約一次性投資約400萬(wàn)元，后續(xù)每年可以節(jié)約運(yùn)維費(fèi)用約240萬(wàn)元。