大型數(shù)據(jù)中心規(guī)劃之電力先行

郭利群， 胡建軍

(中國建筑設(shè)計研究院有限公司，北京 100044)

0 引言

自2008年以來，國內(nèi)現(xiàn)代化的大型數(shù)據(jù)中心建設(shè)逐漸興起，隨著GB 50174-2008《電子信息系統(tǒng)機房設(shè)計規(guī)范》的發(fā)布及TIA-942、Uptime等國際標(biāo)準(zhǔn)的引入，國內(nèi)數(shù)據(jù)中心建設(shè)開始走向規(guī)范化、標(biāo)準(zhǔn)化發(fā)展。

據(jù)Synergy Research的調(diào)研報告，2017年全球超大規(guī)模數(shù)據(jù)中心已超過390個。按國家劃分，美國占全球44%的大型數(shù)據(jù)中心；其次是中國、日本和英國，合起來占總數(shù)的20%；澳大利亞、德國、新加坡、加拿大、印度和巴西分別占3%～5%。

隨著云計算、物聯(lián)網(wǎng)、大數(shù)據(jù)等新技術(shù)的興起，數(shù)據(jù)中心的建設(shè)呈現(xiàn)向大型化發(fā)展的趨勢，而大型數(shù)據(jù)中心的電力消耗巨大，2016年國內(nèi)數(shù)據(jù)中心能耗約為1 100億kWh，占整個國民用電的2%左右，預(yù)計到2026年會占到整個國民總耗電量的8%。

根據(jù)工信部發(fā)布的《全國數(shù)據(jù)中心應(yīng)用發(fā)展指引(2017)》，在用的數(shù)據(jù)中心數(shù)量為1 641個、標(biāo)準(zhǔn)機架124.4萬，在建的數(shù)據(jù)中心數(shù)量為437個、標(biāo)準(zhǔn)機架125萬。按此趨勢，超大型數(shù)據(jù)中心的數(shù)量會逐年遞增，小型的IDC將不復(fù)存在或者被整體出售。因此，在大型數(shù)據(jù)中心規(guī)劃時，其電力資源能否有效、經(jīng)濟的利用，備用電源是否安全可靠均成為數(shù)據(jù)中心項目成敗的關(guān)鍵指標(biāo)。

1 數(shù)據(jù)中心保障等級的影響

眾所周知，國標(biāo)GB 50174的A級是與TIA942、Uptime的T3/T4(Tier III/IV)保障等級相對應(yīng)的，在數(shù)據(jù)中心規(guī)劃初期，數(shù)據(jù)中心保障等級的確定，則與電力資源的申請、項目投資額息息相關(guān)。

從GB 50174-2017中A、B、C級的要求可以看出，保障等級越高，需要投入的基礎(chǔ)設(shè)施越多，采取的保障措施越嚴(yán)格(詳見表1)。

設(shè)計人員需要分析客戶對計劃內(nèi)關(guān)機和計劃外故障的容忍度，并且要引導(dǎo)客戶理解信息中斷的后果、了解未來的業(yè)務(wù)發(fā)展，從而確定客戶對業(yè)務(wù)連續(xù)性的要求，根據(jù)業(yè)務(wù)特點合理選擇數(shù)據(jù)中心的系統(tǒng)類型和保障等級。

已知的諸如金融用戶受銀監(jiān)會、保監(jiān)會的監(jiān)管要求，其建立的“兩地三中心”(即同城生產(chǎn)中心、同城災(zāi)備中心和異地災(zāi)備中心)數(shù)據(jù)中心均需滿足GB 50174的A級要求；自有數(shù)據(jù)中心用戶的大型、超大型數(shù)據(jù)中心往往是要求達(dá)到A級要求，一些中型數(shù)據(jù)中心由于是中小型用戶的總部級數(shù)據(jù)中心也要求達(dá)到A級；對于出租型數(shù)據(jù)中心，在早期建設(shè)時曾經(jīng)有混合建設(shè)的要求，如一部分A級、一部分B級，經(jīng)過幾年的發(fā)展后由于建設(shè)規(guī)模不斷擴大，數(shù)量在3 000個標(biāo)準(zhǔn)機架以上規(guī)模的數(shù)據(jù)中心基本上不存在B級和C級需求。

GB 50174-2017對A、B、C級的供電要求 表1

這里需要說明的是，根據(jù)工信部《關(guān)于數(shù)據(jù)中心建設(shè)布局的指導(dǎo)意見》，以功率2.5kW為一個標(biāo)準(zhǔn)機架，超大型數(shù)據(jù)中心規(guī)?！?0 000個標(biāo)準(zhǔn)機架，大型數(shù)據(jù)中心規(guī)?！? 000個、<10 000個標(biāo)準(zhǔn)機架，中小型數(shù)據(jù)中心規(guī)模<3 000個標(biāo)準(zhǔn)機架。

2 單機柜功率的影響

基于IT設(shè)備技術(shù)變化的影響，服務(wù)器的應(yīng)用場景已經(jīng)發(fā)生了顯著變化，小型計算機開始被機架式服務(wù)器所取代。早期數(shù)據(jù)中心的機架式服務(wù)器高度一般是3～5U(“U”在服務(wù)器領(lǐng)域中特指機架式服務(wù)器厚度，1U=4.45cm)，現(xiàn)代數(shù)據(jù)中心內(nèi)采用的服務(wù)器高度一般是2U或者1U，隨著服務(wù)器高度降低，單機柜耗電量飆升。

一個標(biāo)準(zhǔn)的42U機柜留給服務(wù)器的空間大概是36U，通常2U服務(wù)器的滿載功耗大概是在350W左右，那么支撐約18臺2U服務(wù)器的單機柜供電量需要達(dá)到6kW，而換成部署36臺1U服務(wù)器的時候，供電量就要達(dá)到12kW。但日常使用中，服務(wù)器一般不會滿負(fù)載運轉(zhuǎn)，單臺服務(wù)器的功耗往往低于300W，這種情況下，機柜電量最多利用70%。因此，有經(jīng)驗的IDC租戶在上架時都會對服務(wù)器標(biāo)稱電量，以期符合租用時約定的單機柜耗電量，避免租金損失。

根據(jù)長期工作經(jīng)驗，目前市場上單機柜功率：金融保險及政企用戶約為3.5～4kW，云計算用戶約為5kW，BAT企業(yè)采用自有標(biāo)準(zhǔn)達(dá)到7kW以上，此外還有一些零散自有用戶維持在3kW以下。

需要注意的是，隨著單機柜功率密度的加大，會增加對于數(shù)據(jù)中心電源可靠性的要求。以往的低密度數(shù)據(jù)中心甚至可以利用主機房的整體空間作為備用冷池，單機柜功率密度3kW的數(shù)據(jù)中心，其房間冷池可以保證空調(diào)系統(tǒng)斷電停機以后480s的制冷量，而10kW的數(shù)據(jù)中心在240s后就會熱保護停機。不同功率密度下冷卻失效的機房溫度統(tǒng)計詳見表2。

不同功率密度下冷卻失效后的機房溫度/℃ 表2

由表2可知，隨著單機柜功率密度增加，為保證數(shù)據(jù)中心連續(xù)可靠運行，持續(xù)制冷要求空調(diào)的電源需要UPS提供，數(shù)據(jù)中心用于散熱和冷卻的成本會加大，用于保障這些新增空調(diào)設(shè)備的運營費用會增加，發(fā)生停機中斷的風(fēng)險也會增大。

3 節(jié)能政策的影響

從數(shù)據(jù)中心對電力的需求來看，數(shù)據(jù)中心已經(jīng)成為重要的高耗能產(chǎn)業(yè)而非“無煙工業(yè)”，數(shù)據(jù)中心領(lǐng)域的技術(shù)創(chuàng)新與節(jié)能工作刻不容緩?！豆I(yè)和信息化部關(guān)于加強“十三五”信息通信業(yè)節(jié)能減排工作的指導(dǎo)意見》中明確指出，到2020年實現(xiàn)單位電信業(yè)務(wù)總量綜合能耗較2015年底下降10%。國務(wù)院發(fā)布的《“十三五”控制溫室氣體排放工作方案》要求到2020年單位國內(nèi)生產(chǎn)總值二氧化碳排放比2015年下降18%。

北上廣深各自發(fā)布的《能源發(fā)展“十三五”規(guī)劃》中均提到了“到2020年各自能源消費總量”(參見表3)，以萬噸標(biāo)準(zhǔn)煤計算。

依照《國家節(jié)能中心節(jié)能評審評價指標(biāo)》要求，固定資產(chǎn)投資項目對所在地完成節(jié)能目標(biāo)影響評價指標(biāo)如表4所示。

北上廣深“十三五”期間能源消費總量及年增長率 表3

注：每萬度電=1.229噸標(biāo)煤，每噸煤=8316.7度電。

固定資產(chǎn)投資項目對所在地(省市、地市) 完成節(jié)能目標(biāo)影響評價指標(biāo)表 表4

依據(jù)以往經(jīng)驗，當(dāng)m>1，也即達(dá)到“一定影響”的程度時，項目評審?fù)ㄟ^難度很大。如此形勢嚴(yán)峻的節(jié)能環(huán)保政策必然迫使數(shù)據(jù)中心的節(jié)能措施升級，并開始考慮采用可再生能源方案。根據(jù)筆者所在單位的實踐經(jīng)驗，已經(jīng)有項目因為碳排放量超標(biāo)或用電量超標(biāo)造成數(shù)據(jù)中心建設(shè)項目遇阻的情況。

4 電力規(guī)劃的影響

以國網(wǎng)北京市電力公司為例，“十三五”期間共規(guī)劃建設(shè)1座500kV變電站、8座220kV變電站、27座110kV變電站。其中，行政辦公區(qū)內(nèi)共規(guī)劃建設(shè)7座變電站，包括2座220kV變電站、5座110kV變電站，分兩批陸續(xù)投運。可見每座110kV變配電站的建設(shè)均需要經(jīng)過電網(wǎng)五年計劃的規(guī)劃，且每個站的出線間隔有限，故供電部門非常重視間隔利用率。

每座大型數(shù)據(jù)中心建設(shè)過程中最重要的環(huán)節(jié)就是供電報裝。難點在于是否能夠取得足夠的進線回路和容量、是否能夠取得兩路來自不同110kV站的線路，此外，在建筑物內(nèi)兩路市電電源能否設(shè)置在不同電氣房間、備自投裝置是否允許自動運行也是需要與供電部門溝通的關(guān)鍵因素。

對于10kV出線，一般300mm2中壓電纜允許帶 10 000kVA容量，或400mm2中壓電纜允許帶 10 000kW容量。從表5可以簡單估算，在最大限度使用市電線路容量下，單路10kV線路最大可負(fù)擔(dān)機柜數(shù)量。需要注意的是，表5中的PUE值是考慮了極端天氣的裕量，不是節(jié)能政策的目標(biāo)值。

5 重視備用電源

數(shù)據(jù)中心的設(shè)計中，柴油發(fā)電機作為自備應(yīng)急電源應(yīng)該引起設(shè)計師的重點關(guān)注。如何為高級別的數(shù)據(jù)中心提供穩(wěn)定可靠的電力供應(yīng)一直是數(shù)據(jù)中心建設(shè)規(guī)劃工作的重中之重，持續(xù)穩(wěn)定高質(zhì)量的供電是柴發(fā)的職責(zé)。

國標(biāo)GB/T 2820-2009《往復(fù)式內(nèi)燃機驅(qū)動的交流發(fā)電機組》定義了柴油發(fā)電機組按照負(fù)荷率和使用時間的長短可以標(biāo)定成不同的4種功率：COP、PRP、LTP和ESP，其中持續(xù)功率(COP)和基本功率(PRP)是滿足機組長期不限時運行的功率標(biāo)定。需要注意的是，在GB/T 2820中規(guī)定PRP功率的使用條件是“在24h周期內(nèi)的允許平均輸出功率應(yīng)不大于PRP的70%”。

對應(yīng)不同單機柜功率密度、PUE值及中壓線路容量的機柜數(shù)量估算表 表5

由于我國電網(wǎng)是國家電網(wǎng)，其可靠性遠(yuǎn)超過私人電網(wǎng)，且電費遠(yuǎn)低于柴油發(fā)電機組的發(fā)電費率，因此我國大型數(shù)據(jù)中心的主電源都采用市電，柴發(fā)僅作為備用電源。在這種前提下，數(shù)據(jù)中心建設(shè)在一定程度上不太重視柴油發(fā)電機組。對此筆者提醒各位設(shè)計同行和用戶不要忽略了數(shù)據(jù)中心建設(shè)的鐵律：“風(fēng)險自主可控?！?/p>

據(jù)了解，2013年杭州、西安等地都出現(xiàn)了數(shù)據(jù)中心被限電的情況。2018年北京亦莊電力公司對泰河變電站、博興變電站和科創(chuàng)街變電站進行改造，其中泰河變電站、博興變電站改造期為6月1日至15日，科創(chuàng)街變電站為6月15日至6月30日，共計30天時間。在改造期間，電力公司表示用電單位務(wù)必將平日用電負(fù)荷減少、限制25%，大批位于亦莊的數(shù)據(jù)中心開始采用柴發(fā)帶載。

隨著國家對民生的關(guān)注，限電保電的過程中，數(shù)據(jù)中心這類耗電大戶被限電的可能性越來越大，此次北京亦莊限電僅開始不到10天已經(jīng)出現(xiàn)兩起柴發(fā)事故，一起是機組著火，另一起是機組運行超溫停機，都造成了重大損失。本該作為保險措施的柴發(fā)機組，在設(shè)計階段就可能因為投資因素被打折，或者是提高PRP平均輸出功率到大于70%，或者是不重視機房的進排風(fēng)措施，或者是兩棟機房共用一組備用柴發(fā)這類“聰明”做法，都造成了危機真正來臨時起不到保障作用。

6 結(jié)束語