數(shù)據(jù)中心主機(jī)房的能效評價(jià)方法及提升路徑

何曉燕

上海市建筑科學(xué)研究院有限公司

0 引言

2022年上海市政府工作報(bào)告中明確指出，將聚力推進(jìn)城市數(shù)字化轉(zhuǎn)型，加快建設(shè)具有世界影響力的國際數(shù)字之都。上海高度重視數(shù)字產(chǎn)業(yè)發(fā)展，由此對信息基礎(chǔ)設(shè)施具有強(qiáng)烈需求和較高要求。根據(jù)上海市經(jīng)信委2021 年12 月印發(fā)的《上海市新一代信息基礎(chǔ)設(shè)施發(fā)展“十四五”規(guī)劃》（滬經(jīng)信基[2021］1197 號），互聯(lián)網(wǎng)數(shù)據(jù)中心標(biāo)準(zhǔn)機(jī)架可用規(guī)模將從2020 年的11 萬架擴(kuò)展至2025 年的28 萬架，增量達(dá)150%，意味著上海將大力建設(shè)數(shù)據(jù)中心的產(chǎn)業(yè)發(fā)展導(dǎo)向。數(shù)據(jù)中心建設(shè)的快速發(fā)展，能源需求也將持續(xù)攀升。上海市經(jīng)信委提供的統(tǒng)計(jì)數(shù)據(jù)顯示，上海2019 年投運(yùn)的IDC 共計(jì)107 個(gè)，總用電量為33.8 億kWh，折合97.34 萬tce，占全市全年用電總量的2.1%，數(shù)據(jù)中心已成為影響上海完成“碳達(dá)峰”“碳中和”工作的重要環(huán)節(jié)。如何全面響應(yīng)國家“雙碳”戰(zhàn)略，增強(qiáng)全社會(huì)可持續(xù)發(fā)展能力，需要從數(shù)據(jù)中心的碳足跡出發(fā)，探索低碳數(shù)據(jù)中心的長遠(yuǎn)發(fā)展路徑，逐步實(shí)現(xiàn)數(shù)據(jù)中心碳中和的目標(biāo)。

PUE(Power Usage Effectiveness，電源使用效率)是指數(shù)據(jù)中心總能耗與IT 負(fù)載能耗之比,PUE值的大小最能準(zhǔn)確反映數(shù)據(jù)中心綜合能效。根據(jù)上海市相關(guān)要求，新建數(shù)據(jù)中心PUE 不應(yīng)高于1.3，既有數(shù)據(jù)中心PUE 不應(yīng)高于1.4。數(shù)據(jù)中心節(jié)能是涉及多專業(yè)的系統(tǒng)工程，涉及建筑與熱工、IT 設(shè)備、電氣系統(tǒng)、空調(diào)系統(tǒng)、給排水系統(tǒng)和運(yùn)營管理等方面，本文結(jié)合筆者的測評工作經(jīng)驗(yàn)，重點(diǎn)闡述數(shù)據(jù)中心核心區(qū)域即主機(jī)房的節(jié)能策略，主要包括機(jī)房氣流組織優(yōu)化及UPS 系統(tǒng)效率提升兩部分。因?yàn)闅饬鹘M織形式是主機(jī)房設(shè)計(jì)過程中極為重要的一個(gè)環(huán)節(jié)，好的氣流組織形式能夠保證冷量快速高效地送至IT 設(shè)備處，并及時(shí)帶走熱量，高效節(jié)能；反之即使配置了高效的空調(diào)設(shè)備，也可能會(huì)產(chǎn)生局部熱點(diǎn)，空調(diào)系統(tǒng)整體能效低。此外，由于一般銀行或金融類數(shù)據(jù)中心的UPS 單機(jī)負(fù)載率都長時(shí)間保持在20%～40%，因此相比較于UPS 滿負(fù)荷時(shí)的整機(jī)效率，研究UPS 在低負(fù)載率情況下的整機(jī)效率和提升路徑將更有價(jià)值。

1 數(shù)據(jù)中心機(jī)房測試數(shù)據(jù)分析

1.1 項(xiàng)目概況

被測數(shù)據(jù)中心機(jī)房位于上海市，設(shè)計(jì)溫度為20～26 ℃，相對濕度50%RH±10%RH，露點(diǎn)溫度12 ℃。機(jī)房內(nèi)共擺放機(jī)柜94 個(gè)，測試當(dāng)日IT 設(shè)備運(yùn)行總功率約為142 kW，單臺(tái)機(jī)柜平均功率為1.51 kW。配置精密空調(diào)8 臺(tái)，單臺(tái)額定制冷量為1 235 kW。送風(fēng)采用下送上回方式,氣流組織為靜壓地板下送上回+封閉冷通道形式，架空地板高800 mm，采用不同開孔率的地板。

1.2 機(jī)房氣流組織測試

該項(xiàng)目采用自主研發(fā)的溫度場自動(dòng)測試儀進(jìn)行測試，測量元件為PT100 溫度傳感器，精度±0.1 ℃，本次選取了B-C 列機(jī)柜間的冷通道進(jìn)行測試，測點(diǎn)位置為每個(gè)機(jī)柜正前方中軸處，測試高度分別為0.25、0.80、1.35 和1.90 m，并繪制不同高度的溫度場熱力圖，如1.9 m高度熱力圖如圖1所示。

圖1 冷通道1.9 m高度熱力圖

圖1 溫度最高點(diǎn)為C24 機(jī)柜進(jìn)風(fēng)口，為33.98 ℃；溫度最低點(diǎn)為C16 機(jī)柜進(jìn)風(fēng)口，為23.89 ℃，可見該通道進(jìn)風(fēng)口溫差較大。

測試及分析結(jié)論如下：

1）機(jī)柜入口溫度分析?？傆?jì)測點(diǎn)96個(gè)，被測冷通道最低20.34 ℃，最高34.88 ℃，平均溫度24.27 ℃，部分區(qū)域溫度不滿足ASHRAE TC9.9《數(shù)據(jù)中心環(huán)境散熱指南》和國家標(biāo)準(zhǔn)《數(shù)據(jù)中心設(shè)計(jì)規(guī)范》（GB 50174-2017），兩個(gè)標(biāo)準(zhǔn)均要求IT 設(shè)備的入口溫度保持在18～27 ℃。溫度分布如圖2所示。

圖2 冷通道溫度分布直方圖

2）溫度場分布規(guī)律分析。從圖3 可以看出，測點(diǎn)溫度總體上隨著高度的增加逐漸升高，但由于機(jī)柜功率的分布情況等因素，個(gè)別機(jī)柜前測點(diǎn)溫度分布不具有一般規(guī)律。

圖3 不同高度的冷通道溫度分布圖

3）熱點(diǎn)分布分析。如C22 機(jī)柜前最高測點(diǎn)與最低測點(diǎn)的溫差高達(dá)12.2 ℃，C24相差9.8 ℃，C17相差6.59 ℃，如圖4 所示。采用紅外成像儀測得C22 最熱點(diǎn)溫度高達(dá)42.8 ℃（如圖5 所示）該問題是由于服務(wù)器反裝導(dǎo)致，機(jī)柜散熱排入冷通道，造成機(jī)房氣流組織紊亂，溫度場分布出現(xiàn)異常。此外，機(jī)柜內(nèi)空閑U 位未安裝盲板,導(dǎo)致機(jī)柜內(nèi)微環(huán)境氣流紊亂,IT 設(shè)備排出的熱氣流,經(jīng)空閑U 位回流至設(shè)備進(jìn)風(fēng)口,致使設(shè)備入口溫度大于機(jī)柜進(jìn)風(fēng)溫度,使設(shè)備進(jìn)風(fēng)溫度升高。

圖4 不同高度的冷通道溫度分布圖

圖5 C22機(jī)柜前方溫度熱成像

4）送風(fēng)風(fēng)速分析。該機(jī)房采用下送風(fēng)，氣流從空調(diào)機(jī)的底部送出，地板以下形成靜壓箱，通過地板出風(fēng)口疏散到機(jī)房各個(gè)角落，回風(fēng)是從機(jī)房上送回到空調(diào)機(jī)組。一般采用活動(dòng)地板作為靜壓箱時(shí)，出風(fēng)口風(fēng)速不應(yīng)大于3 m/s，測試期間冷通道地板風(fēng)速為1.18 m/s～4.43 m/s，基本屬于合理范圍。

1.3 UPS測試

該被測機(jī)房所在樓層設(shè)有2個(gè)主機(jī)房，UPS配置形式為2N系統(tǒng)，每個(gè)系統(tǒng)采用3臺(tái)5 000 020 kVA以并機(jī)互投方式為主機(jī)房設(shè)備提供不間斷電源，總計(jì)6 臺(tái)。測試期間每臺(tái)UPS 負(fù)載率約為15%。采用電能質(zhì)量分析儀對該UPS 系統(tǒng)進(jìn)線側(cè)進(jìn)行測試，測試及分析結(jié)論如下：

1）電能質(zhì)量分析。由表1 檢測結(jié)果分析得知，被測UPS上游存在少量諧波，但UPS注入電網(wǎng)的諧波等參數(shù)不能采用常規(guī)電氣性能指標(biāo)評價(jià)。根據(jù)通信用交流不間斷電源(UPS)YD/T 1095-2018（表1所采用標(biāo)準(zhǔn)），輸入電流諧波成分在30%非線性負(fù)載時(shí)，三類指標(biāo)要求最大不超過25%，因此，注入電網(wǎng)的諧波符合標(biāo)準(zhǔn)要求。

表1 UPS 電源輸入側(cè)電能質(zhì)量數(shù)據(jù)匯總

2)UPS效率分析。UPS電源效率η的定義是輸出有功功率P 與輸入有功功率P'之比的百分?jǐn)?shù)，即η=（P/P'）%。UPS 電源效率并不是一個(gè)固定的數(shù)值，而是負(fù)載率的一個(gè)函數(shù)。該項(xiàng)目UPS 在負(fù)載率15% 工況下，三臺(tái)UPS 的損耗分別為9.65%、11.69%和10.41%，效率分別為90.3%、88.3%和89.6%。廠商資料顯示，該高頻UPS 系統(tǒng)效率可達(dá)94.5%，因此，在低負(fù)載情況下，UPS 的實(shí)際運(yùn)行效率低于廠家指標(biāo)。

1.4 pPUE測試

數(shù)據(jù)中心局部PUE 即pPUE 是PUE 概念的延伸，由于部分設(shè)備共用，因此計(jì)算pPUE時(shí)需要做仔細(xì)的拆分。測試工況下共開啟了4臺(tái)精密空調(diào)機(jī)組，合計(jì)35.5 kW，機(jī)房IT設(shè)備總功率為142 kW，因受計(jì)量器具配備不足限制，暫無法拆分冷源和UPS 損耗等共用設(shè)備能耗；則在不考慮上述分?jǐn)偟那闆r下，計(jì)算pPUE為1.43。當(dāng)然，由于部分能耗未進(jìn)行分?jǐn)偅虼藛为?dú)評價(jià)該pPUE無實(shí)際意義。但如果各機(jī)房模塊均采用此pPUE計(jì)算方法，則在同等條件下計(jì)算結(jié)果可以橫向比較氣流組織對精密空調(diào)綜合能效的影響，也不失為一種簡易可行的評價(jià)方法。

2 數(shù)據(jù)中心機(jī)房能效提升路徑

2.1 氣流組織優(yōu)化

氣流組織形式選用的原則是：有利于電子信息設(shè)備的散熱，建筑條件能夠滿足設(shè)備安裝要求。主機(jī)房空調(diào)系統(tǒng)的氣流組織形式，應(yīng)根據(jù)電子信息設(shè)備本身的冷卻方式、設(shè)備布置方式、設(shè)備散熱量、室內(nèi)風(fēng)速、防塵和建筑條件綜合確定，并宜采用計(jì)算流體動(dòng)力學(xué)對主機(jī)房氣流組織進(jìn)行模擬和驗(yàn)證。當(dāng)電子信息設(shè)備對氣流組織形式未提出要求時(shí)，主機(jī)房氣流組織形式、風(fēng)口及送回風(fēng)溫差可按表2選用。

表2 主機(jī)房氣流組織形式、風(fēng)口及送回風(fēng)溫差

數(shù)據(jù)機(jī)房常采用房間級空調(diào)、行間空調(diào)和機(jī)柜級空調(diào)三種方式末端形式。單機(jī)柜平均功率小于6 kW 時(shí)，宜采用房間級精密空調(diào)，地板下送風(fēng)+冷（或熱）通道封閉或彌漫送風(fēng)+熱通道封閉的氣流組織形式；單機(jī)柜平均功率6～15 kW 時(shí)，宜采用行間空調(diào)+冷（或熱）通道封閉的氣流組織形式；單機(jī)柜平均功率15～25 kW 時(shí)，宜采用水冷背板、熱管背板等機(jī)柜級空調(diào)；單機(jī)柜平均功率大于25 kW時(shí)，宜采用封閉式機(jī)柜；單機(jī)柜平均功率超過30 kW，應(yīng)考慮散熱效率更高的芯片級或浸入式液冷技術(shù)。

2.2 提高UPS效率

UPS 系統(tǒng)的損耗是數(shù)據(jù)中心能耗的主要組成部分，大約占到數(shù)據(jù)中心能耗的6%～15%，數(shù)據(jù)中心要達(dá)到低PUE，必須選擇運(yùn)行效率更高的UPS。UPS 的效率直接決定了整個(gè)UPS 系統(tǒng)的能耗。按UPS 的電路工作頻率來劃分，UPS 可分為工頻機(jī)和高頻機(jī)。影響UPS 效率的因素較多，比如前置變壓器、濾波器、整流器、逆變器、輸出變壓器以及負(fù)載的功率因數(shù)和負(fù)載百分比。在同樣指標(biāo)下，比如要求輸入功率因數(shù)為0.95以上時(shí)，工頻機(jī)UPS就必須外加諧波濾波器或改為12脈沖整流，就是說前面要增加一個(gè)設(shè)備，再加上輸出變壓器，就比高頻機(jī)UPS 多了兩個(gè)環(huán)節(jié)，由于此二者的影響，使得工頻機(jī)UPS 的效率比高頻機(jī)UPS 約低5%。一般情況下，UPS 的效率會(huì)隨著負(fù)載率的提高而提高，并且會(huì)在負(fù)載率達(dá)到70%時(shí)達(dá)到效率最高點(diǎn)。考慮到UPS 的初期投資，可以選用模塊化UPS 達(dá)成這一目的。模塊化的一大優(yōu)勢在于可按需擴(kuò)容，不必過于超前規(guī)劃UPS 系統(tǒng)的容量，而是可以在適合的范圍內(nèi)接近負(fù)載容量，從而達(dá)到最好的效率點(diǎn)。根據(jù)工信部聯(lián)合五部委共同出臺(tái)的《關(guān)于數(shù)據(jù)中心建設(shè)布局的指導(dǎo)意見》(工信部聯(lián)通[2013］13 號)，不同類型UPS 對PUE 貢獻(xiàn)差異可達(dá)0.1 以上。不同類型UPS對PUE貢獻(xiàn)差異見圖6。

高頻機(jī)UPS取代工頻機(jī)UPS是必然的，在國家提倡環(huán)保節(jié)能的今天，綠色節(jié)能型模塊化UPS 備受關(guān)注，輸入功率因數(shù)達(dá)0.999以上，模塊化UPS采用N+X 的并聯(lián)方式，用戶可以根據(jù)自己的負(fù)載以及為體現(xiàn)安全性所需要的功率冗余來決定UPS模塊數(shù)。

3 結(jié)語

加強(qiáng)數(shù)據(jù)中心機(jī)房節(jié)能工作的重要性不言而喻，針對現(xiàn)在已建成的PUE 大于1.4 的數(shù)據(jù)中心，可通過數(shù)據(jù)中心評測，提出節(jié)能技改、運(yùn)行管理優(yōu)化等方面措施建議，從而優(yōu)化機(jī)房氣流組織、提高UPS 電源的使用效率和電源質(zhì)量等，在保證機(jī)房安全穩(wěn)定運(yùn)行的同時(shí)，促進(jìn)綠色數(shù)據(jù)中心建設(shè)。