基于精密采集平臺的數(shù)據(jù)中心能耗研究

劉 金 李 劍 趙 龍 姚 遠 馬宇婧 李 同

中國電信股份有限公司南京分公司

0 引言

中國電信南京（吉山）云計算數(shù)據(jù)中心位于江蘇省南京市江蘇軟件園，用地規(guī)模186畝，總規(guī)劃建筑面積30.6萬平方米，是江蘇電信四大DC區(qū)域之一，吉山數(shù)據(jù)中心園區(qū)積極應用綠色低碳和數(shù)字化運維管理技術(shù)，采用中高水溫中央空調(diào)系統(tǒng)、機房使用一級能效變頻水泵、80%的機房采用水冷列間及熱管背板式末端空調(diào)，由冷凍水直接進入機房換熱，減少中間損耗，完善管理，提供節(jié)能手段，實時顯示各系統(tǒng)及主要耗能部件的能源使用情況。通過能耗分析及時發(fā)現(xiàn)節(jié)能盲點，有針對性地提升節(jié)能水平。在提高電能利用效率、降低能耗等方面采用多種技術(shù)有效措施，并獲評“2021年國家綠色數(shù)據(jù)中心”稱號。

數(shù)據(jù)中心的中央空調(diào)系統(tǒng)在為IT機房提供適合要求的空氣環(huán)境的同時，也帶來了巨大的能耗，中央空調(diào)系統(tǒng)的配置和布局都是以空調(diào)負荷為依據(jù)的，由于受天氣、機器負荷和環(huán)境條件等影響，負荷具有時變性特征，因此具有較大可調(diào)而節(jié)能空間。中國電信南京（吉山）云計算數(shù)據(jù)中心通過建立精密采集平臺，優(yōu)化能耗監(jiān)測手段及系統(tǒng)功能，實現(xiàn)對數(shù)據(jù)中心各運行環(huán)節(jié)能耗的準確采集。利用大數(shù)據(jù)分析技術(shù)，建立并實施中央空調(diào)系統(tǒng)最佳運行方案，提高運行效率。

1 研究描述

本研究主要測量吉山云計算數(shù)據(jù)中心的1#樓1層冷凍站、3層、頂樓冷卻塔用電量，測量中壓系統(tǒng)1層、3層變壓器進線柜用電量、低壓配電系統(tǒng)進線柜用電量、低壓配電柜主用配電開關(guān)用電量、UPS輸出屏下掛設(shè)備用電量、冷凍泵用電量、冷卻泵用電量、冷卻塔用電量、動環(huán)設(shè)備用電量。精密采集平臺的數(shù)據(jù)采集點位示意圖如圖1所示，通過采集點位信息，計算中央空調(diào)系統(tǒng)用電量、IT設(shè)備用電量及樓層總用電量。

圖1 數(shù)據(jù)采集點位示意圖

2 研究實驗概況

吉山數(shù)據(jù)中心1#樓中央空調(diào)系統(tǒng)共安裝了6套集中水冷空調(diào)系統(tǒng)（5用1備），每臺制冷量約為900RT。機房空調(diào)末端和冷凍水泵都配備UPS系統(tǒng)，滿足市電全斷情況下仍能實現(xiàn)15分鐘持續(xù)供冷。機房內(nèi)冷凍水管路采用A/B路，2N完全備份的方式，即若A路出現(xiàn)故障時，可由B路全部帶載。

2.1 不同冷水主機水溫測試

改變冷水主機冷凍水供水溫度，針對吉山數(shù)據(jù)中心1#樓進行能耗精密采集，中央空調(diào)系統(tǒng)設(shè)備運行狀態(tài)如表1所示。

表1 不同冷水主機水溫測試時中央空調(diào)系統(tǒng)設(shè)備運行狀態(tài)

因吉山數(shù)據(jù)中心1#樓冷水主機設(shè)計時選用冷凍水供回水溫度為10/16℃，冷卻水供回水溫度為32/37℃，改變冷凍水供水溫度時，通過精密采集平臺測試中央空調(diào)系統(tǒng)、3層IT負載及末端空調(diào)的運行情況，研究實驗數(shù)據(jù)匯總于表2所示。

表2 改變冷水主機水溫時研究實驗數(shù)據(jù)

根據(jù)實驗數(shù)據(jù)可知，當環(huán)境溫度處于10-15℃時，開啟3臺主機及4臺冷卻塔，末端空調(diào)送回風溫度為26℃/28℃，綜合考慮中央空調(diào)系統(tǒng)、末端空調(diào)及IT設(shè)備時，冷凍水供水溫度為12℃時相較于10.5℃運行工況，每小時可節(jié)省265kWh；當環(huán)境溫度處于15-22℃，開啟3臺主機及4臺冷卻塔，綜合考慮中央空調(diào)系統(tǒng)、末端空調(diào)及IT設(shè)備時，冷凍水供水溫度為12℃時相較于10.5℃運行工況，每小時可節(jié)省185kWh。

2.2 冷卻塔不同臺數(shù)及運行頻率測試

冷卻塔不同臺數(shù)及運行頻率測試時，針對吉山數(shù)據(jù)中心1#樓進行能耗精密采集，中央空調(diào)系統(tǒng)設(shè)備運行狀態(tài)如表3所示。

表3 冷卻塔不同臺數(shù)及運行頻率測試時中央空調(diào)系統(tǒng)設(shè)備運行狀態(tài)

冷凍水供回水水溫為12/15.5℃，調(diào)整冷卻塔運行工況，通過精密采集平臺測試中央空調(diào)系統(tǒng)、3層IT負載及末端空調(diào)的運行情況，研究實驗數(shù)據(jù)匯總于表4所示。

表4 改變冷卻塔運行臺數(shù)及頻率時研究實驗數(shù)據(jù)

結(jié)合研究實驗所得數(shù)據(jù)，通過折線圖進行對比分析冷卻塔不同運行工況時能耗情況，如圖2所示。

圖2 冷卻塔不同運行工況時能耗情況

根據(jù)實驗數(shù)據(jù)可知：（1）調(diào)整冷卻塔的運行頻率及臺數(shù)，冷卻水供回水溫度改變，開啟冷卻塔臺數(shù)相同時，隨著頻率的減小，冷卻水供回水溫度提升且供回水溫差減??；開啟臺數(shù)增多時，冷卻水供回水溫度降低，且供回水溫差增大；（2）當環(huán)境溫度為15-20℃、濕度約30%時，開啟3臺主機，4臺冷卻塔，冷卻塔頻率為43Hz時在當前測試條件下為最佳節(jié)能效率組合；（3）當環(huán)境溫度為20~26℃、濕度約45%時，開啟3臺主機，4臺冷卻塔，冷卻塔頻率為45Hz時在當前測試條件下為最佳節(jié)能效率組合；（4）當外界環(huán)境溫濕度不同時，冷卻塔運行頻率因隨之進行調(diào)整。根據(jù)同等工況下不同冷卻塔的實時功率可知，目前吉山數(shù)據(jù)中心1#樓的3#冷卻塔實時功率較低，6#冷卻塔實時功率較高，可針對其進行檢查皮帶、風機軸承、填料等。

2.3 冷卻泵不同運行頻率測試

改變冷卻泵不同運行頻率測試時，針對吉山數(shù)據(jù)中心1#樓進行能耗精密采集，中央空調(diào)系統(tǒng)設(shè)備運行狀態(tài)如表5所示。

表5 冷卻泵不同運行頻率測試時中央空調(diào)系統(tǒng)設(shè)備運行狀態(tài)

冷凍水供回水水溫為12/15.5℃，調(diào)整冷卻塔運行工況，通過精密采集平臺測試中央空調(diào)系統(tǒng)、3層IT負載及末端空調(diào)的運行情況，研究實驗數(shù)據(jù)匯總于表6所示。

表6 改變冷卻塔運行臺數(shù)及頻率時研究實驗數(shù)據(jù)

中央空調(diào)系統(tǒng)總能耗（kWh） 496 592 622中央空調(diào)系統(tǒng)+3層IT+末端（kWh） 815 914 950

根據(jù)實驗數(shù)據(jù)可知：（1）當冷卻泵頻率下降時，冷卻泵和冷卻塔的能耗減小，但冷水主機及冷凍泵的能耗增大；（2）當環(huán)境溫度為10~15℃時，綜合考慮中央空調(diào)系統(tǒng)、末端空調(diào)及IT設(shè)備時，冷卻泵頻率為45Hz時較為節(jié)能，每小時可節(jié)約39kWh，相比35Hz每小時可節(jié)約30kWh；（3）當環(huán)境溫度為15~22℃時，在開啟3臺主機的情況下，依然是冷卻泵頻率為45Hz時較為節(jié)能，相比35Hz每小時可節(jié)約135kWh，比10-15℃時節(jié)能效果更明顯。

2.4 板換與冷水主機運行對比測試

當外界環(huán)境溫度降低且機樓負載滿足板換開啟條件時，吉山數(shù)據(jù)中心1#樓進入純板換運行狀態(tài)，對比冷水主機運行狀態(tài)，針對吉山數(shù)據(jù)中心1#樓進行能耗精密采集，中央空調(diào)系統(tǒng)設(shè)備運行狀態(tài)如表7所示。

表7 板換與主機對比運行時中央空調(diào)系統(tǒng)狀態(tài)

對比主機運行狀況為冷凍水供回水水溫為12/15.5℃。通過能耗AI監(jiān)測系統(tǒng)測試使用板換時中央空調(diào)系統(tǒng)的運行情況。

表8 板換與主機對比運行時研究實驗數(shù)據(jù)

從數(shù)據(jù)分析可知在冬季條件下，綜合考慮中央空調(diào)系統(tǒng)、IT設(shè)備及末端空調(diào)時，純板換運行工況時每小時耗電718kWh，水溫設(shè)置為12.0℃時每小時總耗電986kWh，相較之純板換運行時每小時可節(jié)約268kWh。且參考南京地區(qū)全年每月平均氣溫，在室外環(huán)境溫度（干球溫度）低于10℃時，吉山1#樓開啟板換運行狀態(tài)，共計全年約1440小時，則可節(jié)省385920kWh，年節(jié)省電費約23.16萬元。

3 運維建議指導

中央空調(diào)系統(tǒng)各設(shè)備運行狀態(tài)參數(shù)的改變，不僅會對此設(shè)備的能耗產(chǎn)生影響，同時也會引起其他設(shè)備的能耗變化，因此，在分析中央空調(diào)系統(tǒng)運行狀態(tài)時，需綜合考慮各設(shè)備能耗之和，以達到整體最優(yōu)運行。

綜合對比各項實驗中所獲得數(shù)據(jù)，當冷卻泵開啟3臺40Hz、冷凍泵開啟3臺47Hz及冷卻塔開啟4臺45Hz時，且負載情況維持一致，對比開啟2臺和3臺冷水主機的功耗情況，雖然冷水主機總能耗增加了135kWh，但針對整套中央空調(diào)系統(tǒng)而言，開啟3臺冷水主機時總能耗相較開啟2臺冷水主機的總能耗減少221kWh。開啟冷水主機的臺數(shù)與整套中央空調(diào)系統(tǒng)的能耗并無正比例關(guān)系，在中央空調(diào)系統(tǒng)運行過程中，隨著冷水主機開啟臺數(shù)的變化，冷卻塔、冷凍泵及冷卻泵的能耗會隨之產(chǎn)生變化，因此在日常運行維護過程中，現(xiàn)場需結(jié)合負載實際情況、冷水主機型號及出廠測試報告，將冷水主機的帶載率控制在最佳范圍內(nèi)，即變頻機組在負載率為60%~70%時COP（主機能效比）最高，定頻機組在負載率為80%~90%時COP最高。

對比分析冷卻泵不同頻率運行時，中央空調(diào)系統(tǒng)總能耗可知，冷卻水泵開啟45Hz頻率運行相比40Hz和35Hz更為節(jié)能；另外，根據(jù)實驗結(jié)果數(shù)據(jù)分析，中央空調(diào)系統(tǒng)總能耗在冷卻泵頻率為40Hz和35Hz時若外界環(huán)境溫度不同，能耗大小會產(chǎn)生變化，環(huán)境溫度為11~12℃時冷卻泵35Hz相較40Hz更節(jié)能，環(huán)境溫度為20℃時冷卻泵40Hz相較35Hz更節(jié)能，因此，在數(shù)據(jù)中心建設(shè)中，盡可能選擇變頻水泵，且將功率參數(shù)盡可能滿足整棟樓的供水需求，若因某些客觀因素無法調(diào)節(jié)冷卻泵頻率為45Hz時，從而可根據(jù)客觀條件結(jié)合數(shù)據(jù)中心運行情況改變冷卻泵的運行頻率，也可取得一定節(jié)能收益。

冷卻塔的能耗受外界環(huán)境及設(shè)備配件影響程度較大，在數(shù)據(jù)中心運行的過程中，需及時調(diào)節(jié)冷卻塔運行頻率，針對磨損嚴重的配件要進行檢查更換。

冬季時，在保證數(shù)據(jù)中心安全運行的條件下，盡可能開啟板換運行，可結(jié)合建設(shè)條件，開啟板換和主機聯(lián)合運行模式或純板換運行，對降低數(shù)據(jù)中心的PUE有較好的成效。

4 研究成果

4.1 效益測算

吉山數(shù)據(jù)中心1#樓目前負載7980kW，上架率為73.7%，中央空調(diào)系統(tǒng)開啟3臺冷水主機，主機負載率約53%，尚未達到最佳效率區(qū)間，但基于精密采集系統(tǒng)平臺的測算，開啟3臺主機比2臺主機更為節(jié)能，故日常維持3臺主機運行。隨著機樓負載和上架率的增大，主機的COP會更高，整個中央空調(diào)系統(tǒng)的運行節(jié)能效益會更為可觀。

2021年吉山數(shù)據(jù)中心園區(qū)全年電費1.9億元（含稅），根據(jù)各機樓負荷估算1#樓占整個園區(qū)的16.9%，則吉山數(shù)據(jù)中心1#樓全年電費約3218.9萬元，則能耗AI監(jiān)測平臺所獲效益約占1#樓全年電費的7.7%。

4.2 推廣應用

（1）為運轉(zhuǎn)一線人員使用，作為工具手段追求效率提升；根據(jù)采集數(shù)據(jù)統(tǒng)計，形成指導意見書，及時發(fā)現(xiàn)能耗節(jié)點進行維護調(diào)整。

（2）參考IT負載用電設(shè)備變化，實施對耗電大的設(shè)備進行更換。

（3）為節(jié)能運行提供基礎(chǔ)數(shù)據(jù)，便于后期分析，發(fā)現(xiàn)哪些系統(tǒng)設(shè)計是和實際運轉(zhuǎn)存在多大的偏差，為設(shè)備選型容量計算提供參考。

（4）冷凍站系統(tǒng)的數(shù)據(jù)監(jiān)測為后期空調(diào)運轉(zhuǎn)提供操作的精細化，探尋制冷與設(shè)備散熱、設(shè)備配置、機房環(huán)境，大氣條件對能耗的影響。

（5）為后期設(shè)備選型提供指導建議。

5 結(jié)束語

數(shù)據(jù)中心的安全、高效、節(jié)能運行是運維從業(yè)者的工作根本，也是不斷探索創(chuàng)新發(fā)展的過程。通過建立精密采集平臺，對數(shù)據(jù)中心運行中不同節(jié)點之間的能耗進行精確采集，結(jié)合各種實驗數(shù)據(jù)進行分析，初步建立形成運維模式，在實踐中尋找最優(yōu)解，為數(shù)據(jù)中心的節(jié)能管理賦能。