數(shù)據(jù)中心供電制冷等關(guān)鍵設(shè)施技術(shù)淺析

安 真， 周德文， 錢(qián) 斌

(華為技術(shù)有限公司，北京 100001)

0 引言

2020年03月04日，中央政治局常委會(huì)提出“要加大公共衛(wèi)生服務(wù)、應(yīng)急物資保障領(lǐng)域投入，加快5G網(wǎng)絡(luò)、數(shù)據(jù)中心等新型基礎(chǔ)設(shè)施建設(shè)進(jìn)度”。數(shù)據(jù)中心作為新基建的核心內(nèi)容，成為整個(gè)行業(yè)的關(guān)注焦點(diǎn)。

數(shù)據(jù)中心發(fā)展進(jìn)入新的時(shí)期，其發(fā)展也面臨各方面的趨勢(shì)和挑戰(zhàn)。這些挑戰(zhàn)需要新的技術(shù)和方案來(lái)應(yīng)對(duì)和解決，比較顯著的有以下幾個(gè)方面。

首先是高密化。來(lái)自數(shù)據(jù)中心通用計(jì)算的電子信息系統(tǒng)發(fā)展帶來(lái)數(shù)據(jù)中心發(fā)展新需求。眾所周知，隨著芯片工藝快速發(fā)展，當(dāng)前的芯片加工工藝水平已經(jīng)逼近可加工的理論極限，芯片級(jí)的摩爾定律逐漸失去作用，但是各行業(yè)數(shù)字化的發(fā)展速度并沒(méi)減慢，系統(tǒng)或產(chǎn)品的性能提升，需要更多物理芯片的堆積，這就帶來(lái)了服務(wù)器功耗隨算力的線性提升。另外，AI(人工智能)計(jì)算的興起，會(huì)導(dǎo)致數(shù)據(jù)中心單機(jī)柜功率密度的快速提升，據(jù)華為云與計(jì)算部預(yù)測(cè)，到2025年，數(shù)據(jù)中心80%的負(fù)載運(yùn)行AI計(jì)算。而運(yùn)行AI計(jì)算的GPU芯片功耗大于通用計(jì)算的CPU若干倍。

高密度和大型化帶來(lái)數(shù)據(jù)中心的高能耗問(wèn)題。2018年我國(guó)數(shù)據(jù)中心用電總量為1 609億kWh，占全社會(huì)總用電量的2.35%。2020年用電總量將達(dá)2 023億kWh，占全社會(huì)用電總量的2.7%；2030年將突破4 000億kWh，占全社會(huì)用電總量的3.7%。

其次是系統(tǒng)更大型化和復(fù)雜化，數(shù)據(jù)中心規(guī)模集中效應(yīng)可以有效降低建設(shè)和運(yùn)營(yíng)成本，云數(shù)據(jù)中心體量越來(lái)越大，萬(wàn)柜級(jí)多地多中心成為云計(jì)算企業(yè)的主流需求，市電引入從10kV專線提升到110kV專用變電站，能耗倍增、管理復(fù)雜度倍增。

數(shù)據(jù)中心最關(guān)鍵的系統(tǒng)是支持IT設(shè)施運(yùn)行的供配電系統(tǒng)和空調(diào)系統(tǒng)，前者在很大程度上決定了數(shù)據(jù)中心運(yùn)行水平的可靠性，后者還對(duì)數(shù)據(jù)中心的節(jié)能發(fā)揮了至關(guān)重要的作用。本文試圖對(duì)此二系統(tǒng)的關(guān)鍵創(chuàng)新技術(shù)進(jìn)行概述和辨析。

1 供配電系統(tǒng)架構(gòu)及新技術(shù)辨析

按照功能組成,供配電系統(tǒng)主要由10kV配電、柴油發(fā)電機(jī)組、變壓器、低壓配電、UPS電源及其配電、電池、列頭柜等部分組成，其基本原理如圖1所示。

從供配電系統(tǒng)架構(gòu)可以看出，2N系統(tǒng)因其運(yùn)維簡(jiǎn)單、可靠性高，被行業(yè)廣泛采用，是數(shù)據(jù)中心供配電主流解決方案。美國(guó)、英國(guó)、荷蘭、新加坡、迪拜等國(guó)家或地區(qū)的個(gè)別企業(yè)也會(huì)采用RR、DR等容錯(cuò)架構(gòu)。可靠性無(wú)法滿足容錯(cuò)功能的架構(gòu)在大型數(shù)據(jù)中心的應(yīng)用并不多見(jiàn)。

圖1 數(shù)據(jù)中心供配電系統(tǒng)原理示意圖

過(guò)去十年，供配電系統(tǒng)創(chuàng)新的焦點(diǎn)是電源形式，除UPS(交流不間斷電源)之外，互聯(lián)網(wǎng)還出現(xiàn)了HVDC(高壓直流)、OCP(開(kāi)源服務(wù)器)電源等多種電源并存的形式，其中UPS又分為工頻塔式、高頻塔式、高頻模塊化等形式。

(1)UPS各種形式的優(yōu)劣分析和發(fā)展趨勢(shì)分析

UPS本身的技術(shù)發(fā)展路徑相對(duì)清晰，高頻技術(shù)全面取代工頻技術(shù)已成為定局，高頻在效率、成本、占地、諧波等各方面均具備領(lǐng)先一代的優(yōu)勢(shì)。主要指標(biāo)分析如表1。

主流廠商UPS主要指標(biāo)分析 表1

在高頻技術(shù)下，模塊化和塔式兩種形式競(jìng)爭(zhēng)激烈，業(yè)界通常的認(rèn)知是，模塊化UPS在用戶側(cè)的自主運(yùn)維難度降低，在安裝維護(hù)、后期擴(kuò)容方面具備塔式UPS無(wú)法替代的優(yōu)勢(shì)，這也是模塊化UPS被IDC、運(yùn)營(yíng)商行業(yè)用戶廣泛應(yīng)用的原因。當(dāng)然，行業(yè)內(nèi)也有少量用戶認(rèn)為多個(gè)模塊并機(jī)可能會(huì)有風(fēng)險(xiǎn)。其實(shí)，就可靠性而言，兩者基本持平，某些維度模塊化UPS還會(huì)略優(yōu)，可靠性的詳細(xì)對(duì)比分析如表2所示。

近年來(lái)，絕大多數(shù)新上市的塔式UPS也采用了模塊化架構(gòu)，可見(jiàn)，模塊化UPS是交流UPS的發(fā)展方向。

除了交流UPS，高壓直流系統(tǒng)(HVDC)在數(shù)據(jù)中心領(lǐng)域也有一定的應(yīng)用。HVDC并不是一個(gè)新生事物，其發(fā)展已經(jīng)超過(guò)20年歷史，美國(guó)、日本、歐洲、中國(guó)均有長(zhǎng)時(shí)間的研究。目前，美國(guó)、日本、歐洲僅限于局部實(shí)驗(yàn)，因?yàn)闆](méi)有明顯優(yōu)勢(shì)，未能擴(kuò)大到主流數(shù)據(jù)中心領(lǐng)域。在中國(guó)，“一路HVDC+一路市電直供”的架構(gòu)在節(jié)能和成本上的優(yōu)勢(shì)，吸引了一些頭部互聯(lián)網(wǎng)和運(yùn)營(yíng)商在自用機(jī)房應(yīng)用。

塔式UPS與模塊化UPS的可靠性對(duì)比 表2

但“HVDC+路市電直供”不屬于容錯(cuò)架構(gòu)，在HVDC檢修時(shí)，市電閃斷導(dǎo)致服務(wù)宕機(jī)事件已經(jīng)多次發(fā)生，鑒此，部分用戶已經(jīng)放棄此種架構(gòu)，重新回到2N的容錯(cuò)系統(tǒng)。隨著主流UPS廠商對(duì)研發(fā)的不斷投入，UPS的效率在不斷提升，價(jià)格不斷下降，HVDC已經(jīng)不再具備效率、成本優(yōu)勢(shì)，加之部分服務(wù)器并不兼容HVDC電源制式，HVDC在行業(yè)的應(yīng)用正在收縮。

UPS、HVDC等電源的創(chuàng)新都只是部件層面的，對(duì)供電鏈路影響有限，未來(lái)一定是供電鏈路端到端的創(chuàng)新，隨著第三代半導(dǎo)體技術(shù)的成熟，10kV級(jí)的電力電子電源將成為可能，銅質(zhì)變壓器被電力電子變壓器取代，其新鏈路如圖2所示。

圖2 下一代供配電系統(tǒng)原理示意圖

(2)儲(chǔ)能的發(fā)展趨勢(shì)

電池是數(shù)據(jù)中心供配電系統(tǒng)的重要組成。其中鉛酸電池在數(shù)據(jù)中心行業(yè)長(zhǎng)期占據(jù)主導(dǎo)地位，但鉛酸電池循環(huán)壽命短、占地大、對(duì)機(jī)房承重要求高，且容易造成鉛鉻重金屬環(huán)境污染，這些問(wèn)題一直是數(shù)據(jù)中心建設(shè)和運(yùn)維的痛點(diǎn)。鋰電池具有能量密度高、占地小、循環(huán)壽命長(zhǎng)等優(yōu)勢(shì)，幾乎可以彌補(bǔ)鉛酸電池的所有缺點(diǎn)，但因其價(jià)格高昂，在以往的數(shù)據(jù)中心并沒(méi)有太多的應(yīng)用。

隨著鋰電池在汽車、5G等行業(yè)更為廣泛的應(yīng)用，成本降幅持續(xù)增大，國(guó)外一些大型數(shù)據(jù)中心已經(jīng)開(kāi)始大規(guī)模使用鋰電。相信隨著鋰電應(yīng)用規(guī)模的擴(kuò)大，其成本還會(huì)進(jìn)一步下降，未來(lái)鋰電池必將取代鉛酸電池，占據(jù)數(shù)據(jù)中心儲(chǔ)能主導(dǎo)市場(chǎng)。

2 數(shù)據(jù)中心制冷系統(tǒng)架構(gòu)及新技術(shù)辨析

過(guò)去十年，大型數(shù)據(jù)中心空調(diào)基本上從DX(直接膨脹式)定頻空調(diào)走向了冷凍水系統(tǒng)。近年來(lái)，隨著變頻技術(shù)在空調(diào)行業(yè)的普遍應(yīng)用，DX空調(diào)能耗高且無(wú)法解決連續(xù)制冷的缺陷已經(jīng)成為歷史，制冷系統(tǒng)正處于多種形式并存的百花齊放局面。

數(shù)據(jù)中心能耗巨大，節(jié)能正在成為數(shù)據(jù)中心建設(shè)的普遍訴求。節(jié)能創(chuàng)新主要聚焦在制冷系統(tǒng)的創(chuàng)新。而制冷系統(tǒng)的創(chuàng)新，主要聚焦在自然冷源的有效利用方面。此外，AI等新技術(shù)的加持也發(fā)揮出了新的價(jià)值。

(1)直流變頻DX技術(shù)

DX空調(diào)是傳統(tǒng)的制冷方式，隨著直流變頻技術(shù)向數(shù)據(jù)中心機(jī)房精密空調(diào)的引入，機(jī)房精密空調(diào)的效率大幅提升，成為了新型、廣普適用的節(jié)能技術(shù)。采用直流變頻技術(shù)的DX空調(diào)，除能效大幅提高外，還具有室內(nèi)占地面積小、控制簡(jiǎn)單、氣候適宜范圍廣、無(wú)須依賴水資源等優(yōu)點(diǎn)。

鑒于冷媒管不能過(guò)長(zhǎng)，高差不能過(guò)大，建筑設(shè)計(jì)時(shí)，需要提前留出室外機(jī)的部署空間。此外，夏天最高溫時(shí)，峰值PUE也會(huì)較差。當(dāng)前，中等規(guī)模的數(shù)據(jù)中心大多都是采用了這種技術(shù)路線。

(2)空-空換熱技術(shù)/間接蒸發(fā)冷卻

換熱采用空氣-空氣換熱器，換熱器由若干板片構(gòu)成完全隔離的通道，室外空氣經(jīng)蒸發(fā)冷卻后和機(jī)房空氣在各自通道內(nèi)通過(guò)膜片進(jìn)行換熱。升溫后的室外空氣再送回室外，降溫后的機(jī)房空氣重新送回機(jī)房。該方案具有的優(yōu)點(diǎn)主要包括：1)自然冷源利用率高，容易獲得較低的PUE；2)室外空氣質(zhì)量對(duì)機(jī)房環(huán)境沒(méi)有影響；3)設(shè)備控制和維護(hù)也相對(duì)簡(jiǎn)單，對(duì)運(yùn)維團(tuán)隊(duì)的專業(yè)要求較低；4)采用間接蒸發(fā)冷卻機(jī)組，即使發(fā)生故障，也只會(huì)影響到局部機(jī)房，故障影響面不會(huì)太大；5)工程因素對(duì)項(xiàng)目影響小，分期建設(shè)更容易。

目前，長(zhǎng)江以北地區(qū)的新建數(shù)據(jù)中心已經(jīng)有了規(guī)模應(yīng)用，華南地區(qū)也有一些案例。但是，該方案的建筑適應(yīng)性相對(duì)較差，需要在建筑結(jié)構(gòu)設(shè)計(jì)時(shí)匹配機(jī)組的安裝和風(fēng)道。此外，夏天最高溫時(shí)，需要啟動(dòng)壓縮機(jī)進(jìn)行補(bǔ)冷，峰值PUE可能會(huì)高于冷凍水系統(tǒng)。

隨著服務(wù)器耐熱能力的提升，間接蒸發(fā)冷卻的應(yīng)用范圍會(huì)更加寬泛，未來(lái)將成為數(shù)據(jù)中心冷卻的首選方案。

(3)冷水機(jī)組水側(cè)自然冷

在水冷冷凍水系統(tǒng)中，可以利用冷卻塔+板換或干冷器，通過(guò)在常規(guī)空調(diào)系統(tǒng)基礎(chǔ)上增設(shè)部分管路和設(shè)備，實(shí)現(xiàn)自然冷卻，達(dá)到節(jié)能的目的。風(fēng)冷冷水機(jī)組也可以增加內(nèi)置或外置的干冷器實(shí)現(xiàn)自然冷卻。冷凍水系統(tǒng)屬于集中冷源，應(yīng)用范圍寬、建筑適應(yīng)能力強(qiáng)、制冷效率較高，具有一定水平的節(jié)電降耗價(jià)值，在各行各業(yè)都有普遍應(yīng)用。在中、大型數(shù)據(jù)中心里，是最常見(jiàn)的制冷方式。

但是，冷凍水系統(tǒng)對(duì)設(shè)計(jì)和運(yùn)維的專業(yè)性要求較高，控制相對(duì)復(fù)雜，很多項(xiàng)目由于缺乏相關(guān)的專業(yè)指導(dǎo)和運(yùn)維管理經(jīng)驗(yàn)，各種模式切換存在風(fēng)險(xiǎn)，導(dǎo)致實(shí)際節(jié)能效果參差不齊，特別是前期低負(fù)荷運(yùn)行期間。此外，由于多種事故都有可能導(dǎo)致集中式冷凍水系統(tǒng)出現(xiàn)制冷中斷，行業(yè)內(nèi)因?yàn)槔鋬鏊到y(tǒng)導(dǎo)致整個(gè)數(shù)據(jù)中心出現(xiàn)宕機(jī)的案例也有發(fā)生。

以上海某項(xiàng)目為例，幾種方案對(duì)比如表3所示。

方案對(duì)比詳表 表3

(4)直接新風(fēng)冷卻

除了DX空調(diào)、冷凍水和間接蒸發(fā)冷卻機(jī)組之外，行業(yè)內(nèi)還有少量客戶已經(jīng)或正在嘗試直接新風(fēng)冷卻。直接新風(fēng)冷卻即直通風(fēng)方式，利用低溫自然冷空氣或與部分回風(fēng)熱空氣混合，經(jīng)過(guò)濾、凈化處理后，直接送入機(jī)房實(shí)現(xiàn)冷卻。該方案沒(méi)有中間換熱過(guò)程，自然冷源利用熱效率高，如果輔之以蒸發(fā)冷卻裝置，可以更長(zhǎng)時(shí)間利用自然冷源。

但直接新風(fēng)冷卻方案存在以下問(wèn)題。

1)換熱的同時(shí)伴隨著物質(zhì)的交換。任何一個(gè)環(huán)境，空氣質(zhì)量都是難以保持穩(wěn)定的，有時(shí)甚至?xí)艿街苓吺鹿实挠绊?。空氣污染較重時(shí)，必須對(duì)冷空氣進(jìn)行過(guò)濾處理，維護(hù)成本高，特別是需要采用化學(xué)過(guò)濾器時(shí)，成本支出較大。

2)室內(nèi)外空氣不隔離，導(dǎo)致濕度處理復(fù)雜，存在頻繁的加濕除濕過(guò)程，耗水、耗電量巨大。

3)室外溫度過(guò)低時(shí)，冷空氣需進(jìn)行再加熱和加濕或與排風(fēng)充分混合，否則容易導(dǎo)致凝露。這種溫濕度的控制通常很難做到絕對(duì)可靠。

4)需要提前和建筑設(shè)計(jì)配合，避免送排風(fēng)短路，避免送風(fēng)距離過(guò)長(zhǎng)引起的風(fēng)機(jī)功耗較大。實(shí)際項(xiàng)目中，為了實(shí)現(xiàn)該目標(biāo)，設(shè)計(jì)和安裝都有難度。

正是因?yàn)橹苯有嘛L(fēng)方案室外空氣處理流程復(fù)雜，且存在眾多的不確定性，在行業(yè)內(nèi)應(yīng)用不多，難以成為未來(lái)的發(fā)展方向。

除了制冷系統(tǒng)自身的特點(diǎn)之外，隨著AI技術(shù)在各行各業(yè)的應(yīng)用普及，空調(diào)輔以AI調(diào)優(yōu)在數(shù)據(jù)中心行業(yè)也嶄露頭角，并取得了相對(duì)較為理想的效果。相信未來(lái)，對(duì)專業(yè)要求低、運(yùn)維簡(jiǎn)單的DX空調(diào)或間接蒸發(fā)冷卻機(jī)組，輔以AI技術(shù)，將成為數(shù)據(jù)中心制冷方向的主流解決方案。

3 結(jié)束語(yǔ)