液冷技術(shù)在數(shù)據(jù)中心的應(yīng)用

周 婷 王 瑋 常傳源 張 恬

（1.江蘇建筑職業(yè)技術(shù)學(xué)院，江蘇 徐州 221000；2.同圓設(shè)計(jì)集團(tuán)有限公司，山東 濟(jì)南 250000；3.中通服咨詢設(shè)計(jì)研究院有限公司，江蘇 南京 210000）

0 引言

隨著雙碳目標(biāo)的提出，東數(shù)西算工程也全面啟動，數(shù)據(jù)中心趨于集約化、規(guī)?；途G色化。作為碳排放“大戶”，中國數(shù)據(jù)中心年碳排放量已超過3 300 萬輛汽車。在數(shù)據(jù)中心能耗占比中，制冷系統(tǒng)用電量已與IT設(shè)備相當(dāng)，占總用電量的比例高達(dá)43%，優(yōu)化制冷系統(tǒng)已成為數(shù)據(jù)中心提高能源使用效率的重要環(huán)節(jié)。近年來，國家相繼出臺一系列與數(shù)據(jù)中心建設(shè)相關(guān)的政策，對電能利用效率（Power Usage Effectiveness，PUE）提出明確的規(guī)定，要求到2025 年，全國新建大型數(shù)據(jù)中心的PUE 要降到1.3以下［1］。與風(fēng)冷相比，液冷能更好地支持高功耗芯片的解散熱，保持芯片低溫運(yùn)行，減少服務(wù)器散熱熱點(diǎn)。通過有效利用自然冷源進(jìn)行冷卻，液冷技術(shù)能有效降低數(shù)據(jù)中心的PUE，從而促進(jìn)數(shù)據(jù)中心減少碳排放。因此，“液冷”將會成為新型數(shù)據(jù)中心的重要技術(shù)方向。

1 數(shù)據(jù)中心常規(guī)冷卻技術(shù)

1.1 常規(guī)數(shù)據(jù)中心冷卻

在早期的數(shù)據(jù)中心中，多使用風(fēng)冷型直接蒸發(fā)式空調(diào)系統(tǒng)。該系統(tǒng)采用制冷劑冷媒作為傳熱介質(zhì)，制冷劑吸收室內(nèi)的熱量后，通過制冷循環(huán)將熱量輸送到室外。制冷劑一般為氟利昂，單機(jī)制冷量為10～120 kW［2］。這種空調(diào)系統(tǒng)由室內(nèi)機(jī)、室外機(jī)、冷媒管及相關(guān)閥門附件組成，結(jié)構(gòu)簡單，生產(chǎn)廠家較多，在使用時安裝維修方便。

隨著機(jī)房容量的增大，冷凍水型機(jī)房空調(diào)系統(tǒng)的應(yīng)用也逐漸增多，其能滿足30～150 kW 制冷量的需求。該系統(tǒng)和公共建筑空調(diào)系統(tǒng)一樣，由冷水機(jī)組、冷卻塔、膨脹水箱、循環(huán)水泵、末端設(shè)備、管道、閥門附件等組成。為了提高能源的利用效率，可將冷凍水型機(jī)房空調(diào)冷凍水的供水溫度提高到12 ℃、回水溫度為18 ℃。冷凍水溫度的提高、溫差的增大，在減少輸送能耗的同時，機(jī)房內(nèi)也較少產(chǎn)生冷凝水。該類型空調(diào)系統(tǒng)設(shè)計(jì)和生產(chǎn)技術(shù)成熟，在大型數(shù)據(jù)中心得到廣泛應(yīng)用。

1.2 數(shù)據(jù)中心自然冷卻

目前，主流的自然冷卻技術(shù)有空氣側(cè)自然冷卻和水側(cè)自然冷卻［3］。自然冷卻可分為不同形式，詳見表1。

表1 數(shù)據(jù)中心自然冷卻方式

1.2.1 空氣側(cè)采用自然冷卻。Facebook 在美國普林維爾建造的大數(shù)據(jù)中心采用的是空氣側(cè)自然冷卻技術(shù)，室外空氣通過噴淋的方式與水大面積接觸，在這個過程中，水吸收了汽化潛熱，空氣的溫度降低，被處理后符合標(biāo)準(zhǔn)規(guī)定溫度濕度要求的空氣被送入數(shù)據(jù)中心，對機(jī)房空間進(jìn)行冷卻［4］。這種系統(tǒng)屬全新風(fēng)直接蒸發(fā)冷卻空調(diào)系統(tǒng)，使用時要控制空氣濕度。與直接蒸發(fā)冷卻相對的是間接蒸發(fā)自然冷卻，室外空氣經(jīng)表面式換熱器與被水噴淋的空氣進(jìn)行換熱，從而被冷卻，在使用上分為干模式、濕模式和混合模式，國外的蒙特和國內(nèi)的騰訊、華為等均采用該種冷卻方式的數(shù)據(jù)中心產(chǎn)品。帶風(fēng)冷冷水機(jī)組是在傳統(tǒng)風(fēng)冷冷水機(jī)組的基礎(chǔ)上，通過并聯(lián)自然冷卻盤管，在過渡季節(jié)采用自然冷卻盤管進(jìn)行供冷，并根據(jù)室外氣象條件調(diào)整運(yùn)行模式，在氣候溫度較低時采用自然冷卻，在室外溫度較高時采用機(jī)械冷卻，常用于常規(guī)的數(shù)據(jù)中心。

1.2.2 水側(cè)自然冷卻。國內(nèi)采用湖水自然冷卻的有浙江千島湖數(shù)據(jù)中心、湖南東江湖大數(shù)據(jù)中心一期。采用湖水作為數(shù)據(jù)中心自然冷卻的冷源，湖水溫度穩(wěn)定，能有效減少電量的使用，有較好的節(jié)能效果。但該方式受環(huán)境保護(hù)的制約，其技術(shù)性與環(huán)境安全性還要進(jìn)一步研究。冷卻塔自然冷卻是指在室外溫度較低時利用冷卻塔來制備冷水，與風(fēng)冷冷水機(jī)組類似，可替代一部分機(jī)械制冷，從而提高能源利用效率。冷卻塔供冷分為直接供冷、間接供冷，直接供冷的冷卻水直接進(jìn)入空調(diào)末端，在水質(zhì)不佳時較少使用；間接供冷采用板式換熱器，在室外溫度降低到一定值時，采用冷卻塔作為冷源，通過板式換熱器進(jìn)行熱量交換，來降低冷凍水溫度。

2 數(shù)據(jù)中心液冷技術(shù)

目前，數(shù)據(jù)中心液冷有冷板式、浸沒式、噴淋式3種部署方式。冷板式是間接液冷方式，浸沒式、噴淋式則是直接液冷方式。液冷是通過液體代替空氣，把服務(wù)器發(fā)熱器件產(chǎn)生的熱量帶走。從冷媒來看，標(biāo)況下空氣的定壓比熱容為1.004 kJ/（kg·k），水的比熱容為4.2 kJ/（kg·k），用于阿里浸沒式液冷的氟化液比熱容和汽化潛熱分別為1 110 kJ/（kg·k）和88 kJ/kg，液體冷卻能提供更好的換熱效果，從而滿足數(shù)據(jù)中心高功率、高密部署、低PUE 的使用需求［5］。以國外CPU 巨頭英特爾為例，作為基礎(chǔ)芯片和算力的提供方，英特爾在數(shù)據(jù)中心領(lǐng)域參與程度較深，擁有CPU、GPU、閃存和FPGA 等產(chǎn)品線，涉及數(shù)據(jù)的計(jì)算、存儲和網(wǎng)絡(luò)傳輸?shù)拳h(huán)節(jié)，目前仍與產(chǎn)業(yè)鏈上下游合作，進(jìn)行配套的標(biāo)準(zhǔn)制定。在國內(nèi)，包括浪潮、曙光、華為等服務(wù)器巨頭，以及網(wǎng)宿科技旗下的綠色云圖、高瀾股份等解決方案提供商，都紛紛加大對液冷技術(shù)研究的投入。

2.1 冷板式液冷

冷板式液冷將熱量傳遞給循環(huán)管道中的冷卻液體，冷板式液冷多為單相冷卻，通過冷卻液的溫升將服務(wù)器產(chǎn)生的熱量帶走，無效損失較小，冷卻效率高，能大幅度降低數(shù)據(jù)中心的能耗［5］。換熱冷板材質(zhì)一般為高導(dǎo)熱系數(shù)的材料，冷板表面溫度均勻，通過間接換熱能帶走大量的集中熱量［6］。由于服務(wù)器芯片等發(fā)熱器件只用通過冷板的強(qiáng)迫對流換熱，不用直接接觸液體，所以該系統(tǒng)不用對整套機(jī)房設(shè)備重新進(jìn)行改造設(shè)計(jì)，可操作性更強(qiáng)，應(yīng)用更廣泛。

2.2 噴淋式液冷

噴淋式液冷是將冷卻液直接噴淋到服務(wù)器發(fā)熱器件（如CPU、存儲）表面，液體吸收發(fā)熱器件的熱量，升溫后的冷卻液通過管道、換熱器等與外部冷源進(jìn)行熱交換。廣東合一公司自主研發(fā)了“芯片級精準(zhǔn)噴淋液冷技術(shù)”，設(shè)計(jì)的噴淋式液冷系統(tǒng)有專門的液冷服務(wù)器和液冷機(jī)柜，液冷機(jī)柜包括管路、液體循環(huán)系統(tǒng)、PDU等。2020年，中國長城推出我國首臺國產(chǎn)化噴淋式液冷服務(wù)器，該服務(wù)器采用絕緣導(dǎo)熱液體材料作為冷卻液，可使芯片降溫幅度比傳統(tǒng)風(fēng)冷服務(wù)器低20～30 ℃，單機(jī)架功耗提升到56 kW 以上。在保證高性能的同時，服務(wù)器在噴淋液冷環(huán)境下的穩(wěn)定工作壽命可有效延長0.5倍［7］。噴淋液冷服務(wù)器的結(jié)構(gòu)圖見圖1。

圖1 噴淋液冷服務(wù)器結(jié)構(gòu)

2.3 浸沒式液冷

浸沒式液冷以液體作為傳熱介質(zhì)，將發(fā)熱電子元件直接浸沒于冷卻液中，通過冷卻液與電子元件直接接觸進(jìn)行熱交換，從而帶走熱量，是一種新型高效、綠色節(jié)能的數(shù)據(jù)中心制冷解決方案。根據(jù)冷卻液是否發(fā)生相變，浸沒式液冷分為相變浸沒式液冷和單相浸沒式液冷。嚴(yán)遜等［8］根據(jù)浸沒式液冷試驗(yàn)得出上海市數(shù)據(jù)中心全年運(yùn)行制冷PUE 值為1.060，使用浸沒式液冷的數(shù)據(jù)中心，其冷卻系統(tǒng)能耗僅為使用傳統(tǒng)精密空調(diào)的10%。國內(nèi)液冷技術(shù)方案提供商綠色云圖液所提供的浸沒式液冷解決方案，使散熱能耗降低90%～95%，PUE低至1.049。

相變浸沒式液冷利用冷卻液沸點(diǎn)低、可發(fā)生沸騰相變的特性，在機(jī)柜內(nèi)將熱量從電子部件傳遞到氟化液中，并引起液體沸騰產(chǎn)生蒸汽，從而帶走熱量。蒸汽在機(jī)柜內(nèi)的熱交換器（冷凝器）上冷凝，將熱量傳遞給在數(shù)據(jù)中心中循環(huán)流動的設(shè)施冷卻用水。

單相浸沒式液冷技術(shù)是指將電子設(shè)備完全浸沒在冷卻液中進(jìn)行直接冷卻，從而形成封閉的導(dǎo)熱回路。電子部件直接浸沒到電介質(zhì)特性的氟化液中，而液體置于密封但便于操作的機(jī)柜中，熱量從電子部件傳遞到液體，再使用循環(huán)泵將升溫后的氟化液循環(huán)到換熱器，在換熱器中冷卻并回到機(jī)柜中［8］。圖2、圖3分別為單相和相變浸沒式液冷原理圖［9］。

圖2 單相浸沒液冷原理圖

圖3 相變浸沒液冷原理圖

3 數(shù)據(jù)中心液冷技術(shù)關(guān)鍵技術(shù)探討

3.1 缺乏標(biāo)準(zhǔn)支持

以往液體冷卻在行業(yè)內(nèi)沒有形成趨勢，缺乏大規(guī)模的應(yīng)用案例，相關(guān)國家或行業(yè)標(biāo)準(zhǔn)也處于空缺狀態(tài)［10］。目前，由中國信通院牽頭制定了首批數(shù)據(jù)中心液冷系列的行業(yè)標(biāo)準(zhǔn)，該系列標(biāo)準(zhǔn)明確了目前主流的冷板式和浸沒式等冷卻方式的技術(shù)要求，對液冷技術(shù)PUE的測定方法、冷卻液的使用要求也做了詳細(xì)的闡述，能有效填補(bǔ)當(dāng)前國內(nèi)外數(shù)據(jù)中心液冷行業(yè)標(biāo)準(zhǔn)的空白。

3.2 成本較高

使用液體冷卻技術(shù)的數(shù)據(jù)中心的設(shè)計(jì)方式與使用空氣冷卻的傳統(tǒng)數(shù)據(jù)中心不同。例如，樓梯的承載力、機(jī)房的高度等。如果貿(mào)然更換冷卻方式，除了會影響空間利用率外，人員維護(hù)和重建成本也將是一筆大的支出。

3.3 冷卻液問題

在數(shù)據(jù)中心冷媒上，可采用水、礦物油和氟化物。然而冷卻水是導(dǎo)電的，礦物油和氟化物與空氣接觸時會被其他物質(zhì)污染，對服務(wù)器等設(shè)備造成腐蝕。冷卻液作為熱量傳遞的重要媒介，在使用時要考慮材料的兼容性與可靠性，以及能否大面積推廣。為保證設(shè)備能正常運(yùn)行，在服務(wù)器信號傳輸中，介電常數(shù)也是一個重要參數(shù)，研發(fā)設(shè)計(jì)人員要慎重考慮［9］。因此，必須根據(jù)相關(guān)標(biāo)準(zhǔn)加大對冷卻液的檢測和評估力度，包括材料的兼容性、腐蝕性、擴(kuò)散損失率。

4 結(jié)語

目前，全國大型數(shù)據(jù)中心單機(jī)柜的密度在不斷增大，根據(jù)相關(guān)研究，在抽樣調(diào)查中，數(shù)據(jù)中心平均機(jī)架功率為8.5 kW/h。隨著機(jī)柜高密度服務(wù)器及單機(jī)柜密度的演進(jìn)，對傳統(tǒng)風(fēng)冷散熱來說，容易出現(xiàn)局部熱點(diǎn)，要不斷降低送風(fēng)溫度，增大送風(fēng)風(fēng)量，制冷能耗較大。在探究液冷技術(shù)時，應(yīng)結(jié)合服務(wù)器部署和PUE要求選擇適宜的冷卻方式，對成本管控與設(shè)計(jì)標(biāo)準(zhǔn)的提升有一定的積極意義。