數(shù)據(jù)中心兩相冷卻技術(shù)現(xiàn)狀與展望

李芳寧 曹海山

(清華大學能源與動力工程系 北京 100084)

近年來，隨著人工智能、云計算、大數(shù)據(jù)、5G技術(shù)等信息技術(shù)的快速發(fā)展，數(shù)據(jù)中心數(shù)據(jù)量呈指數(shù)增長，帶來的能耗問題日益突出[1]。當前電子芯片內(nèi)晶體管密度超1.7億/mm2，核功率密度高達4.5 W/mm2，數(shù)據(jù)中心中制冷系統(tǒng)的能耗占比超過30%[2]，數(shù)據(jù)中心面臨著追求高性能、低能耗、低數(shù)據(jù)中心總能耗與IT設(shè)備能耗比值(power usage effectiveness，PUE)的巨大挑戰(zhàn)?！度珖鴶?shù)據(jù)中心應用發(fā)展指引(2020)》[3]顯示，截至2019年底，全國超大型數(shù)據(jù)中心(規(guī)模大于等于10 000個標準機架，以功率2.5 kW為一個標準機架)平均PUE為1.46，大型數(shù)據(jù)中心(規(guī)模大于等于3 000個標準機架，小于10 000個標準機架)平均PUE為1.55。全國數(shù)據(jù)中心2020年耗電約2 035億kW·h[4]，若PUE降低10%，年度可節(jié)約用電203.5億kW·h，折合630萬t標煤，減少CO2排放量約1 700萬t(計算標準：煤耗按照310 g/(kW·h)，CO2排放按照2.7 g/(g標準煤)。

數(shù)據(jù)中心的實際應用中，主要包括3種冷卻方式：空氣冷卻、單相液體冷卻和兩相液體冷卻。空氣冷卻多采用恒溫恒濕的空調(diào)設(shè)備，通過冷熱通道送、回風的方式排出機房熱量，存在自然冷源利用率低、多次換熱降低傳熱效率、氣流分配不均引起能耗增加等缺點[5]。在單相液體冷卻系統(tǒng)中，服務(wù)器垂直安裝在裝有冷卻液的箱體中，熱量通過與服務(wù)器組件的直接接觸傳遞給冷卻液，也可以通過冷板間接接觸進行熱交換，被加熱的冷卻液通過冷卻分配單元(cooling distribution unit，CDU)中的熱交換器被冷卻后再返回冷卻液箱中[6]。兩相液體冷卻分為浸沒式和噴射式兩種，噴射式是在浸沒式基礎(chǔ)上通過增加流速進一步增強換熱性能，與單相液體冷卻相比，沸騰換熱強化了服務(wù)器芯片和冷卻液之間的換熱，但存在系統(tǒng)壓力波動和冷卻液逃逸損失等問題。圖1所示為當前6種主要的浸沒式兩相冷卻系統(tǒng)。圖1(a)為蒸氣外部冷卻系統(tǒng)，該系統(tǒng)利用壓差將沸騰的冷卻液蒸氣導入冷凝器中冷凝成液體，冷卻液再利用重力通過管路回流至冷卻液箱中，該系統(tǒng)設(shè)備簡單，但過程可能存在壓力損失，影響蒸氣流動，可能導致冷卻液難以正常循環(huán)。圖1(b)為蒸氣內(nèi)部冷卻系統(tǒng)，該系統(tǒng)冷卻液蒸氣在冷凝管冷卻凝結(jié)后通過重力作用返回冷卻液箱，而冷凝管中冷凝液吸熱后進入冷凝器中冷卻實現(xiàn)循環(huán)，其中冷凝管可以布置在箱體內(nèi)部的上方或兩側(cè)，冷凝器可以是空氣冷卻器、液冷冷卻器或恒溫箱。圖1(c)為蒸氣內(nèi)部冷卻系統(tǒng)(風冷翅片+冷凝液區(qū))，該系統(tǒng)增加了一個內(nèi)部導熱系數(shù)高的冷凝液區(qū)，箱中的冷卻液蒸氣上升接觸到冷凝液區(qū)底部隔板部分凝結(jié)，冷凝液區(qū)和風冷翅片共同作用對冷卻液蒸氣進行冷凝，使其回落到冷卻液液體中。圖1(d)為蒸氣內(nèi)部冷卻系統(tǒng)(液冷翅片)，該系統(tǒng)與蒸氣內(nèi)部冷卻系統(tǒng)(風冷翅片+冷凝液區(qū))類似，區(qū)別是利用冷凝管回路代替風冷對冷凝液區(qū)和翅片進行冷卻，而冷凝液區(qū)和液冷翅片共同對冷卻液蒸氣進行冷凝。圖1(e)為蒸氣內(nèi)部冷卻系統(tǒng)(風冷翅片全面布置)，該系統(tǒng)冷卻液箱頂部布置翅片式換熱器，換熱器內(nèi)部為冷凝液，下側(cè)通過翅片對冷卻液蒸氣冷卻，上側(cè)通過風冷散熱，箱體四周與下側(cè)布置風冷散熱片增強散熱效果，但該安裝較復雜，實際應用存在一定困難。圖1(f)為分布式蒸氣外部冷卻系統(tǒng)，該系統(tǒng)是基于現(xiàn)有系統(tǒng)的延伸，采用分布式兩相冷卻系統(tǒng)，多個服務(wù)器布置在機架上，每個服務(wù)器分別單獨浸沒在冷卻液中，每個冷卻液箱中的蒸氣利用壓差進入熱交換器冷凝，然后液體經(jīng)過分流閥調(diào)整流量后回至各冷卻液箱中，熱交換器吸收的熱量再通過冷凝器進行冷卻，實現(xiàn)整個兩相分布式冷卻系統(tǒng)的循環(huán)。

圖1 六類兩相冷卻系統(tǒng)Fig. 1 Six kinds of two-phase cooling system

兩相浸沒冷卻系統(tǒng)常應用于溫度均勻性要求高和熱流密度高的領(lǐng)域。例如，高熱流激光二極管冷卻、電力電子機柜冷卻[12]以及高功率、高重復頻率脈沖發(fā)生器等[10]。兩相冷卻相比于空氣冷卻和單相液體冷卻具有較大優(yōu)勢:1)對流換熱表面?zhèn)鳠嵯禂?shù)高，冷卻液沸騰發(fā)生相變，汽化潛熱的存在增強了換熱效果，能有效去除高熱通量;2)提高冷卻系統(tǒng)可靠性，冷卻部件溫度變化范圍較小，增強了系統(tǒng)穩(wěn)定性。

本文對現(xiàn)有的兩相冷卻系統(tǒng)進行了歸納、分類和延伸，并重點介紹了兩相浸沒冷卻系統(tǒng)所涉及的冷卻液物性、強化換熱方法和系統(tǒng)熱力學評估3個方面的研究進展。

1 冷卻液物性

兩相冷卻液有很多產(chǎn)品，如美國3M公司的產(chǎn)品有兩大類，包括氟化液和Novec工程流體，兩類冷卻液的常用產(chǎn)品物性如表1所示。氟化液無色透明、無味、不可燃、無油基、毒性低、無腐蝕性，具有極高的介電強度且溫度操作范圍廣、熱穩(wěn)定性和化學穩(wěn)定性高。Novec工程流體不但具有以上特性，還具有較低的全球變暖潛能值(glowbal warming potential,GWP)和臭氧損耗潛能值(ozone depletion potential, ODP)[13-14]。此外，美國科慕公司也研制了特種氟化液，包括Opteon和Vetrel兩類[15-18]，參數(shù)與3M公司產(chǎn)品接近，實際應用時可按需選取。

表1 3M公司兩相冷卻液物性參數(shù)[13-14]Tab. 1 Physical properties of two-phase coolants of 3M company[13-14]

冷卻液物性的研究對兩相冷卻技術(shù)十分重要，不同種類冷卻液的傳熱系數(shù)、介電常數(shù)等均有差異，會影響換熱效果及服務(wù)器運行，因此該研究能夠有力推動兩相冷卻的發(fā)展及其在數(shù)據(jù)中心的應用。針對上述情況，M. Wada 等[19]實驗研究了不同Novec冷卻液(Novec774、Novec649、Novec7000、Novec7100、Novec7200)的傳熱性能，發(fā)現(xiàn)上述Novec冷卻液作為工作介質(zhì)的兩相浸沒冷卻系統(tǒng)總熱阻(空氣與被冷卻器件之間)無顯著差異。在保持被冷卻器件浸沒的狀態(tài)下，冷卻液的填充率對總熱阻的影響較小。

Li Xingping等[20]采用封閉式兩相冷卻系統(tǒng)對3種不同介電液體(乙醇、FC-72、R113)的傳熱性能進行了實驗研究，該系統(tǒng)的熱源與冷卻液直接接觸，內(nèi)部沒有活動部件，減小了熱源與散熱片之間的接觸熱阻。通過開關(guān)風扇來制造強制空氣對流和自然對流條件，從而對圓筒周圍的風冷翅片進行冷卻，冷卻液蒸氣在重力作用下被圓筒外翅片管冷凝滴回到圓筒內(nèi)。圖2所示為強制對流與自然對流條件下總熱阻與加熱功率的關(guān)系。由圖2(a)可知，強制空氣對流條件下，系統(tǒng)可以承受1 000 W的熱負荷，最小總熱阻為0.073 ℃/W。由圖2(b)可知自然對流條件下，系統(tǒng)可以承受300 W 的熱負荷，最小總熱阻為0.2 ℃/W，其中乙醇的熱阻較低，性能更佳。

為保證電子器件的正常運行，冷卻液需具有較小的介電常數(shù)，即較弱的導電能力。C. Benson等[21]研究了FK(氟酮)和HFE(氫氟醚)流體工作在0～20 MHz頻率范圍內(nèi)的介電常數(shù)，發(fā)現(xiàn)HFE流體的介電常數(shù)高于FK流體，當頻率由0增至20 MHz時，HFE流體的介電常數(shù)由8降至3，F(xiàn)K流體的介電常數(shù)與頻率無關(guān)，保持在2不變。

2 強化換熱方法

強化換熱是提高兩相浸沒冷卻系統(tǒng)性能的關(guān)鍵，包括沸騰換熱強化和冷凝換熱強化。

2.1 表面沸騰換熱強化

表面沸騰換熱強化的研究很多，目前可以應用于數(shù)據(jù)中心的方法主要為表面改性和電子器件排布。

2.1.1 表面改性的影響

根據(jù)沸騰換熱機理，材料表面狀況對沸騰換熱的影響較大，而強化換熱的關(guān)鍵是使沸騰表面有更多半徑大于最小成核半徑的氣泡核。

多孔表面能夠成倍提高沸騰換熱表面?zhèn)鳠嵯禂?shù)，提供大量的汽化核心點，從而穩(wěn)定地固定住大量的氣泡核，使泡態(tài)沸騰更容易實現(xiàn)。為了增強元件表面的沸騰，3M公司發(fā)明了一種應用于液體浴槽內(nèi)厚度為100 μm的多孔金屬材料[6]電子芯片以實現(xiàn)強化沸騰換熱。

Fan Simiao[22]將二氧化鈦納米管排列在銅和鈦表面(圖3(a))，并與普通表面進行對比得到Novec流體沸騰曲線(圖3(b))。由圖3(b)可知，涂覆在鈦板上的納米管可以有效提高熱通量，而涂覆二氧化鈦納米管的銅板熱通量偏低，主要是由于界面熱阻造成，修正后熱通量與涂覆二氧化鈦納米管的鈦板相當。實驗結(jié)果表明，該涂層在鈦材質(zhì)電子器件上具有優(yōu)異冷卻性能和巨大潛力，但涂層的穩(wěn)定性及引入的界面熱阻問題還有待進一步研究。

圖3 測試表面及飽和Novec流體的沸騰曲線[21]Fig. 3 Test surface and boiling curve of saturated Novec fluid[21]

2.1.2 電子器件排布的影響

對于兩相浸沒冷卻系統(tǒng)，箱體中電子器件的排布也會影響沸騰換熱效果，適當調(diào)整可以強化換熱。An Xudong等[23]使用CFD對用于高性能處理器設(shè)計的兩相浸入式冷卻解決方案進行了三維數(shù)值模擬，以電子元件CPU代表數(shù)據(jù)中心服務(wù)器熱源。圖4所示為CPU排列方式對最大允許功率的影響。在一塊計算板上分別嵌入垂直排列的兩個和一個CPU(圖4(a))，研究在熱源溫度不超過80 ℃下的最大允許功率。圖4(b)所示為雙插槽排列的2A和2B以及單插槽2的最高溫度與功率的關(guān)系，由于A插槽處氣泡上升到B插槽處出現(xiàn)熱點，導致B插槽處CPU升溫更快，當熱源溫度達到80 ℃時，雙插槽排列方式的最大允許功率225 W低于單插槽的最大允許功率275 W。

圖4 CPU排列方式對最大允許功率的影響[23]Fig. 4 Effect of CPU arrangement on the maximum allowable power[23]

A.Niazmand等[24]采用CFD模擬研究了3個不同傾斜角度(垂直于水平面的傾角設(shè)為0°)對沸騰換熱的影響，結(jié)果表明，在相同沸騰溫差(壁面溫度與飽和溫度之差)下，隨著芯片傾角的增大，熱通量降低，表明傾角對熱通量及沸騰換熱具有顯著影響。

三維芯片堆疊可以增加集成電路密度，提高空間利用率，在更小的電路板面積上提供更強的功能和更好的電氣性能。但隨狹窄垂直通道中汽化核心的增加，不斷增長的蒸氣部分可能導致受熱表面變干，從通道出口或附近開始出現(xiàn)嚴重的換熱退化。圖5所示為K.J.L.Geisler等[25]使用飽和FC-72作為冷卻液進行CFD模擬的結(jié)果，對于不同厚度的芯片，當芯片間距約為0.5 mm時，熱通量達到峰值。因此，確定了最佳芯片間距，優(yōu)化了微觀電子芯片的布局。

圖5 硅芯片的臨界熱通量[25]Fig. 5 Critical heat flux of silicon chip[25]

2.2 冷凝換熱強化

冷凝過程在宏觀上可分為滴狀冷凝和膜狀冷凝，分類依據(jù)為冷凝液能否潤濕壁面。若冷凝液能夠很好的潤濕壁面，則在壁面形成液膜，在重力作用下沿壁面流動，此時液膜為冷凝換熱的主要熱阻。若冷凝液不能很好的潤濕壁面，接觸角較大，則在壁面形成一個個小液滴，液滴長大后沿壁面流動，此時冷凝相變熱可以直接傳給壁面。滴狀冷凝換熱表面?zhèn)鳠嵯禂?shù)要比相同條件下的膜狀冷凝大幾倍甚至一個數(shù)量級，因此目前針對滴狀冷凝換熱的研究較多，可以通過表面改性和強化管(改變表面結(jié)構(gòu))措施進行強化。

2.2.1 表面親潤性的影響

材料表面的親潤性對滴狀冷凝至關(guān)重要，Quan Xiaojun等[26]制備了一種油浸納米草疏水薄膜，并在涂有這種薄膜的傾斜表面進行液滴滑動實驗，結(jié)果表明，液滴的流速相比在原銅表面顯著提高，薄膜增強了表面的疏水性。在冷凝管外表面涂覆該薄膜進行冷凝換熱實驗，結(jié)果表明，相比于原銅表面，覆蓋涂層的冷凝換熱表面?zhèn)鳠嵯禂?shù)可提升50%，表明該涂層對管外滴狀冷凝的強化效果顯著。

穩(wěn)定性差是疏水涂層實際應用中面臨的主要問題。為了長時間維持滴狀冷凝而避免出現(xiàn)膜狀冷凝，D.Seo等[27]提出一種在旋轉(zhuǎn)管表面不斷刷潤滑油的方法，旋轉(zhuǎn)管壁與刷毛之間接觸使冷凝器上流失的潤滑油得到補充，而毛刷內(nèi)的潤滑油通過毛細作用從儲油器中自動填充，同時，該方式還可以掃除液滴、降低液膜厚度、促進新液滴產(chǎn)生，提高換熱性能。

圖6(a)所示為穩(wěn)定冷凝階段光管表面、刷式光管表面、疏水表面、刷式疏水表面、超疏水表面和刷式浸油表面的液滴狀態(tài)。由圖6(a)可知，刷式浸油表面能夠有效去除液滴。圖6(b)所示為不同表面的冷凝換熱表面?zhèn)鳠嵯禂?shù)隨過飽和度(蒸氣飽和壓力與管表面溫度下飽和壓力的比值)的變化，光管表面和刷式光管表面處于膜狀冷凝階段，而通過刷子可以減少液膜厚度，使后者表面?zhèn)鳠嵯禂?shù)高于前者。疏水表面和刷式疏水表面處于滴狀冷凝階段，而刷子可以促進新液滴的產(chǎn)生，使后者表面?zhèn)鳠嵯禂?shù)更高。刷式浸油表面相比于刷式疏水表面能夠有效去除產(chǎn)生的液滴，使前者表面?zhèn)鳠嵯禂?shù)在很寬的過飽和度范圍內(nèi)顯著高于后者，體現(xiàn)了更好的換熱性能。

圖6 不同表面冷凝狀態(tài)及換熱性能[27]Fig. 6 State and surface heat transfer performance of different condensation[27]

2.2.2 表面結(jié)構(gòu)的影響

改變管壁或冷板等表面結(jié)構(gòu)一方面可以增加傳熱面積，另一方面有利于冷凝液滴的滑移、滴落，減少熱阻，提高冷凝換熱效率。Ren Bin等[28]設(shè)計了一種雙管換熱器，分別采用波紋低翅片管和光滑管作為內(nèi)管，使蒸氣/空氣混合物在內(nèi)管冷凝，而冷卻水在雙管間環(huán)形通道對內(nèi)管進行冷卻。測量計算管內(nèi)冷凝換熱表面?zhèn)鳠嵯禂?shù)結(jié)果如圖7所示，由于不凝氣體增加了傳熱傳質(zhì)的阻力，兩管的管內(nèi)平均冷凝換熱表面?zhèn)鳠嵯禂?shù)均隨著不凝性氣體質(zhì)量分數(shù)的增加而減小。同時低翅片管的冷凝換熱表面?zhèn)鳠嵯禂?shù)更大，體現(xiàn)出低翅片管對冷凝換熱的強化作用。A.S.Dalkilic等[29]總結(jié)了R410A冷卻液在不同流量下光滑管、螺紋管和人形翅片管的管內(nèi)冷凝換熱表面?zhèn)鳠嵯禂?shù)，均隨濕度增加而降低，且兩種流量下(G=100 kg/(m2·s)和G=300 kg/(m2·s))強化管均比光滑管的冷凝換熱表面?zhèn)鳠嵯禂?shù)高。

圖7 冷凝換熱表面?zhèn)鳠嵯禂?shù)隨不凝性氣體質(zhì)量分數(shù)的變化[28]Fig. 7 Variation of heat transfer coefficient of condensation heat transfer surface with mass fraction of non condensable gas[28]

3 冷卻系統(tǒng)的熱力學評估

數(shù)據(jù)中心兩相浸沒冷卻系統(tǒng)理論上具有高效節(jié)能的特點，為此多位學者進行了模擬或?qū)嶒烌炞C，對給定的冷卻系統(tǒng)進行熱力學分析，主要對制冷性能系數(shù)(COP，coefficient of performance)和PUE進行定量分析，COP和PUE分別定義為：

(1)

(2)

式中：Qcond為系統(tǒng)制冷量，W；W為系統(tǒng)輸入功率，W；Wtotal為數(shù)據(jù)中心總功率，W；WIT為IT負載功率，W。

Liu Cheng等[30]通過CFD分析評估了服務(wù)器的間隔與表面溫度的關(guān)系，并在各種IT負載下評估了給定系統(tǒng)的COP和PUE。冷卻裝置的功率通過功率計進行實時監(jiān)測，服務(wù)器功率通過計算機進行調(diào)控。圖8所示為給定系統(tǒng)的熱力學分析結(jié)果，由圖8(a)可知，當服務(wù)器功率由1 127 W增至1 577 W時，COP由19.0增至26.7。根據(jù)已有研究可知[31-32]，給定兩相冷卻系統(tǒng)COP比空氣冷卻和單相冷卻系統(tǒng)COP約高4～20。由圖8(b)可知，當服務(wù)器功率由1 127 W增至1 577 W時，系統(tǒng)PUE由1.053降至1.037，相比于空氣冷卻和單相冷卻系統(tǒng)(PUE>1.2)PUE更低。綜上所述，兩相冷卻系統(tǒng)更加高效節(jié)能。

圖8 給定系統(tǒng)熱力學分析[30]Fig. 8 Thermodynamic analysis of a given system [30]

馬躍征等[33]搭建了一種磁力泵驅(qū)動的兩相冷卻復合制冷裝置，當室外溫度較高或泵循環(huán)冷卻能力低于數(shù)據(jù)中心需求時，將泵驅(qū)動模式切換為壓縮制冷模式。蒸發(fā)器和冷凝器迎面風速為1 m/s的條件下，泵循環(huán)模式和壓縮制冷模式的制冷量和功率如圖9所示。由圖9(a)可知，泵驅(qū)動模式下泵僅提供給系統(tǒng)循環(huán)的動力，系統(tǒng)功率變化較小，系統(tǒng)制冷量隨室外溫度的升高迅速降低。由圖9(b)可知，壓縮制冷模式的制冷量隨室外溫度的升高逐漸降低，但壓縮制冷模式的功率遠高于泵驅(qū)動模式。

圖9 制冷量、功率隨室外溫度的變化[33]Fig. 9 Variation of refrigerating capacity and power with outdoor temperature[33]

4 總結(jié)與展望

面向數(shù)據(jù)中心的冷卻需求，兩相冷卻是一種比空氣冷卻和單相液冷更高效節(jié)能的制冷方式，能夠有效提高制冷系統(tǒng)COP，降低數(shù)據(jù)中心PUE。本文介紹了兩相冷卻系統(tǒng)分類與相應系統(tǒng)的關(guān)鍵部件，并提出一種分布式兩相冷卻方法。該方法將各服務(wù)器分離，互不影響，便于各服務(wù)器的壓力和溫度監(jiān)測，但系統(tǒng)壓力控制更具挑戰(zhàn)性。此外本文還對兩相冷卻技術(shù)涉及的冷卻液物性、強化換熱方法和系統(tǒng)熱力學評估3個層面的研究進行了梳理。

總體上看，目前兩相冷卻技術(shù)還不夠成熟，建議從如下方面開展進一步研究：

1)冷卻液物性對兩相冷卻系統(tǒng)性能的影響至關(guān)重要，但目前對于冷卻液物性的研究較少，特別是氣相冷卻液的物性參數(shù)。

2)冷卻系統(tǒng)涉及沸騰換熱和冷凝換熱，針對兩類換熱主要通過對氣泡和液滴的形成與脫離過程進行強化，建議開展冷卻液相變換熱強化相關(guān)研究。

3)兩相冷卻系統(tǒng)具有優(yōu)越的熱力學性能(高COP和低PUE)，應結(jié)合低溫余熱回收系統(tǒng)等，將廢熱二次利用進一步提高能源的利用率、節(jié)約運行成本。

4)服務(wù)器和冷卻液均在密閉空間內(nèi)，由于冷卻液汽化過程可能導致壓力過高，對設(shè)備材料和尺寸有一定要求，如何維持系統(tǒng)壓力穩(wěn)定也是亟待解決的問題。

本文受北京市自然科學基金項目(3212019)資助。(The project was supported by the National Natural Science Foundation of Beijing (No. 3212019).)