浸沒式交換機液冷技術仿真與實驗

馮帥 王國巖 何嘉俊 張可牧 安青松

(1 天津大學中低溫熱能高效利用教育部重點實驗室 天津 300350；2 歌爾聲學 濰坊 261031)

隨著互聯(lián)網(wǎng)的高速發(fā)展，大數(shù)據(jù)處理需要具有更高穩(wěn)定性與可靠性的大容量、高性能交換機。如圖1所示，交換機的失效約有47%是由于散熱能力不足導致溫度升高造成的[1]。有研究表明，主流性能的交換機溫度范圍在50～60 ℃，其CPU 溫度每升高1℃，可靠性就下降約25%[2]。

圖1 交換機失效原因統(tǒng)計Fig.1 Statistical of failure reasons of communication equipment

影響交換機散熱的原因主要有:1)交換機內(nèi)部元件熱流密度不斷升高。目前交換機使用的交換芯片最高功率為363 W，熱流密度可達100 W/cm2[3－4]，四代Tomahawk 交換機芯片即將量產(chǎn)投入使用，最高功率將提至515 W，熱流密度接近130 W/cm2[5]。以當前交換機傳統(tǒng)冷卻方式的散熱效率來看，存在著較大的散熱風險。2)交換機中部分元件支持的最高溫度較低。例如交換機中的光模塊，根據(jù)測試標準要求光模塊允許達到的最高溫度為70 ℃[6]，風冷很難滿足光模塊散熱要求。3)交換機內(nèi)氣流阻抗曲線不斷升高，交換機內(nèi)部元件尺寸增大、數(shù)量增多，導致交換機內(nèi)部流體的局部損失和沿程損失增加[7]。唐金沙等[8]研究表明，依靠提高風速增加散熱能力的方式，其綜合性能很難得到提高，難以滿足高性能芯片的散熱需求。

浸沒式液冷技術相對于風冷技術有著較好的散熱表現(xiàn)，從最初應用于航天領域再擴展到軍事領域，當前很多民用領域具有高熱流密度散熱需求的設備也嘗試使用。對浸沒式液冷技術的探究始于20世紀60年代，IBM 公司開始了氟化液與計算機在直接接觸下的散熱研究[9]。A.Bar-Cohen[10]將服務器、交換機浸沒在盛有氟化液的水槽中工作，并對工作時的交換機進行了熱測試，測試結(jié)果顯示交換機內(nèi)部元器件最高溫升僅約7 ℃，而在風冷條件下溫升為25 ℃。D.Pellicone[11]將總功率為1 500 W 的交換機浸沒在氟化液中，在溫度達到穩(wěn)定后最高溫升為23 ℃，而同等條件下風冷系統(tǒng)的溫升高達55 ℃，已接近風冷系統(tǒng)可靠運行的極限溫度。2017年阿里巴巴公司建造了全球首個浸沒式液冷服務器，能效方面的表現(xiàn)也極為突出[12－13]。2018年10月，中科曙光聯(lián)合上海超級計算中心、國家超級計算深圳中心的E 級超級計算機，采用了浸沒式液冷技術，系統(tǒng)峰值功耗高達249 kW，PUE 值僅為1.04，實現(xiàn)了整機系統(tǒng)的高效節(jié)能[14]。綜上所述，浸沒式液冷系統(tǒng)具有結(jié)構緊湊，散熱效率高等優(yōu)勢，是當前解決高功率交換機散熱問題的前沿應用方向之一[15]。

盡管浸沒式液冷技術已經(jīng)在很多IT 設備或系統(tǒng)中得到了應用[16－17]，但是仍然缺乏針對浸沒式液冷技術的熱仿真設計模型修正方法和浸沒式液冷條件下的交換機極限功率分析數(shù)據(jù)，這使得實際散熱技術應用開發(fā)過程中的可靠性降低、設計周期較長、功率控制缺乏支撐，而這些相關的研究極少。因此，本文對采用高沸點冷卻液的浸沒式冷卻交換機進行模擬仿真與實驗研究，并與風冷測試結(jié)果作對比。結(jié)合熱測試結(jié)果對交換機在浸沒式液冷條件下的仿真模型進行修正，對交換機進行極限功率測試。

1 實驗設計與系統(tǒng)仿真

1.1 實驗裝置及系統(tǒng)

將浸沒式液冷交換機與風冷交換機通過熱測試進行對比，通過測定在不同工況下交換機工作時各部件的溫度來對比兩種方式的散熱效果。

實驗中熱電偶分別布置在芯片、光模塊、電源處。交換機的測溫熱偶線選用的T 型線，材料為銅－銅鎳。測溫范圍為－200～350 ℃，測試精度等級為Ⅱ級，T 型熱偶線測試誤差為±2.5 ℃。圖2所示為交換機頂端位置截面，交換機內(nèi)部的芯片、CPU、內(nèi)存條等在正常工作時都是高功率發(fā)熱元件，實驗共布置12 個測溫點。

圖2 交換機頂端位置截面圖Fig.2 Cross section of switch top position

圖3所示為在交換機正視圖方向可見光模塊排布，前端光模塊共有28 個，在上、下兩排槽位中各選8 個光模塊進行測試。其中上排測試的光模塊槽位為1、3、5、7、9、11、13、15，下排測試的光模塊槽位為18、20、22、24、26、28、30、32。

圖3 光模塊排布圖Fig.3 Optical module layout diagram

交換機電源內(nèi)部元件緊密，發(fā)熱器件較多，是交換機內(nèi)部散熱的難點。因此在交換機電源處共布置11 個測試點，主要包括變壓器、二極管、PFC 電感線圈等元件。圖4所示為交換機電源測溫點位置圖。

圖4 交換機電源測溫點位置圖Fig.4 Location of temperature measuring points for switch power supply

1.2 仿真模型

通過3D 軟件對交換機進行1 ∶1 零件裝配實體建模，其中外殼尺寸為445 mm×440 mm×43.5 mm，其他元器件主要包括主板、CPU、光模塊、交換芯片、散熱器及其他芯片，如圖5所示?？紤]到交換機進出口端、交換芯片及CPU、散熱片和電源等位置流場復雜，且熱交換頻繁，為了提高仿真的準確性，對重要位置的網(wǎng)格進行局部網(wǎng)格加密處理。

圖5 交換機熱模型圖Fig.5 Switch architecture diagram

對模型中固體和流體的材料屬性進行設置，其中交換機外殼和散熱器材料使用AL-6061，芯片、電路板等材料均使用軟件材料庫選項中相應的材料，其他參數(shù)如表1所示。在風冷仿真中流體的屬性為空氣，并對風扇的P-Q曲線進行設定；液冷仿真中對流體的屬性為冷卻液的基本參數(shù)，并將水泵的P-Q曲線進行設定，初始溫度為45 ℃。仿真設定的環(huán)境溫度為25 ℃。

表1 交換機內(nèi)部器件功率統(tǒng)計Tab.1 Switch internal device power statistics

仿真采用穩(wěn)態(tài)計算，計算類型選擇非耦合求解法，流體流動采用紊流－湍流模型，選擇PISO 算法，能量方程和動量方程選擇一階迎風差分格式，松弛因子改為0.7。

表2 冷卻液物性參數(shù)Tab.2 Physical properties of coolant

2 結(jié)果分析

2.1 熱仿真結(jié)果分析

圖6所示為風扇在100%和75%轉(zhuǎn)速下交換機內(nèi)部的溫度云圖。在風冷條件下交換機內(nèi)部局部換熱系數(shù)不均勻且易形成局部熱點(例如交換芯片部分)。在風扇75%轉(zhuǎn)速下交換機內(nèi)部的交換芯片溫度已經(jīng)超過了硬件允許的最高溫度(允許最高溫度如表3、表4所示)，即使在風扇100%轉(zhuǎn)速的情況下交換芯片的溫度也已經(jīng)很接近極限溫度。

圖6 風冷條件下交換機內(nèi)部溫度Fig.6 Internal temperature of switch under air cooling condition

如圖7所示，通過改變水泵功率對進入交換機的冷卻液流速進行仿真，冷卻液在交換機內(nèi)最小流速范圍為0.22～1.43 m/s。圖8所示為冷卻液在0.22 m/s 和1.43 m/s 下的交換機仿真結(jié)果，浸沒式液冷可大幅度降低交換機內(nèi)部器件的溫度，同時不再出現(xiàn)局部熱點也沒有散熱死區(qū)，正常情況下可以保證交換機在長期工作狀態(tài)下內(nèi)部各個元器件均處于相對較低溫度，因此提高了交換機的可靠性。

圖7 冷卻系統(tǒng)流速云圖Fig.7 Flow rate cloud of cooling system

圖8 浸沒式液冷條件下交換機內(nèi)部溫度Fig.8 Internal temperature of switch under immersion cooling condition

2.2 實驗驗證

為了在最嚴苛的條件下對交換機的換熱情況進行評估，將交換機內(nèi)所有芯片及發(fā)熱器件都調(diào)至滿載狀態(tài)。

實驗過程中，首先將交換機內(nèi)的風扇或浸沒式液冷條件下的泵打開并調(diào)至滿轉(zhuǎn)，然后再將交換機內(nèi)所有芯片及發(fā)熱器件的功率升至最高，最后對數(shù)據(jù)進行記錄。在交換機運行時由于器件溫度隨時都在發(fā)生變化，為了保證測試數(shù)據(jù)的完整性，每隔10 s 讀取一次數(shù)據(jù)，并對交換機功率進行實時監(jiān)控，測試結(jié)束后將測試數(shù)據(jù)上傳至工作站進行保存。為減小測試數(shù)據(jù)的測試誤差并保證交換機內(nèi)部器件溫度達到穩(wěn)定狀態(tài)，相同狀態(tài)下的工況進行三次測試，每次測試時間2 h。

通過實驗測試，分別得到了風冷和浸沒式液冷條件下交換機內(nèi)元件的溫度數(shù)據(jù)。表3～表6所示分別為風冷和浸沒式液冷條件下元件溫度統(tǒng)計。

表3 風冷條件下交換機元件溫度統(tǒng)計Tab.3 Statistics of component temperature under air cooling condition of switch

根據(jù)上述數(shù)據(jù)繪制成柱狀統(tǒng)計圖9，由圖可知浸沒式液冷相對于同功率下的風冷主要器件的平均可降低20 ℃左右，散熱效率較高。但是風冷元件與實測的誤差率最大為3.0%，而在浸沒式液冷條件下的仿真中，交換機的光模塊仿真誤差已經(jīng)超過了10%，電源內(nèi)部的變壓器的仿真誤差已經(jīng)超過了20%，很難作為熱設計仿真結(jié)果進行參考，因此有必要對浸沒式液冷仿真模型進行修正使其仿真誤差滿足設計要求。

圖9 風冷測試與液冷測試的主要器件溫度數(shù)據(jù)對比Fig.9 Date comparison of air cooling test and liquid cooling test of main components

2.3 仿真模型修正

如上述分析可知，光模塊和變壓器在浸沒式液冷環(huán)境下的實測數(shù)據(jù)與仿真數(shù)據(jù)差距較大，主要是由于光模塊和變壓器內(nèi)部構造很復雜，交換機在仿真時多使用簡化模型，而以往的簡化模型主要是針對風冷仿真使用，沒有考慮到浸沒式液冷的環(huán)境。因此有必要對造成誤差的原因進行理論分析，并對模型進行修正以保證浸沒式液冷條件下的仿真模型的準確性。

表4 風冷條件下交換機電源內(nèi)部元件溫度統(tǒng)計Tab.4 Statistics of internal component temperature of power supply under air cooling condition of switch

續(xù)表4

表5 浸沒式液冷條件下交換機元件溫度統(tǒng)計Tab.5 Statistics of component temperature under immersion liquid cooling condition of switch

表6 浸沒式液冷條件下交換機電源內(nèi)部元件溫度統(tǒng)計Tab.6 Statistics of internal component temperature of power supply under immersion liquid cooling condition of switch

1)光模塊的修正

圖10所示為光模塊的內(nèi)部結(jié)構，風冷條件下的修正方式如圖11所示。其中包括光模塊內(nèi)部熱源、光模塊內(nèi)殼、光模塊外殼。其中光模塊外殼為不銹鋼材料，光模塊內(nèi)殼材質(zhì)為鋁6061。簡化原理為通過設定內(nèi)部熱源與光模塊外殼的熱阻以達到仿真光模塊外殼溫度的目的。

圖10 光模塊內(nèi)部結(jié)構Fig.10 Internal structure of optical module

如圖11所示，在仿真運算時，間隙2 由通過交換機流體的傳熱面積、傳熱系數(shù)、光模塊內(nèi)部發(fā)熱芯片與外殼之間的熱阻確定。最終保證光模塊外殼實測溫度與仿真溫度接近。

圖11 光模塊風冷條件下的模型簡化Fig.11 The optical module under air cooling condition

由于在浸沒式液冷環(huán)境中，冷卻液的導熱系數(shù)高于空氣，所以導致光模塊熱源距離外殼的熱阻減小，因此仿真溫度比實測溫度高。冷卻液的熱導率是空氣的3.1 倍，因此可將模型中的間隙通過熱阻關聯(lián)式并結(jié)合物性數(shù)據(jù)修正后再重新進行仿真。

2)變壓器的修正

圖12所示為變壓器的仿真模型，其中主要發(fā)熱器件為副邊線圈，而副邊線圈主要是通過將熱量傳遞至外殼鐵氧體上進行散熱。在經(jīng)驗模型中，副邊線圈距離鐵氧體為2 mm，同樣將模型中的間隙通過熱阻關聯(lián)式并結(jié)合物性數(shù)據(jù)修正，再重新進行仿真。

圖12 變壓器仿真模型Fig.12 Transformer simulation model

交換機模型在浸沒式液冷條件下進行修正的仿真數(shù)據(jù)如表7所示。所有器件的仿真誤差都控制在了5%以內(nèi)，基本滿足了仿真要求。

表7 交換機浸沒式液冷條件下仿真修正后元件溫度統(tǒng)計Tab.7 Statistics of temperature of components under immersion liquid cooling condition

2.4 極限功率測試

根據(jù)牛頓冷卻公式Q＝hA(T1－T2)可對交換機內(nèi)部能夠達到的極限功率進行推測。通過分析浸沒式液冷環(huán)境下的測試結(jié)果可知，熱風險最大的元件是交換芯片和光模塊。分別對交換芯片、光模塊的極限功耗進行推測:光模塊在浸沒式液冷條件下單顆功耗可支持60 W，交換芯片最高功耗可支持617 W，由于在實際測試中器件的功耗較高，芯片和光模塊能夠達到的最大功率不能達到要求，因此使用與其熱阻、尺寸與其相同的等效電阻器件進行實際測試。如圖13、圖14所示分別為交換芯片及光模塊與其替代元件。

圖13 交換芯片及等效電阻芯片對比Fig.13 Comparision of switching chip and equivalent resistance switch chip

圖14 光模塊及等效電阻光模塊對比Fig.14 Comparision of optical module and equivalent resistance optical module

從交換機熱測試結(jié)果分析可知光模塊15 的溫度最高，因此在光模塊15 位置布置1 處熱電偶。待熱電偶布置完畢后，開始對浸沒式液冷環(huán)境下的交換機進行極限功率測試。不斷提高loopback(光模塊替代元件)及TTV(交換芯片替代元件)功率并隨時觀察熱電偶的溫度變化。如圖15所示，經(jīng)過2 h 的測試，TTV 的最高溫度為101.4 ℃(允許最高溫度105℃)，loopback 的溫度為69.3 ℃(允許最高溫度70℃)，已經(jīng)接近于其允許的最高溫度。并對此時的交換機各個元件功率進行記錄如表8所示。交換機在浸沒式液冷條件下的極限功耗可以達到3 837 W，是同等體積下風冷交換機的3.2 倍(上節(jié)熱測試結(jié)果可以看出風冷交換機在1 217.66 W 時部分工件已接近極限溫度，因此，風冷交換機的極限功率約為1 217.66 W)。

圖15 浸沒式液冷環(huán)境下交換機極限功率測試Fig.15 Test the limit power of switch in submerged liquid cooling environment

表8 極限功率下交換機內(nèi)部器件功率統(tǒng)計Tab.8 Power statistics of internal devices of switch under limit power

3 結(jié)論

本文設計搭建了交換機冷卻測試平臺并對風冷和浸沒式液冷條件下交換機內(nèi)部元件進行熱測試，將測試結(jié)果進行對比，結(jié)論如下:

1)浸沒式液冷條件下交換機的元件溫度比相同功率風冷條件下的溫度低約20 ℃。

2)通過使用等效電阻的方式對單位體積的交換機進行極限功率熱測試，結(jié)果表明，浸沒式液冷環(huán)境下單位體積的交換機極限功率約是風冷條件下極限功率的3.2 倍。

3)基于理論分析的浸沒式冷卻仿真模型修正，既可以提升溫度預測的準確性，又可以簡化復雜模型。本文提出的浸沒式液冷條件下交換機內(nèi)復雜元件模型修正的方法可對交換機等IT 設備的熱仿真設計和優(yōu)化提供參考。