基于浸沒式液冷技術(shù)的模塊設(shè)計(jì)與實(shí)現(xiàn)*

付小月，劉 俊，王圣俊，何 霜

（中國(guó)電子科技集團(tuán)公司第三十二研究所，上海 201808）

引 言

隨著各個(gè)領(lǐng)域集成電路國(guó)產(chǎn)化的逐漸深入，自主可控的國(guó)產(chǎn)化芯片的應(yīng)用也越來越多，同時(shí)，在有限空間內(nèi)，高密集的芯片布局和高強(qiáng)度的計(jì)算速度對(duì)更安全可靠、更高效低碳的新型高技術(shù)計(jì)算機(jī)的需求也越來越明顯[1]。在此背景下，傳統(tǒng)的自然散熱和風(fēng)冷散熱模式雖成本低、易維護(hù)，但已滿足不了高密度計(jì)算、高能量利用率的需求。而浸沒式液冷技術(shù)擁有散熱效率高、安全可靠性高、空間利用率高、能量利用率高、噪聲低等諸多優(yōu)點(diǎn)[2]。由此，由液體代替空氣進(jìn)行換熱的新型浸沒式液冷技術(shù)正成為新的熱點(diǎn)。

近年來，國(guó)內(nèi)外諸多學(xué)者通過各種方式（如數(shù)值模擬、理論分析、熱力學(xué)分析和試驗(yàn)等）對(duì)浸沒式液冷設(shè)備展開了研究。文獻(xiàn)[3–5]對(duì)冷卻液、散熱效率進(jìn)行了探討，并與自然散熱、風(fēng)冷散熱等其他冷卻方式進(jìn)行了對(duì)比研究。目前，也有部分商用浸沒式液冷服務(wù)器投入市場(chǎng)應(yīng)用（如浪潮集團(tuán)、阿里巴巴、中科曙光等[6–7]），但基于自主可控的國(guó)產(chǎn)化芯片的加固型浸沒式液冷計(jì)算機(jī)卻較少。

本文綜合考慮加固計(jì)算機(jī)和浸沒式液冷服務(wù)器的特點(diǎn)，設(shè)計(jì)了一款加載國(guó)產(chǎn)處理器芯片的加固型浸沒式液冷模塊。該模塊結(jié)構(gòu)緊湊，拆裝方便，散熱效果好。最終模塊試制成功，滿足項(xiàng)目的設(shè)計(jì)要求，為后續(xù)各領(lǐng)域加固計(jì)算機(jī)的散熱設(shè)計(jì)提供了新的思路和更多的選擇。

1 浸沒式液冷模塊結(jié)構(gòu)設(shè)計(jì)

1.1 模塊結(jié)構(gòu)布局

浸沒式液冷模塊的外形尺寸（不含接插件）為50.8 mm（10HP寬）×242.5 mm（高）×385 mm（深），其結(jié)構(gòu)布局如圖1所示。

圖1 浸沒式液冷模塊結(jié)構(gòu)布局

液冷模塊主要由模塊框架、模塊蓋板、中央處理器（Central Processing Unit, CPU）散熱器、電源芯片散熱器、功能芯片散熱器、模塊主板等組成。模塊框架內(nèi)包含框架結(jié)構(gòu)件、液冷管道、密封條、起拔器、鎖緊條、液冷接頭等。模塊腔體內(nèi)充滿不導(dǎo)電的冷卻液，模塊主板、散熱器及液冷管道均直接浸沒在冷卻液中。冷卻液為下進(jìn)上出結(jié)構(gòu)，電連接器與液冷接頭均安裝在模塊尾部。

1.2 模塊主板結(jié)構(gòu)布局

浸沒式液冷模塊主板選用多層覆銅環(huán)氧板，材料為FR4，在尺寸及重量允許的條件下，增加覆銅率，以提高整板的綜合導(dǎo)熱性能。液冷模塊主板的裸板尺寸（不含電連接器）為337 mm（長(zhǎng)）×190 mm（寬）×2.5 mm（厚）。元器件主要分為CPU（2個(gè)）、內(nèi)存條（8根）、電源芯片區(qū)、功能芯片區(qū)和電連接器等，其中CPU位于主板左側(cè)，內(nèi)存條布局在CPU兩側(cè)，電源芯片集中分布在CPU上方，其余功能芯片布局在主板右側(cè)區(qū)域，如圖2所示。

圖2 模塊主板結(jié)構(gòu)布局

1.3 散熱器設(shè)計(jì)

模塊主板CPU選用國(guó)產(chǎn)申威處理器，功耗較大（單個(gè)功耗為150 W，總功耗為300 W），需單獨(dú)設(shè)計(jì)散熱器來保證芯片的正常工作。考慮熱阻、實(shí)際加工難度、空間限制等因素，本設(shè)計(jì)選用改進(jìn)版配備熱管的均溫板（Vapor Clamber, VC）散熱器。均溫板焊接在散熱器底部，通過導(dǎo)熱墊片與芯片接觸，將芯片產(chǎn)生的熱量快速傳導(dǎo)至散熱器中。3 根熱管焊接在均溫板與散熱肋片之間的主體材料上，可快速將熱量均勻分布到散熱器上，再通過肋片進(jìn)行散熱。此外，增加擋板進(jìn)行導(dǎo)流，以提高散熱效率。如圖3所示，CPU散熱器的尺寸（不含導(dǎo)液接頭）為95 mm（長(zhǎng)）×80 mm（寬）×20 mm（高），肋片厚度為0.3 mm，間距為2.2 mm。散熱器主體材料為鋁合金，熱管材料為CU1020銅，表面進(jìn)行鎳化處理。

圖3 CPU散熱器尺寸圖

由于模塊內(nèi)部空間有限，芯片布局比較密集，再考慮到對(duì)流散熱中散熱面積對(duì)散熱效果的影響以及實(shí)際加工條件等因素，因此增加了電源芯片散熱器和功能芯片散熱器設(shè)計(jì)。散熱器肋片厚度均為2 mm，間距均為5.2 mm。電源芯片散熱器的尺寸為204 mm（長(zhǎng)）×59 mm（寬）×19.4 mm（高）。功能芯片散熱器的尺寸為131 mm（長(zhǎng)）×89 mm（寬）×23.5 mm（高）。

1.4 材料選擇

該浸沒式液冷模塊的冷卻介質(zhì)選用3M公司的Fluorinert FC–40電子氟化液。它是一款低粘度、無色透明的氟素化學(xué)品，具有良好的化學(xué)惰性、電氣絕緣性能、熱傳導(dǎo)性、材料相容性和獨(dú)特的低表面張力，且不可燃，無毒，安全可靠[8]。

模塊所有材料均浸沒在冷卻液中，因此結(jié)構(gòu)件的材料應(yīng)能兼容FC–40冷卻液。由此，浸沒式液冷模塊的材料主要選用鋁合金、不銹鋼、聚氯乙烯等，其中模塊框架結(jié)構(gòu)件、模塊蓋板、電源芯片散熱器以及功能芯片散熱器主要通過金加工成型，選用鋁合金6063，為防腐蝕，材料表面均進(jìn)行了導(dǎo)電氧化處理。緊固件選用不銹鋼材料，液冷管道選用聚氯乙烯材料，密封圈選用三元乙丙橡膠材料，導(dǎo)熱墊片選用0.1 mm厚的高純銦片，放置在散熱器與各芯片之間以提高散熱性能。

1.5 模塊安裝設(shè)計(jì)

模塊安裝機(jī)箱的上蓋板、下蓋板設(shè)計(jì)有模塊的安裝插槽，插槽的主要作用是為機(jī)箱內(nèi)部液冷模塊的安裝提供引導(dǎo)，相鄰兩個(gè)插槽形成的空間用于模塊楔形鎖緊條的鎖緊。模塊后部通過電連接器中的識(shí)別導(dǎo)向裝置以及液冷接頭與背板進(jìn)行安裝，以保證模塊的正確插合。模塊安裝和拆卸時(shí)，插槽前端的卡槽和起拔器提供助插和助拔，實(shí)現(xiàn)模塊的快速插拔功能，如圖4所示。

圖4 液冷模塊安裝示意圖

2 浸沒式液冷模塊熱設(shè)計(jì)

2.1 熱傳導(dǎo)設(shè)計(jì)

模塊主板通過螺釘固定在充滿冷卻液的液冷模塊結(jié)構(gòu)件中，發(fā)熱器件產(chǎn)生的熱量通過冷卻液傳導(dǎo)至模塊結(jié)構(gòu)件上。模塊插入液冷機(jī)箱后，鎖緊條擰緊，模塊導(dǎo)向肋條與液冷機(jī)箱上下蓋板的插槽導(dǎo)軌緊密貼合，熱量通過導(dǎo)向肋條傳遞至上下蓋板，經(jīng)傳導(dǎo)和輻射帶走熱量。

2.2 強(qiáng)迫對(duì)流設(shè)計(jì)

由于CPU芯片功耗最大，因此在模塊底部設(shè)計(jì)了一段液冷管道，與CPU散熱器連接。在外部循環(huán)泵的作用下，強(qiáng)制冷的電子氟化液優(yōu)先通過液冷模塊下端的液冷接頭進(jìn)入液冷管道中，從液冷管道分流后流向兩個(gè)CPU散熱器，并依次流向電源芯片散熱器和功能芯片散熱器。發(fā)熱器件產(chǎn)生的熱量先傳導(dǎo)至散熱器的肋片上，通過電子氟化液循環(huán)流動(dòng)，對(duì)流換熱帶走熱量，最后熱的電子氟化液通過液冷模塊上端的液冷接頭流出，進(jìn)入外部冷卻系統(tǒng)進(jìn)行降溫，如圖5所示。由此，在循環(huán)泵的作用下實(shí)現(xiàn)整個(gè)液冷系統(tǒng)的循環(huán)運(yùn)行。

3 液冷模塊熱仿真分析

浸沒式液冷模塊工作時(shí)，主板上的器件會(huì)產(chǎn)生大量熱量，若無有效的散熱手段將熱量帶走，器件溫度就會(huì)不斷上升，導(dǎo)致芯片性能下降甚至受損。對(duì)浸沒式液冷模塊進(jìn)行模擬仿真，一方面可保證器件工作在合適的溫度區(qū)間，另一方面可為后續(xù)設(shè)計(jì)改進(jìn)工作提供參考。

3.1 仿真參數(shù)

模塊的總功耗為500 W。電子氟化液FC–40的密度為1 855 kg/m3，比熱為1 100 J/(kg·°C)，導(dǎo)熱系數(shù)為0.065 W/(m·K)。給定的冷卻液進(jìn)口流量為5.88 L/min，給定的進(jìn)口溫度為55°C。浸沒式液冷模塊主體框架的材料為鋁合金6063，其導(dǎo)熱系數(shù)為202 W/(m·K)。內(nèi)存條材料的導(dǎo)熱系數(shù)與模塊主板的導(dǎo)熱系數(shù)接近，其余核心發(fā)熱器件的材料為陶瓷，其導(dǎo)熱系數(shù)為6.5 W/(m·K)。給定的模塊主板材料的導(dǎo)熱系數(shù)為0.173 W/(m·K)，各向同性。忽略散熱器與申威處理器之間的接觸熱阻[9]。

3.2 仿真模型建立

將液冷模塊模型導(dǎo)入仿真軟件中，在不影響散熱計(jì)算的前提下簡(jiǎn)化模塊模型[10]。刪除尺寸較小的孔和圓角（如螺釘孔等），去除所有與熱分析無關(guān)的連接件（如螺釘、電連接器、線纜等），去除對(duì)仿真結(jié)果影響較小的無功耗器件、模塊主板上的各種修飾特征等，盡可能采用規(guī)則的結(jié)構(gòu)形狀進(jìn)行等效。簡(jiǎn)化后的模塊模型如圖6所示。

圖6 液冷模塊熱仿真模型圖

3.3 仿真結(jié)果

浸沒式液冷模塊內(nèi)冷卻液流速分布云圖如圖7所示，主板溫度云圖如圖8所示。

圖7 液冷模塊內(nèi)冷卻液流速分布云圖

圖8 液冷模塊主板溫度云圖

結(jié)果表明，CPU散熱器肋片處流速較大，能夠快速帶走CPU產(chǎn)生的熱量，其余散熱器肋片之間均有冷卻液流過，帶走各芯片產(chǎn)生的熱量，模塊主板布局以及散熱器肋片結(jié)構(gòu)設(shè)計(jì)合理。液冷模塊內(nèi)各芯片溫度小于73.85°C，CPU芯片溫度約為65°C，均低于工作允許溫度，滿足熱設(shè)計(jì)要求，能夠保證模塊長(zhǎng)期可靠地工作。

仿真計(jì)算中浸沒式液冷模塊內(nèi)的各個(gè)器件選用的參數(shù)均為其理論最大熱耗參數(shù)，且仿真中的變量設(shè)置均偏保守，液冷接頭使用的也是最大工作流量，而在實(shí)際使用過程中，元器件一般不會(huì)達(dá)到其理論的最高功耗，冷卻液流量也不會(huì)達(dá)到液冷接頭的最大工作流量。因此仿真計(jì)算結(jié)果中元器件的最高結(jié)溫會(huì)比實(shí)際值高，但仿真計(jì)算結(jié)果中模塊主板的熱耗分布還是能夠真實(shí)地反應(yīng)各器件的工作狀態(tài)?；谠摲抡嬗?jì)算結(jié)果，后續(xù)可針對(duì)性地采取一系列熱處理措施，以提高整機(jī)的可靠性。

4 設(shè)計(jì)實(shí)現(xiàn)

考慮實(shí)際使用環(huán)境以及為了在調(diào)試狀態(tài)下更好地觀測(cè)模塊內(nèi)部冷卻液和各芯片的工作情況，在不影響密封性以及安全性的條件下，設(shè)計(jì)了透明亞克力板和鋁合金材質(zhì)的兩款液冷模塊蓋板。安裝透明模塊蓋板的浸沒式液冷模塊在不含冷卻液時(shí)的實(shí)際質(zhì)量為6.8 kg，含冷卻液時(shí)的實(shí)際質(zhì)量為9.72 kg；安裝鋁合金材質(zhì)模塊蓋板的浸沒式液冷模塊在不含冷卻液時(shí)的實(shí)際質(zhì)量為7.46 kg，含冷卻液時(shí)的實(shí)際質(zhì)量為10.38 kg，滿足設(shè)計(jì)需求。

浸沒式液冷模塊實(shí)際調(diào)試運(yùn)行時(shí)的總功耗約為120 W，在常溫條件下，沒有通冷卻液時(shí)，模塊自然散熱，調(diào)試運(yùn)行時(shí)，CPU芯片的溫度約為84.4°C。將模塊灌滿冷卻液，開啟循環(huán)泵，給定的進(jìn)液口流量約為3.9 L/min。冷卻液循環(huán)流動(dòng)后，模塊調(diào)試運(yùn)行時(shí)，冷卻液進(jìn)液溫度為35.7°C，出液溫度為37.2°C，溫升為1.5°C。同時(shí)，液冷模塊運(yùn)行時(shí)密封性良好，無滲液現(xiàn)象。此外，對(duì)浸沒式液冷模塊的功能、性能進(jìn)行了相關(guān)驗(yàn)證測(cè)試，均能正常通信并達(dá)到一定的速率，滿足項(xiàng)目的各項(xiàng)指標(biāo)要求。

5 結(jié)束語(yǔ)

本文選用新型浸沒式液冷技術(shù)，對(duì)國(guó)產(chǎn)化加固型模塊進(jìn)行了結(jié)構(gòu)設(shè)計(jì)。該模塊結(jié)構(gòu)緊湊，對(duì)外接口整齊明了，能量利用率高，拆裝方便。在此基礎(chǔ)上進(jìn)行了熱仿真分析，并試制樣機(jī)進(jìn)行了驗(yàn)證測(cè)試。測(cè)試結(jié)果表明，其各項(xiàng)指標(biāo)均能滿足項(xiàng)目需求。該研究可為后續(xù)浸沒式液冷技術(shù)在國(guó)產(chǎn)化加固計(jì)算機(jī)領(lǐng)域的推廣應(yīng)用提供參考。后續(xù)將對(duì)模塊進(jìn)行輕量化設(shè)計(jì)，并對(duì)模塊右側(cè)功能芯片區(qū)的散熱方式進(jìn)行優(yōu)化。同時(shí)也將對(duì)其他國(guó)產(chǎn)化處理器在該平臺(tái)上的應(yīng)用做進(jìn)一步研究。