某液冷服務器性能測試臺的液冷系統(tǒng)設計

肖新文 鄭偉堅 曾春利

（1.世圖茲空調技術服務（上海）有限公司 上海 201108；2.世圖茲空調技術服務（上海）有限公司廣州分公司 廣州 510610）

0 引言

產(chǎn)業(yè)、建筑及交通分別消耗全球三分之一左右的能源，主要溫室氣體碳排放也在這個比例，具體各國因發(fā)展差異存在不同[1]。碳中和主要目的是減少大氣圈中“黑碳”含量，實現(xiàn)綠色地球碳循環(huán)平衡，碳減排是實現(xiàn)碳中和的主要途徑之一[2]。碳減排主要包括節(jié)約能源和提高能效，作為能耗大戶，數(shù)據(jù)中心節(jié)能減排，提高制冷散熱系統(tǒng)效率對于實現(xiàn)碳中和具有積極意義。事實上，數(shù)據(jù)中心行業(yè)一直在節(jié)能減排上積極探索：氣流組織解決方案由普通上下送風及行間水平送風[3]、冷熱池通道封閉[4,5]向機柜級冷卻[6]發(fā)展；而制冷方式從機房精密空調[7]、冷卻背板[8]、空調箱及風墻[9,10]向液冷[11,12]發(fā)展。直接接觸冷板式液冷可靠性及維護便利性均優(yōu)于其他液冷系統(tǒng)[13]，液冷輔助精密空調風冷散熱系統(tǒng)的部分電能使用效率（partial power usage effectiveness，pPUE）值低且全國各地都適用[14]，若與動態(tài)自然冷卻空調系統(tǒng)等高效風冷散熱系統(tǒng)搭配則該散熱系統(tǒng)的pPUE 值將進一步降低[15]，而且易于實現(xiàn)熱回收，具有良好的熱回收效益[16]，所以直接接觸冷板式液冷得到越來越多數(shù)據(jù)中心的青睞，液冷服務器的運用越來越多。為了測試冷板式液冷服務器的性能，作為液冷服務器的生產(chǎn)廠商建立相應的性能測試臺成為一個亟需解決的課題。筆者曾參與某電腦廠的液冷性能測試臺的規(guī)劃設計及建設，目前該測試臺已經(jīng)通過驗收，投入運行且狀況良好，本文以此項目為例介紹冷板式液冷的系統(tǒng)設計。

1 液冷服務器液冷系統(tǒng)及液冷服務器性能測試臺散熱系統(tǒng)簡述

1.1 液冷服務器液冷系統(tǒng)

目前數(shù)據(jù)中心采用的直接接觸冷板式液冷系統(tǒng)為二次側集中循環(huán)式系統(tǒng)，其架構如圖1 所示，由一次側設備與二次側設備組成。一次側主要包括散熱設備（冷水機組、干冷器或者閉式冷卻塔）、循環(huán)泵及管路系統(tǒng)等輔件，二次側主要包括機柜級分集水器（通常垂直安裝）、服務器散熱冷板（服務器廠家配套提供）及管路等輔件。一次側及二次側的換熱在換熱模塊中進行。

圖1 二次側集中循環(huán)直接接觸冷板式液冷系統(tǒng)架構簡圖Fig.1 The schematic diagram of the secondary side centralized pumping cold plate direct contact liquid cooling system

1.2 液冷服務器性能測試臺散熱系統(tǒng)

服務器的性能測試是通過模擬按照預定的規(guī)則對其訪問并提交服務請求，通過監(jiān)測并分析服務器實時的相關運行數(shù)據(jù)，從而判定服務器的性能是否達到設計要求或者發(fā)現(xiàn)服務器的性能瓶頸，通常需要綜合硬件、操作系統(tǒng)及應用程序等多方面來定位。服務器生產(chǎn)廠家通常關注諸如CPU 的計算能力、內存的延時及速率、I/O 的讀寫能力及網(wǎng)絡的帶寬等硬件的性能指標。為了準確了解服務器的技術指標，就需要在模擬的工作環(huán)境中進行性能測試。直接接觸冷板式液冷服務器除了部分元器件風冷散熱外，主要通過液冷冷卻系統(tǒng)散熱，故應為測試臺設計符合實際運行狀態(tài)的散熱系統(tǒng)。

2 系統(tǒng)設計

2.1 項目簡述

該項目位于佛山順德，共14 個機柜，布置在液冷服務器生產(chǎn)車間的測試區(qū)開放空間。每個機柜可測試6 組服務器，合計可同時測試84 組服務器。通常，除冷板散熱外液冷服務器尚有約20%～35%的風冷散熱量[17]，由于測試區(qū)配置了空調系統(tǒng)，且該空調系統(tǒng)涵蓋了液冷服務器的風冷散熱負荷，故該性能測試臺僅需考慮液冷冷卻系統(tǒng)。

2.2 設計室外參數(shù)及負荷的確定

項目地點佛山除與廣州的球面距離相差為27km，海拔高差35m 外[18]，其他室外氣象參數(shù)差異不大，故參考如表1 所示的廣州室外氣象參數(shù)[19]作為系統(tǒng)設計及設備選型依據(jù)。每臺服務器芯片液冷散熱量為1091W，每組有4 臺服務器節(jié)點，84組服務器的合計散熱負荷為366.6kW。

表1 設計用室外氣象參數(shù)Table 1 Outdoor meteorological parameters for design

2.3 冷源選擇

冷板式液冷系統(tǒng)可以選擇冷水機組、干冷器及冷卻塔作為冷源[20]，表2詳細列出了風冷冷水機組、干冷器及閉式冷卻塔3種冷源的性能對比。盡管風冷冷水機組在數(shù)據(jù)中心有著廣泛應用，且在低溫啟動、全年制冷、自然冷卻及蒸發(fā)冷卻技術上取得了長足的發(fā)展[21]，但從表2可以看出，除可提供較低的供液溫度外，風冷冷水機組的其他性能均差，單純液冷系統(tǒng)不宜選取該冷源方式，而水冷冷水機組系統(tǒng)復雜，該項目冷量負載不大，水冷冷水機組亦無性能的優(yōu)勢，也不合適。閉式冷卻塔的綜合性能優(yōu)良，佛山地處華南地區(qū)，水資源十分豐富，故本項目采用閉式冷卻塔作為冷源。

表2 3種冷源性能對比Table 2 The performance comparison of three cold sources

2.4 循環(huán)冷卻液

佛山順德位于北緯22.4°，在廣州市的南部，歷年極端溫度不低于0℃，故一次側循環(huán)水中不需要加防凍劑，但是水質應符合《數(shù)據(jù)通信設備中心液體冷卻指南》第5.1.1.4節(jié)的要求[23]，本例采用純凈水。若項目地址的極端溫度低于0℃，則應在一次側循環(huán)水中加入對應濃度的防凍劑。液冷服務器在全球各地運輸，為防止運輸過程中殘留在服務器中的冷卻液結冰漲管，依據(jù)液冷服務器產(chǎn)品要求，二次側采用預混合有機酸型冷卻液PG25，該冷卻液既可實現(xiàn)運輸途中的防凍又可確保運行期間的防腐，保證系統(tǒng)長期穩(wěn)定運行。

2.5 大溫差散熱

對于水系統(tǒng)而言，合適的供回水（液）溫差有利于降低設備初投資及系統(tǒng)運行費用，大溫差技術是一項具有明顯經(jīng)濟效益的技術措施[24]。對于散熱冷板而言，大溫差措施的技術瓶頸在于其允許的最高進口溫度及最小流量。本例服務器冷板的設計入口溫度為40℃，確保二次側14個機柜的最小流量為21.9m3/h，根據(jù)二次側散熱負載依據(jù)式（1）可計算出二次側冷板可以承受的溫差達15℃。

式中，Qs為散熱量，kW；c為冷卻液的比熱容，kJ/（kg·℃）；m為冷卻液的質量流量，kg/s；Δt為冷卻液進出冷板的溫差，℃。

實現(xiàn)一次側冷卻塔的大溫差可以從提高回水溫度及縮小逼近度兩方面著手，達到高溫低流、使冷卻塔更熱的目的。提高回水溫度，加大進出水溫差，冷卻系統(tǒng)的綜合效率將提高[25]。在一定范圍內，溫差越大則冷卻塔的冷卻能力越大，既可降低冷卻塔及管路的初投資，又可以節(jié)省循環(huán)水泵的運行費用；當然溫差也不能無限加大，過小的流量也會影響換熱效率反而降低散熱量。若過分縮小逼近度，降低出水溫度而加大溫差則會造成冷卻塔尺寸加大、風機功耗增加，初投資與運行費用均會提高[26]，故在出水溫度及散熱量滿足使用的前提下盡可能增大逼近度。而且，隨著逼近度的增大，相同設計冷卻能力的冷卻溫差隨之增大，但閉式冷卻塔通常無統(tǒng)一性能曲線組，需要生產(chǎn)廠商通過試驗得出[27]。故閉式冷卻塔的逼近度及溫差特性因廠家而異。

溫差加大，系統(tǒng)流量降低，設備及管路系統(tǒng)的壓降都降低，有利于循環(huán)泵的節(jié)能，但一、二次側實現(xiàn)大溫差運行均與換熱模塊中板式換熱器的性能密切相關。板式換熱器的傳熱計算式如式（2）所示：

式中，Qc為傳熱量，kW；K為傳熱系數(shù)，kW/(m2·℃)；F為傳熱面積，m2；Δtm為換熱平均溫差，其計算式如式（3）所示：

式中，Δtmax為換熱面兩端溫差的大值，℃；Δtmin為換熱面兩端溫差的小值，℃。在工程上，當時，可以直接采用式（4）的算術平均溫差替代。

由式（3）及式（4）可知，增大換熱流體的溫差，換熱平均溫差Δtm有多種變化可能，且此時流量變小，傳熱系數(shù)K值變小，由式（2）可知傳熱量也會發(fā)生變化，故大溫差設計需要進一步校核板式換熱器的換熱量，確保換熱量滿足設計要求。理論上，板式換熱器的傳熱溫差Δtm可以達到1℃，但是過小的傳熱溫差會造成板換配置過大，尺寸及初投資均會增加。

依據(jù)板式換熱器及閉式冷卻塔的產(chǎn)品性能，本項目閉式冷卻塔的設計逼近度為7℃，出水溫度為35℃，板式換熱器換熱溫差為Δtm為6.2℃，一次側出水溫度為47.5℃，一次側進出水溫差為12.5℃。本項目的散熱溫差流程圖如圖2所示，通過擴大冷卻塔的逼近度、提高冷卻塔的出水溫度、增大板式換熱器的傳熱溫差等一系列的技術措施實現(xiàn)了一、二側的大溫差設計。

圖2 散熱溫差流程圖Fig.2 The flow chart of the heat dissipation temperature differences

2.6 設備選型

在數(shù)據(jù)中心工程上冷卻塔應按照極端溫度進行選型[28]，但性能測試臺并不需要時刻保持滿載，且不需要全年8760h 不間斷連續(xù)運行，但應考慮濕熱空氣回流需在當?shù)叵募臼彝庠O計濕球溫度基礎上適當增加0.2～0.5℃的修正值[29]，本項目按照修正濕球溫度28℃進行選型。本項目并未設置備用機組，但是一次側循環(huán)泵及二次循環(huán)泵（內置于換熱模塊中）均采用一用一備的設計以提高系統(tǒng)可靠性，該測試臺的液冷系統(tǒng)主要設備如表3 所示。液冷散熱系統(tǒng)的年pPUE值可以按照式（5）計算得出[30,31]：

式中，ELC為液冷系統(tǒng)全年總能耗；EIT為IT設備全年總能耗；PLC為某一室外工況點液冷系統(tǒng)的總功率，kW；PIT為某一室外工況點IT設備的總功率，kW；Δt為某一室外工況點的全年小時數(shù)，h。依據(jù)式（5）可將設計工況點的滿負載pPUEd值簡化成式（6）進行計算：

表3 液冷系統(tǒng)主要設備表Table 3 The main equipment list of the liquid cooling system

換熱模塊作為該系統(tǒng)的核心部件，如圖3 所示，其主要由板式換熱器、一次側電動比例三通閥、二次側循環(huán)泵、膨脹罐、安全閥、進出水管專用接頭、控制器及其面板等組成，通過對各個部件的精確控制確保二次側出液溫度恒定。

圖3 換熱模塊機組結構示意圖Fig.3 the structural diagram of the heat exchange module

2.7 系統(tǒng)流程

該液冷系統(tǒng)流程示意圖如圖4 所示，閉式冷卻塔與換熱模塊均只有1 臺設備，管路系統(tǒng)與設備對應，無需配置雙管路或者環(huán)路系統(tǒng)。一次側只有1臺換熱末端無需考慮同異程問題，而二次側有多個末端，且分布生產(chǎn)車間的各個不同區(qū)域，為了確保各個末端設計水阻力基本一致，采用同程系統(tǒng)設計。一次側管路采用不銹鋼管，由于二次側管路布置在已經(jīng)開展生產(chǎn)的廠區(qū)內部，為了方便施工且盡量降低連接漏點風險，采用熱熔PPR 管。

圖4 液冷系統(tǒng)流程示意圖Fig.4 The principle diagram of the liquid cooling system

3 使用要點與設計反思

（1）由于系統(tǒng)測試后部分冷卻液會殘留在服務器內，二次側系統(tǒng)的冷卻液會逐漸變少，應通過換熱模塊自帶的控制系統(tǒng)實時監(jiān)測，及時補液。

（2）該液冷系統(tǒng)存在經(jīng)常開啟和關閉的間斷運行情況，測試前必須確保換熱模塊及一次側散熱系統(tǒng)開啟且已正常運行。

（3）長期停機不用期間仍應對冷卻液進行每年不少于兩次的質量監(jiān)測確保其成分符合要求。

（4）本例中不具備快速接頭插拔次數(shù)的自動計數(shù)功能，須測試人員手動計數(shù)或者按照每天平均測試量估算，后續(xù)測試臺項目應自動統(tǒng)計插拔次數(shù)以監(jiān)控其使用周期及壽命。

（5）本例中的冷卻塔及換熱器均采用已指定的業(yè)內知名品牌廠家數(shù)據(jù)作為設計依據(jù)，除考慮為應對將來可能增加的負載，冷卻塔稍留設計余量外，并未另行考慮設計余量。事實上，不同廠家的計算數(shù)據(jù)存在差異，為降低計算數(shù)據(jù)差異對于設備招標選型的影響，宜考慮10%～20%左右的安全余量[32]。

（6）本例以冷板測試工況的入口溫度與最小流量確定二次側的溫差，充分利用換熱模塊中板式換熱器的換熱能力確定一次側的溫差，實現(xiàn)了液冷系統(tǒng)的大溫差節(jié)能設計。對液冷系統(tǒng)的大溫差技術進行綜合效益評價，探尋不同規(guī)模液冷項目的最佳溫差分配方案將是接下來研究的重要課題。

4 結語

液冷作為工業(yè)和信息化部、國家機關事務管理局及國家能源局三部委倡導推廣的新興綠色技術產(chǎn)品[33]，將在數(shù)據(jù)中心行業(yè)取得長足的發(fā)展，但液冷項目的設計應用仍然有諸多問題需要進一步深入研究及實踐。盡管液冷服務器性能測試臺液冷系統(tǒng)與數(shù)據(jù)中心的具體應用略有差異，但系統(tǒng)設計原則基本一致。筆者以液冷服務器性能測試臺項目為例分享相關經(jīng)驗，以期取得拋磚引玉的作用。