數(shù)據(jù)中心機柜級冷卻數(shù)值模擬及空調(diào)容災(zāi)分析*

黃志林，董凱軍，蘇 林，劉騰慶

（1. 中國科學(xué)院廣州能源研究所，廣州 510650；2. 中國科學(xué)院可再生能源重點實驗室，廣州 510650；3. 廣東省新能源和可再生能源研究開發(fā)與應(yīng)用重點實驗室，廣州 510650；4. 中國科學(xué)院大學(xué)，北京 100049）

0 引 言

隨著云計算技術(shù)、通信業(yè)務(wù)和互聯(lián)網(wǎng)數(shù)據(jù)業(yè)務(wù)的快速發(fā)展，建有大量服務(wù)器等設(shè)備的數(shù)據(jù)中心數(shù)量和規(guī)模急劇增長。服務(wù)器集成化、運行速度和效率的提升使得數(shù)據(jù)中心運行功率和散熱負荷不斷上升。據(jù)統(tǒng)計，數(shù)據(jù)中心單位面積功率密度從1987年的108 ～ 162 W/m2增長到如今的450 ～ 1 285 W/m2[1]，單機柜功率更是增加到20 kW以上[2-3]。為保證數(shù)據(jù)中心全天候安全高效運行，對空調(diào)制冷系統(tǒng)及氣流組織應(yīng)有更高的要求。在氣流組織方面，在采用風(fēng)冷形式下，如何有效地在數(shù)據(jù)中心各設(shè)備之間進行冷量輸送以及時將其熱量帶走是我們首先重視的問題。

目前數(shù)據(jù)中心常見的氣流組織形式主要有冷通道封閉地板下送風(fēng)和行級制冷送風(fēng)形式，是目前數(shù)據(jù)中心氣流組織模擬較多研究的氣流組織形式[4-9]。隨著機房單位面積功耗的增加，機柜級冷卻和行間級制冷將會替代冷通道封閉地板送風(fēng)形式成為主流[1]。這一方面是由于機柜級冷卻采用模塊化設(shè)計，能夠鎖定相應(yīng)機柜的功率密度，提供更為合理的氣流分配，從而讓機房內(nèi)的冷量更好地被利用，使設(shè)備冷卻效果更佳；另一方面，相較于冷通道封閉地板下送風(fēng)形式和行級空調(diào)制冷形式，在機柜級冷卻形勢下機柜擺放位置較為靈活，受房間格局的影響較小，靈活性強。

機柜級冷卻也同樣存在著自身的缺陷。首先，采用模塊化設(shè)置情況下，每臺空調(diào)與其對應(yīng)的機架被單獨設(shè)置與外界隔開，當(dāng)模塊A內(nèi)設(shè)備低負荷運行而模塊B內(nèi)高負荷運行時，容易造成模塊A內(nèi)設(shè)備過度冷卻而B內(nèi)則冷卻不足，從而造成冷量資源浪費；其次，為保證設(shè)備長時間穩(wěn)定可靠的運行，即確保機房的可用性，機柜級冷卻架構(gòu)通常需要保證每個機柜2N制冷量，即針對機柜級冷卻系統(tǒng)中每一個模塊額外配置一臺備份空調(diào)，而這將大大提高冷卻系統(tǒng)的初始投資，是不太實際的做法。例如，相較于公共回風(fēng)端采用N+1制冷共享模式的行級制冷架構(gòu)，帶有冗余的機柜級冷卻系統(tǒng)的初始投資要高將近一倍。目前針對機柜級冷卻系統(tǒng)，較為常見的是整個機房采用N+X（X＜N）的冗余配置，比如中國科學(xué)技術(shù)大學(xué)超算中心的機房采用的是房間級備份式，即在機房內(nèi)額外配置兩臺或多臺房間級精密空調(diào)作為備份空調(diào)應(yīng)對空調(diào)故障的情況，采用該方案能夠短時間內(nèi)保證IT設(shè)備安全運行，但由于房間級備份冷卻形式下故障空調(diào)附近機柜的效率較低，冷卻效果較差，長時間運行會導(dǎo)致機柜出現(xiàn)局部熱點。

針對機柜級冷卻形式存在的缺陷，本文結(jié)合行級空調(diào)制冷的特點提出一種行級備份式容災(zāi)方案，并通過計算流體力學(xué)（computer fluid dynamics,CFD）軟件模擬在機房內(nèi)氣流組織、IT設(shè)備冷卻效果等方面與房間級備份式容災(zāi)方案進行對比。

1 機柜級冷卻行級備份式容災(zāi)方案

圖1為數(shù)據(jù)中心機柜級冷卻行級備份式容災(zāi)方案示意圖。圖1b中3個制冷模塊并排安裝在一起，在模塊1旁邊配有備份空調(diào)，不同模塊之間、模塊1與備份空調(diào)之間的送風(fēng)空間和回風(fēng)空間通過可自動調(diào)節(jié)的百葉窗進行連接。當(dāng)各個模塊均正常運行時，百葉窗處于完全關(guān)閉狀態(tài)，備份空調(diào)不工作，保證機柜級冷卻系統(tǒng)高效運行。當(dāng)某個模塊的空調(diào)出現(xiàn)故障無法提供足夠的冷量給其相鄰的機架時，送風(fēng)區(qū)和回風(fēng)區(qū)的百葉窗全部打開，同時備份空調(diào)開始工作，這種情況下三個機柜級冷卻架構(gòu)的模塊就自動“退化”為行級制冷架構(gòu)，從而保證了所有模塊中的機柜信息設(shè)備能夠安全穩(wěn)定運行。采用上述的解決方案，一方面做到了N+1的冗余設(shè)置，在保證數(shù)據(jù)中心機房內(nèi) IT設(shè)備安全穩(wěn)定運行的情況下，能夠有效降低數(shù)據(jù)中心機柜級冷卻架構(gòu)下空調(diào)系統(tǒng)的初始投資，同時在出現(xiàn)空調(diào)故障或其他原因引起的冷量分配不均時，該解決方案能夠?qū)崿F(xiàn)冷量共享，減少冷氣資源浪費，節(jié)約能源。

圖1 行級備份式容災(zāi)方案示意圖Fig. 1 Diagram of the row-level backup scheme

2 不同容災(zāi)方案的機柜級冷卻系統(tǒng)模擬對比

根據(jù)模擬實際需求本文建立了兩個數(shù)據(jù)中心機房模型，其中模型1的房間尺寸為9.5 m × 3.3 m ×3.4 m，模型 2 的房間尺寸為 16.2 m × 3.3 m × 3.4 m。模型1機房內(nèi)有4臺機柜級冷卻空調(diào)和8個機架。模型2中則有9臺機柜級冷卻空調(diào)和18個機架。根據(jù)對比內(nèi)容，每個模型均有方案1和方案2兩套子模型。方案1中備份空調(diào)為房間級精密空調(diào)，方案2中則是機柜級冷卻空調(diào)。方案 1中機柜級空調(diào)和機架用隔板包圍住，備份空調(diào)與其他設(shè)備隔開（正常工作下）；方案2中備份空調(diào)緊靠機柜并用隔板包圍住。根據(jù)《中國電信數(shù)據(jù)設(shè)備用網(wǎng)絡(luò)機柜技術(shù)規(guī)范》確定機柜幾何尺寸及其內(nèi)部設(shè)備放置。模型 1中單機柜功率分別從4 kW設(shè)置到20 kW，遞增間隔為2 kW，機柜級冷卻空調(diào)功率設(shè)置為40 kW，送風(fēng)溫度18℃，故障空調(diào)位置設(shè)置在距離備份空調(diào)最遠處，備份空調(diào)功率為40 kW，送風(fēng)溫度為18℃；模型2中單機柜功率設(shè)置為10 kW，機柜級冷卻空調(diào)功率為20 kW，送風(fēng)溫度18℃，故障的位置則從距離備份空調(diào)最近到最遠依次設(shè)置，備份空調(diào)功率為20 kW，送風(fēng)溫度18℃。其中空調(diào)送風(fēng)量隨單機柜功率增加而增加；除送風(fēng)、回風(fēng)位置有差別之外，房間級備份空調(diào)和機柜級備份空調(diào)的參數(shù)均相同。模型1和模型2的示意如圖2 ～ 圖5所示。

圖2 CFD模型1建模示意圖Fig. 2 The modeling diagram of model 1

圖3 CFD模型2建模示意圖Fig. 3 The modeling diagram of model 2

圖4 模型1中方案1和方案2故障空調(diào)位置示意圖Fig. 4 Fault AD position of scheme 1 and scheme 2 in model 1

圖5 模型2中方案1和方案2故障空調(diào)位置Fig. 5 Fault AD position of scheme 1 and scheme 2 in model 2

為便于數(shù)值模擬，對上述物理模型作了如下假設(shè)：

①由于設(shè)備啟用受到用戶使用隨機性的影響造成機架內(nèi)服務(wù)器的熱流密度隨時間變化，模型將熱流密度簡化為恒定值；

②忽略房間壁面吸熱；

③機架內(nèi)服務(wù)器通常根據(jù)實際情況進行設(shè)計安裝，但考慮到模型模擬的網(wǎng)格質(zhì)量及計算速度，模型中對機架內(nèi)服務(wù)器進行統(tǒng)一布置，對模型做出簡化設(shè)置設(shè)備表面的平均熱流密度，忽略服務(wù)器散熱的不均勻性；

④對通信機房內(nèi)氣體的流動可視為恒定流[10-13]；

⑤機房上部通常安裝橋架布放電纜，但由于各個機房情況不同，為使模擬具有普遍性意義，對模型進行簡化，忽略橋架及電纜對氣流組織的影響[7-8]。

本文對機房內(nèi)熱環(huán)境進行包括溫度場的數(shù)值模擬。機房具有門氣密性良好、無外窗等特點，并且機房內(nèi)空氣氣流流動屬于大空間流動問題，因此選用針對高雷諾數(shù)的湍流計算標(biāo)準(zhǔn)模型k-ε模型。本文所用軟件本身內(nèi)置默認計算模型即為標(biāo)準(zhǔn)k-ε模型，邊界條件設(shè)置如下：

①選用寬600 mm、深1 200 mm和高2 200 mm的42U標(biāo)準(zhǔn)機柜，單機柜內(nèi)放置2U服務(wù)器，其余位置放置盲板以防止熱空氣回流；

②設(shè)定空調(diào)送風(fēng)溫度為18℃；

③氣流組織形式為機柜級空調(diào)水平送風(fēng)，每個模塊的送風(fēng)空間大小和回風(fēng)空間大小相同，均為寬1 500 mm、深300 mm和高2 200 mm；

④房間級備份空調(diào)送風(fēng)方式為下送風(fēng)上回風(fēng)。

為更精確地模擬機房內(nèi)氣流組織，在網(wǎng)格劃分上限制最大網(wǎng)格尺寸為0.05 m。軟件選用已標(biāo)定的殘差來控制求解方程的收斂精度，模擬時各計算殘差曲線都收斂于1，代表各參數(shù)數(shù)值趨于穩(wěn)定[6]。

3 模擬結(jié)果對比分析

3.1 單機柜同功率下兩種冗余方案模擬結(jié)果對比

以單機柜功率為自變量，故障空調(diào)相鄰機柜的平均入風(fēng)溫度和平均出風(fēng)溫度為應(yīng)變量作圖得到圖6。從圖中可以看出，隨著單機柜功率的增加，方案1的機柜平均入風(fēng)溫度和平均出風(fēng)溫度都在升高，其中平均入風(fēng)溫度從單機柜功率4 kW時的20℃升至單機柜功率20 kW時的33.8℃，平均出風(fēng)溫度從4 kW時的34.8℃升至20 kW時的48.2℃，平均入風(fēng)溫度和平均出風(fēng)溫度與單機柜功率均成線性關(guān)系，且平均入風(fēng)溫度和平均出風(fēng)溫度相差近15℃，這是由于故障空調(diào)距離備份空調(diào)過遠，送風(fēng)余壓和風(fēng)量不足造成進入機柜內(nèi)部的氣流減少；方案2中機柜平均入風(fēng)溫度和平均出風(fēng)溫度隨著單機柜功率的增加幾乎無變化，其中平均入風(fēng)溫度一直保持在20℃附近，平均出風(fēng)溫度保持在27℃附近，入風(fēng)和出風(fēng)平均溫差約為7℃。圖7給出了單機柜功率8 kW、14 kW和20 kW下兩種方案氣流溫度截面圖（垂直高度1 m）。

圖6 不同機柜功率兩種方案下機柜氣流溫度對比Fig. 6 Airflow temperature comparison of cabinets under different power conditions in the two schemes

圖7 兩種方案氣流溫度截面圖Fig. 7 Airflow temperature section diagram in the two schemes

兩種方案中空調(diào)送風(fēng)溫度均設(shè)置為18℃，因此綜上對比可知，采用房間級空調(diào)作為備份空調(diào)的方案1中，同樣因為故障空調(diào)距離備份空調(diào)過遠，送風(fēng)余壓和風(fēng)量不足造成進入機柜內(nèi)部的氣流減少，導(dǎo)致機柜平均入風(fēng)溫度與空調(diào)送風(fēng)溫度差值、機柜平均入風(fēng)溫度和平均出風(fēng)溫度均比方案2中的差值更大，這說明當(dāng)采用房間級空調(diào)作為備份空調(diào)應(yīng)對空調(diào)故障時，機房內(nèi)氣流組織較差，空調(diào)送風(fēng)和空調(diào)回風(fēng)、機柜入風(fēng)和機柜回風(fēng)之間存在著冷熱交換，從而降低了冷卻效率。當(dāng)單機柜功率增加至10 kW以上時，方案1中故障空調(diào)相鄰的機柜入風(fēng)溫度已經(jīng)超過標(biāo)準(zhǔn)上限，對IT設(shè)備的安全和性能造成影響。

圖8 單機柜功率10 kW下機柜垂直方向服務(wù)器氣流溫度分布Fig. 8 Airflow distribution in the vertical direction of the cabinets

以故障空調(diào)相鄰的兩個機柜為研究對象，根據(jù)模擬結(jié)果作出機柜垂直方向服務(wù)器氣流溫度分布圖，如圖8所示。房間級氣流組織冷卻形式下，機柜上下進風(fēng)溫度和出風(fēng)溫度不同，并且入風(fēng)溫度和出風(fēng)溫度越高，氣流越差，容易形成局部熱點。方案1中采用房間級空調(diào)作為備份空調(diào)進行冷卻，因而機柜內(nèi)服務(wù)器的氣流溫度分布也呈現(xiàn)出了這樣的特點。行級制冷則消除了垂直高度帶來的影響，因而機柜上下服務(wù)器入風(fēng)溫度和出風(fēng)溫度幾乎沒有差別。方案2中當(dāng)空調(diào)故障時，依然封閉所有的空調(diào)和機柜的冷熱通道，僅僅打開冷熱通道之間的隔板，將機柜級冷卻“退化”為行級制冷，因而也具有行級制冷的特點。

3.2 故障空調(diào)不同位置下兩種冗余方案模擬結(jié)果對比

故障空調(diào)位置的不同造成了所需冷卻機柜與備份空調(diào)間距離的不同，因此對有效冷卻產(chǎn)生影響。根據(jù)所建模型的模擬結(jié)果，以故障空調(diào)位置為橫坐標(biāo)，機柜氣流溫度為縱坐標(biāo)作圖，如圖9，其中，故障空調(diào)位置以距離備份空調(diào)所間隔模塊數(shù)來確定，如距離最近的模塊為1，最遠則為9。并對截取垂直高度1 m處溫度場圖，如圖10。

圖9 不同故障空調(diào)位置下機柜氣流溫度Fig. 9 Airflow temperature of the cabinets under different fault AC conditions

根據(jù)圖9和圖10可以看出，方案1中故障空調(diào)相鄰機柜的氣流溫度隨著故障空調(diào)與備份空調(diào)距離的增加先上升，在故障空調(diào)位置為3時最大，而后下降且在4 ～ 7位置基本相同，最后又上升。方案2中故障空調(diào)相鄰機柜的氣流溫度則幾乎保持不變。方案1中，由于空調(diào)送風(fēng)速度較大，如果空調(diào)與機柜距離較近且中間有阻礙物，則在被送入機柜內(nèi)服務(wù)器前氣流會受到較大的擾流影響，從而使得進入服務(wù)器內(nèi)的氣流分布不均勻，導(dǎo)致部分IT設(shè)備過度冷卻而部分則產(chǎn)生熱點，機柜出風(fēng)溫度較高；若距離較遠則氣流可逐步發(fā)展變得更為均勻，從而提升冷卻效果，機柜出風(fēng)溫度也較低。方案2中，空調(diào)與機柜之間無障礙物，并且二者距離較近，加上封閉導(dǎo)流作用，因此各個機柜間氣流分配比較均勻。

圖10 不同故障空調(diào)位置下機柜氣流溫度Fig. 10 Airflow temperature of the cabinets under different fault AC positions

4 結(jié) 論

針對數(shù)據(jù)中心機柜級冷卻系統(tǒng)存在的缺點，提出一種行級備份式容災(zāi)方案，方案中對每列機柜配置一臺機柜級空調(diào)作為備份空調(diào)，在正常工作下備份空調(diào)關(guān)閉，系統(tǒng)中各模塊獨立運行；故障時備份空調(diào)開啟，與同列的所有空調(diào)和機柜組成“行級制冷”系統(tǒng)。相對于現(xiàn)有的房間級備份式容災(zāi)方案，該容災(zāi)方案能夠在空調(diào)故障時有效冷卻設(shè)備，并降低系統(tǒng)建設(shè)初始投資。主要結(jié)論如下：

（1）數(shù)據(jù)中心機柜級冷卻系統(tǒng)中，當(dāng)單機柜功率較高時，采用房間級備份容災(zāi)方案在空調(diào)故障時其所負責(zé)冷卻機架內(nèi)IT設(shè)備的出風(fēng)溫度明顯高于所限制的最大標(biāo)準(zhǔn)，表明設(shè)備冷卻無法得到有效冷卻，將有過熱保護、宕機現(xiàn)象發(fā)生，不能有效應(yīng)對空調(diào)故障情況，維持設(shè)備長時間安全有效運行，并且隨著單機柜功率由2 kW增大至20 kW，機柜局部出風(fēng)溫度越高。

（2）房間級備份容災(zāi)方案中，備份空調(diào)與故障空調(diào)的距離不同時，IT設(shè)備的出風(fēng)溫度有顯著差別，并且距離越大冷卻效果越差。但行級備份式方案中，故障空調(diào)附近機柜的出風(fēng)溫度與其余機柜幾乎相同。

（3）行級備份式容災(zāi)方案下，故障空調(diào)附近機柜的進出風(fēng)溫度均在限定標(biāo)準(zhǔn)內(nèi)，能夠保證機房內(nèi)IT設(shè)備提供足夠的冷量，從而確保熱量能夠及時快速地散發(fā)出去，保證數(shù)據(jù)中心安全高效運行，且備份空調(diào)與故障空調(diào)的距離變化對IT設(shè)備的冷卻效果影響較小。

[1]陳杰. 數(shù)據(jù)機房冷通道封閉技術(shù)應(yīng)用及模擬分析[J].暖通空調(diào), 2015, 45(6)： 37-40.

[2]楊國榮, 胡仰耆, 馬偉駿. 數(shù)據(jù)中心空調(diào)設(shè)計初探[J].建筑電氣, 2009, 28(12)： 21-26. DOI： 10.3969/j.issn.1003-8493.2009.12.006.

[3]中國數(shù)據(jù)中心產(chǎn)業(yè)發(fā)展聯(lián)盟. 2012年中國數(shù)據(jù)中心產(chǎn)業(yè)發(fā)展白皮書[R/OL]. 中國數(shù)據(jù)中心產(chǎn)業(yè)發(fā)展聯(lián)盟, 2012.https：//wenku.baidu.com/view/c484ced4240c844769eaee ec.html.

[4]CHO J, LIM T, KIM B S. Measurements and predictions of the air distribution systems in high compute density(Internet) data centers[J]. Energy and buildings, 2009,41(10)： 1107-1115. DOI： 10.1016/j.enbuild.2009.05.017.

[5]CHO J, KIM B S. Evaluation of air management system's thermal performance for superior cooling efficiency in high-density data centers[J]. Energy and buildings, 2011, 43(9)： 2145-2155. DOI： 10.1016/j.enbuild.2011.04.025.

[6]PATANKAR S V. Airflow and cooling in a data center[J].Journal of heat transfer, 2010, 132(7)： 073001. DOI：10.1115/1.4000703.

[7]蔣雅靖, 劉成. 列間空調(diào)在高密度數(shù)據(jù)中心應(yīng)用的數(shù)值模擬[J]. 建筑熱能通風(fēng)空調(diào), 2012, 31(6)： 92-95.DOI： 10.3969/j.issn.1003-0344.2012.06.027.

[8]劉芳, 王志剛. 某數(shù)據(jù)中心室內(nèi)空調(diào)氣流組織的模擬研究 [J].暖通與空調(diào), 2016, 44(1)： 11-17. DOI：10.3969/j.issn.1673-7237.2016.10.004.

[9]舒慶鑫. 變電站數(shù)據(jù)機房能耗及氣流組織模擬研究[D]. 杭州： 浙江大學(xué), 2014.

[10]胡坤, 李振北. ANSYS ICEM CFD工程實例詳解[M].北京： 人民郵電出版社, 2014： 207-215.

[11]CHEN Q. Comparison of differentk-ε models for indoor air flow computations[J]. Numerical heat transfer, part b：fundamentals, 1995, 28(3)： 353-369. DOI： 10.1080/10407799508928838.

[12]YAKHOT V, ORSZAG S A, THANGAM S, et al.Development of turbulence models for shear flows by a double expansion technique[J]. Physics of fluids a： fluid dynamics, 1992, 4(7)： 1510-1520. DOI： 10.1063/1.858424.

[13]KIM S W, CHEN C P. A multiple-time-scale turbulence model based on variable partitioning of the turbulent kinetic energy spectrum[J]. Numerical heat transfer, part b：fundamentals, 1990, 16(2)： 193-211. DOI： 10407798908944935.