數(shù)據(jù)中心熱環(huán)境瞬態(tài)CFD模擬與分析

馬昕宇，王軍，杜塏

（1-東南大學(xué)能源與環(huán)境學(xué)院，江蘇南京 210096；2-江蘇鳳凰數(shù)據(jù)有限公司，江蘇南京 210037）

0 引言

隨著大數(shù)據(jù)處理與云計(jì)算業(yè)務(wù)需求爆炸式增長和計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的飛躍進(jìn)步，數(shù)據(jù)中心的規(guī)模和容量不斷擴(kuò)大。其熱流密度每年呈上升趨勢[1]，能耗為(120～940) W/m2[2]，且我國80%的數(shù)據(jù)中心的能源使用效率（Power Usage Effectiveness，PUE）均大于2.0[3-4]。大型數(shù)據(jù)中心需要全年不間斷運(yùn)行，使用的空調(diào)系統(tǒng)主要有水冷冷水系統(tǒng)、風(fēng)冷冷水系統(tǒng)、蒸發(fā)冷卻空調(diào)系統(tǒng)等[5-7]。面對諸如服務(wù)器功率突增或空調(diào)系統(tǒng)失效等情況，數(shù)據(jù)中心的熱環(huán)境從穩(wěn)態(tài)進(jìn)入瞬態(tài)，室溫在短時間內(nèi)達(dá)到服務(wù)器運(yùn)行的極限溫度，造成服務(wù)器停機(jī)。服務(wù)器故障不僅會造成經(jīng)濟(jì)損失，而且可能造成不可逆的數(shù)據(jù)丟失。同時，在室溫上升的情況下，數(shù)據(jù)中心的瞬態(tài)熱特性決定了是否要配備蓄冷裝置以及空調(diào)系統(tǒng)備用電源啟動時間等問題。因此，有必要對其瞬態(tài)熱特性進(jìn)行分析研究，從而預(yù)測數(shù)據(jù)中心內(nèi)機(jī)房溫度隨時間的變化，為實(shí)現(xiàn)空調(diào)系統(tǒng)前饋控制提供參考。

最早關(guān)于數(shù)據(jù)中心瞬態(tài)熱環(huán)境的研究是由STAHL等[8]提出的，他們在不同的熱負(fù)荷下進(jìn)行了經(jīng)驗(yàn)分析，與理論計(jì)算相比較。BEITELMAL等[9]對數(shù)據(jù)中心進(jìn)行了瞬態(tài)模擬，研究了計(jì)算機(jī)機(jī)房空調(diào)（Computer Room Air Conditioner，CRAC）故障對數(shù)據(jù)中心溫度變化的影響。IBRAHIM等[10]開發(fā)了一種瞬態(tài)模型來研究時變的服務(wù)器功率和CRAC送風(fēng)量，采用剖面法對功率和氣流的變化進(jìn)行分析，并進(jìn)行了大量的實(shí)例研究，表明機(jī)柜進(jìn)口溫度隨時間變化的現(xiàn)象。SHARMA等[11]強(qiáng)調(diào)了數(shù)據(jù)中心動態(tài)熱管理的重要性，并討論了在數(shù)據(jù)中心內(nèi)為更均勻的溫度分布分配工作負(fù)載的方法。PATEL等[12]提出了數(shù)據(jù)中心智能冷卻的概念，實(shí)現(xiàn)了空調(diào)50%的節(jié)能；他們通過分布式傳感、變頻空調(diào)、數(shù)據(jù)聚合以及多參數(shù)控制系統(tǒng)來全面控制數(shù)據(jù)中心熱環(huán)境。BASH等[13]采用智能冷卻的概念，利用PID控制器對某一數(shù)據(jù)中心的熱環(huán)境進(jìn)行動態(tài)控制。

CFD模擬被廣泛應(yīng)用于氣流組織的模擬與優(yōu)化之中[14-16]，本文在上述基礎(chǔ)上建立了一種適用于瞬態(tài)CFD模擬的服務(wù)器機(jī)架簡化模型，利用CFD軟件FloTHERM對南京某數(shù)據(jù)中心內(nèi)一機(jī)房進(jìn)行了穩(wěn)態(tài)和瞬態(tài)數(shù)值模擬，分析了服務(wù)器功率上升、空調(diào)冷卻失效、供冷恢復(fù)以及降低送風(fēng)溫度這四種不同工況下數(shù)據(jù)中心內(nèi)熱環(huán)境隨時間變化的規(guī)律，為數(shù)據(jù)中心空調(diào)系統(tǒng)的控制與應(yīng)急提供進(jìn)一步參考。

1 數(shù)值模型建立

1.1 機(jī)架瞬態(tài)傳熱模型

在數(shù)據(jù)中心中，服務(wù)器被縱向堆疊放置于柜式的機(jī)架中。傳統(tǒng)的穩(wěn)態(tài)CFD模擬中，服務(wù)器及機(jī)架往往作為一個整體被簡化成“黑盒”模型[17-18]，即機(jī)架前面板作為“匯”吸入氣流，機(jī)架后面板作為“源”排出相等流量的氣流，兩股氣流的焓差等于服務(wù)器發(fā)熱量。然而在瞬態(tài)工況下，服務(wù)器發(fā)熱量不僅提高了空氣的焓值，同時也提高了自身的內(nèi)能，其中服務(wù)器自身的內(nèi)能變化取決與服務(wù)器散熱元件的熱容及傳熱特性?！昂诤小蹦Ｐ偷膬?yōu)點(diǎn)在于機(jī)架內(nèi)部不需要進(jìn)行建模，降低了網(wǎng)格的復(fù)雜度，便于求解。但是，“黑盒”模型不考慮機(jī)架內(nèi)部服務(wù)器的熱容和對流換熱系數(shù)，忽略熱容并不影響穩(wěn)態(tài)模擬的結(jié)果，卻會對瞬態(tài)對流傳熱過程產(chǎn)生很大的影響。因此傳統(tǒng)的“黑盒”模型并不適用于瞬態(tài)模擬研究。

服務(wù)器及機(jī)架的熱容和對流換熱系數(shù)對研究其瞬態(tài)傳熱過程至關(guān)重要，流場到達(dá)穩(wěn)態(tài)的時間和瞬態(tài)過程中流場的溫度、壓力等均受其影響。本文建立了包含機(jī)架內(nèi)部細(xì)節(jié)的CFD模型，用以研究數(shù)據(jù)中心瞬態(tài)對流傳熱過程。由于服務(wù)器內(nèi)部包含各種發(fā)熱元件和復(fù)雜的幾何形狀，瞬態(tài)模型雖然可以反映服務(wù)器的內(nèi)部不同結(jié)構(gòu)元件傳熱過程，但會使模擬計(jì)算量猛增，這對服務(wù)器及機(jī)架整體瞬態(tài)換熱計(jì)算來說是沒有必要的。為了簡化模型，方便求解，本文對機(jī)架內(nèi)部的換熱結(jié)構(gòu)做出如下假設(shè)：

1）服務(wù)器主板及各種芯片等發(fā)熱元件簡化為一塊發(fā)熱平板；

2）平板包含一定的熱容，與實(shí)際服務(wù)器的熱容相等；

3）服務(wù)器發(fā)熱源簡化為均勻的體積發(fā)熱源；

4）通過服務(wù)器內(nèi)部氣流的壓力降由體積阻尼模型計(jì)算；

5）服務(wù)器風(fēng)扇簡化為垂直的平面速度源。

實(shí)際建模過程中，使用文獻(xiàn)中給出的Dell PowerEdge 2850服務(wù)器參數(shù)[19]，具體參數(shù)如表1所示，采用標(biāo)準(zhǔn)42U機(jī)架，內(nèi)裝20臺服務(wù)器，機(jī)架的幾何模型如圖1所示。

圖1 機(jī)架幾何模型示意圖

表1 服務(wù)器及機(jī)架物理參數(shù)

1.2 機(jī)房幾何模型

本文選取南京某數(shù)據(jù)中心內(nèi)一典型機(jī)房建立幾何模型，如圖2所示。該機(jī)房長22 m，寬16.5 m，高4.9 m，采用地板送風(fēng)空調(diào)系統(tǒng)。機(jī)房分為空調(diào)室和IT設(shè)備室，由內(nèi)墻分開，內(nèi)墻上開百葉作為回風(fēng)口。IT設(shè)備室內(nèi)設(shè)置8組機(jī)柜單元，每個單元由16個機(jī)柜構(gòu)成，面對面放置，單個機(jī)柜的尺寸為1 m× 0.6 m×2 m，所有機(jī)柜均放置在架高地板上，地板靜壓箱的高度為0.8m。兩列機(jī)柜之間為冷通道，使用玻璃頂棚與玻璃門封閉整個冷通道，防止冷氣流外泄。同時，地板上設(shè)置開孔率為45%的孔板作為送風(fēng)口，單個孔板的尺寸為0.6 m×0.6 m?？照{(diào)室內(nèi)設(shè)置4臺精密空調(diào)，采用下出風(fēng)、上回風(fēng)的送風(fēng)方式，單臺空調(diào)的送風(fēng)量為6.95 m3/s，送風(fēng)溫度為17 ℃。

圖2 機(jī)房平面圖

1.3 基本控制方程與模型求解

本文使用CFD軟件FloTHERM完成數(shù)值模擬與求解。FloTHERM提供了k-ε湍流模型，該模型具有運(yùn)算方便、收斂快、穩(wěn)定等優(yōu)點(diǎn)。該湍流模型的控制方程[20]如下所述。

連續(xù)性方程為：

運(yùn)動方程為：

能量方程為：

湍動能方程為：

湍動能耗散率方程為：

式中：

ui（或uj）——速度在xi（或xj）方向的速度分量，m/s；i（或j）取1、2和3時分別表示x、y和z軸方向；

ρ——流體密度，kg/m3；

p——壓力，Pa；

fi——質(zhì)量力，m/s2；

?！行牧鲾U(kuò)散系數(shù)，m2/s；

T——流體溫度，K；

s——熱源發(fā)熱量，W；

cp——流體定壓熱容，J/(kg…K)；

k——湍動能，m2/s2；

ε——湍動能耗散率；

μ——動力粘度，Pa…s；

μt——湍流粘度，Pa…s；

Gk——速度梯度產(chǎn)生的湍動能產(chǎn)生速率；

Gb——粘性力與慣性力產(chǎn)生的湍動能產(chǎn)生速率；

公式(5)中，經(jīng)驗(yàn)常數(shù)的數(shù)值為：C1ε=1.44；C2ε=1.92；C3ε=1.0；σk=1.0；σε=1.3。

求解過程中為了簡化計(jì)算，考慮到整個流場壓力變化范圍不是很大，采用Boussinesq假設(shè)；室內(nèi)氣流為不可壓縮的粘性流體；忽略粘性力做功所引起的耗散熱；忽略固體壁面和室內(nèi)物體表面的熱輻射；墻壁作為絕熱壁面處理。根據(jù)模型的幾何結(jié)構(gòu)采用結(jié)構(gòu)化網(wǎng)格，并驗(yàn)證了模型的網(wǎng)格無關(guān)性。

2 穩(wěn)態(tài)模擬結(jié)果與分析

在進(jìn)行瞬態(tài)模擬之前，有必要對系統(tǒng)進(jìn)行穩(wěn)態(tài)模擬，以便確定殘差曲線是否收斂，同時觀察穩(wěn)態(tài)工況下的溫度場分析是否存在局部熱點(diǎn)，從而獲得瞬態(tài)模擬的初始邊界條件。穩(wěn)態(tài)模擬的邊界條件如下：單臺空調(diào)的送風(fēng)量為6.95 m3/s，送風(fēng)溫度為17 ℃，最大制冷量180 kW，單個機(jī)柜的熱功耗為4 kW。通過穩(wěn)態(tài)模擬，可以得到整個機(jī)房的溫度場、速度場和壓力場等。主要關(guān)注同一水平面上的機(jī)柜出口溫度，因?yàn)槠湓谝欢ǔ潭壬戏从沉朔?wù)器所處的熱環(huán)境。圖3為地板上方1 m高度處的溫度云圖，整體上看冷通道內(nèi)溫度約為17 ℃，而各個機(jī)柜的出口溫度較為平均，沒有出現(xiàn)大面積熱點(diǎn)，機(jī)架出口平均溫度約為25.8 ℃。仔細(xì)觀察北側(cè)冷通道內(nèi)溫度有所升高，約為17.5 ℃，對應(yīng)機(jī)柜的出口溫度較高，最高出口溫度約為27.4 ℃。穩(wěn)態(tài)模擬的結(jié)果顯示該機(jī)房不同位置存在一定溫度梯度，但總體溫度場較為均勻，機(jī)柜出口溫度處在合理范圍之內(nèi)，可以將此結(jié)果作為瞬態(tài)模擬的初始條件。

圖3 地板上方1 m處溫度云圖

3 瞬態(tài)模擬結(jié)果與分析

3.1 服務(wù)器功率上升時的瞬態(tài)熱特性

當(dāng)服務(wù)器網(wǎng)絡(luò)計(jì)算量突增時，其熱負(fù)載必然隨之快速升高，此工況下機(jī)房熱環(huán)境隨之惡化，通過瞬態(tài)模擬可以定量分析該瞬態(tài)過程中溫度場隨時間的變化過程?？紤]將單個機(jī)柜的功率從4 kW提高25%～100%（即分別突變至5 kW、6 kW、7 kW、8 kW不等），記為工況1至工況4。分別對這4個工況進(jìn)行瞬態(tài)模擬，以穩(wěn)態(tài)模擬的結(jié)果作為初始條件，空調(diào)風(fēng)量保持6.95 m3/s，通過空調(diào)變頻控制保持送風(fēng)溫度為17 ℃，單臺空調(diào)最大制冷量180 kW。設(shè)置模擬總時間為60 min，每20秒劃分一時間步，共180時間步。提取每個機(jī)柜半高處的出口溫度，計(jì)算所有機(jī)柜出口溫度的平均值，通過前后溫升和達(dá)到平衡用時計(jì)算平均溫升速率，相關(guān)瞬態(tài)參數(shù)如表2所示。圖4則顯示了4種工況下平均機(jī)柜出口溫度隨時間變化的曲線?？傮w來看，在前10 min內(nèi)溫度隨時間增長較快，達(dá)到總溫升的約50%，隨后溫度增長趨于平緩，最終達(dá)到新的穩(wěn)態(tài)，曲線呈指數(shù)增長形式，體現(xiàn)了服務(wù)器熱容對溫度增長的滯止作用，符合瞬態(tài)傳熱特性。對比4種工況，工況1與工況2的最終平均機(jī)柜出口溫度均在合理范圍之內(nèi)，而工況3與工況4的機(jī)柜出口溫度已經(jīng)超過了45 ℃，很可能導(dǎo)致服務(wù)器過熱關(guān)機(jī)。出現(xiàn)這種情況主要是由于單機(jī)柜功率超過6 kW時，機(jī)房總功率約760 kW，已經(jīng)超過了空調(diào)設(shè)計(jì)最大負(fù)荷，繼續(xù)提高單機(jī)柜功率，送風(fēng)溫度將高于17 ℃，因此熱環(huán)境會隨之快速惡化，難以保證服務(wù)器穩(wěn)定運(yùn)行。同時，對比各工況可以發(fā)現(xiàn)，溫升速率隨功率的增大而增大，特別是在超出制冷負(fù)荷的情況下，溫升速率有很大提高，這一瞬態(tài)模擬結(jié)果將對運(yùn)維人員即時采取調(diào)控措施起到一個前饋?zhàn)饔谩?/p>

表2 服務(wù)器功率上升時的瞬態(tài)熱參數(shù)

圖4 功率上升時平均機(jī)架出口溫度隨時間的變化

3.2 空調(diào)冷卻失效時的瞬態(tài)熱特性

考慮數(shù)據(jù)中心內(nèi)空調(diào)冷凍水停止供給、而風(fēng)機(jī)依然工作這一極端情況，對其進(jìn)行模擬分析。在時間t=0時，空調(diào)功率降至0 kW，風(fēng)量保持6.95 m3/s，送風(fēng)溫度與回風(fēng)溫度保持一致。設(shè)置3種工況，將初始機(jī)柜功率分別設(shè)定為2 kW、4 kW、6 kW，記為工況5、工況6、工況7，分別進(jìn)行瞬態(tài)模擬。依然計(jì)算平均機(jī)柜出口溫度，其隨時間變化如圖5所示，瞬態(tài)熱參數(shù)如表3所示?？梢园l(fā)現(xiàn)溫度隨時間線性增長，溫升速率隨機(jī)柜功率的增加而增加。以45 ℃作為機(jī)柜出口溫度的上限，達(dá)到極限溫度的時間分別為34 min、13 min和7 min，縮減幅度較大。分析可知，在單機(jī)柜功率較大的情況下，有兩方面的不利因素導(dǎo)致熱環(huán)境溫度快速到達(dá)上限：一是因?yàn)闄C(jī)柜功率越高，初始機(jī)柜出口溫度越高，二是溫升速率隨機(jī)柜功率的增大而增大。綜上，對于不同功率密度的數(shù)據(jù)中心，面對冷源失效時的應(yīng)急時間不能一概而論，在單機(jī)柜功率大于4 kW時，預(yù)留的應(yīng)急處理時間應(yīng)控制在10 min以內(nèi)。

圖5 冷凍水失效時平均機(jī)架出口溫度隨時間的變化

表3 空調(diào)冷凍水失效時的瞬態(tài)熱參數(shù)

3.3 供冷回復(fù)后的瞬態(tài)熱特性

在排除空調(diào)設(shè)備故障之后，數(shù)據(jù)中心的環(huán)境溫度并不能立刻恢復(fù)至正常運(yùn)行時的穩(wěn)態(tài)?？紤]初始機(jī)柜出口溫度為45 ℃，在時間t=0時恢復(fù)空調(diào)供冷，依然討論3種工況，單機(jī)柜功率分別為2 kW、4 kW、6 kW，記為工況8、工況9、工況10。如圖6所示，在恢復(fù)供冷之后，平均機(jī)柜出口溫度均快速下跌，而后趨于平緩，最終恢復(fù)穩(wěn)態(tài)?？梢园l(fā)現(xiàn)，即使是單機(jī)柜6 kW的情況下，平均機(jī)柜出口溫度依然在5 min以內(nèi)下降到了約32 ℃?？梢娫诨謴?fù)供冷后，由于送風(fēng)溫度與服務(wù)器內(nèi)部溫度溫差較大，傳熱驅(qū)動力較大，機(jī)柜出口溫度可以快速回落到安全區(qū)間。

3.4 降低送風(fēng)溫度過程中的瞬態(tài)熱特性

通常來說，為了應(yīng)對機(jī)柜功率提高導(dǎo)致的機(jī)房溫度升高，運(yùn)維人員會調(diào)低空調(diào)的送風(fēng)溫度?，F(xiàn)在模擬該情況，在時間t=0時，單機(jī)柜功率由4 kW升至6 kW，將送風(fēng)溫度從17 ℃降低至13 ℃，但是降溫開始時刻不同，對應(yīng)以下5種工況。

工況11：不降低送風(fēng)溫度。

工況12：提前5 min開始降溫。

工況13：0時刻開始降溫。

工況14：5 min后開始降溫。

工況15：10 min后開始降溫。

如圖7所示，首先觀察沒有降低送風(fēng)溫度的工況11，平均機(jī)架出口溫度從25.8 ℃升高到了29.7 ℃，溫升3.9 ℃，視為最大溫升。對于工況13、工況14和工況15，平均機(jī)架出口溫度均先升高后減小，最高溫度分別為26.2 ℃、28.2 ℃、29.1 ℃，溫升為0.4 ℃、2.4 ℃、3.3 ℃，且峰值均出現(xiàn)在開始降溫約2 min之后。可以發(fā)現(xiàn)，10分鐘后溫升已接近最大溫升，因此為了避免峰值溫度過高，應(yīng)盡量保證在機(jī)柜功率升高后5 min內(nèi)降低送風(fēng)溫度。對于工況12，如果在服務(wù)器功率提高前降低送風(fēng)溫度，初始平均機(jī)架出口溫度為24.5 ℃，低于其他工況的25.8 ℃，由于機(jī)架及服務(wù)器自身熱容的蓄冷作用，可確保服務(wù)器避免過熱。該規(guī)律可供運(yùn)維人員根據(jù)機(jī)柜出風(fēng)溫度的變化情況，提前調(diào)控空調(diào)送風(fēng)溫度，一來可以避免服務(wù)器出現(xiàn)過熱影響到通訊的安全，二來可在保證服務(wù)器不出現(xiàn)過熱的情況下，適當(dāng)提高空調(diào)送風(fēng)溫度以達(dá)到節(jié)能，降低電能利用效率（Power Usage Effectiveness，PUE）。

圖6 冷卻恢復(fù)后平均機(jī)架出口溫度隨時間的變化

圖7 降低送風(fēng)溫度時平均機(jī)架出口溫度隨時間的變化

4 結(jié)論

1）本文建立了一種適用于瞬態(tài)CFD模擬的服務(wù)器機(jī)架簡化模型，模擬結(jié)果顯示服務(wù)器熱容及其功率是影響瞬態(tài)過程中溫度變化響應(yīng)的重要因素。

2）服務(wù)器功率突增時，平均機(jī)架出口溫度隨時間呈指數(shù)增長，前10 min溫升較快，隨后增長趨于平緩。隨著機(jī)柜功率上升幅度的增加，平均溫升速率增加。對于所述機(jī)房，當(dāng)單機(jī)柜功率上升超過75%時，超過空調(diào)制冷負(fù)荷，平均溫升速率達(dá)到0.36 ℃/min，且平均機(jī)架出口溫度超過了45 ℃，難以保證服務(wù)器穩(wěn)定運(yùn)行。

3）空調(diào)冷卻失效時，平均機(jī)架出口溫度隨時間線性增長，平均溫升速率隨機(jī)柜功率的增加而增加。對于所述機(jī)房，機(jī)柜功率為6 kW時，平均機(jī)柜出口溫度超過45 ℃僅需7 min，平均溫升速率達(dá)到2.21 ℃/min。在恢復(fù)供冷之后，平均機(jī)柜出口溫度快速下跌，在5min內(nèi)可以快速回落到安全區(qū)間。

4）為了應(yīng)對機(jī)柜功率提高而降低送風(fēng)溫度時，降溫開始時間是影響平均機(jī)架出口溫度的重要因素，溫度峰值出現(xiàn)在開始降溫約2 min之后，為了避免峰值溫度過高，應(yīng)盡量保證在機(jī)柜功率升高后5 min內(nèi)降低送風(fēng)溫度。對于所述機(jī)房，提前5 min降低送風(fēng)溫度則可確保服務(wù)器避免過熱現(xiàn)象。