數(shù)據(jù)中心CFD優(yōu)化與應用研究

曹 淵 沈子奇 陳 強

中國移動通信集團上海有限公司

0 引言

隨著信息技術、新基建等概念成為當今社會的熱點話題，在國家政策支持，客戶需求越來越強烈的背景下，全國的IDC 數(shù)據(jù)中心發(fā)展進入了快車道，預計3年后，全國數(shù)據(jù)中心規(guī)模將達到近4000億元。但是，數(shù)據(jù)中心屬于高能耗產(chǎn)業(yè)，從網(wǎng)上商場，網(wǎng)上游戲，銀行等，現(xiàn)代數(shù)據(jù)中心幾乎運行這一切信息應用，因而其對電力的消耗增長顯著，能耗成本占據(jù)數(shù)據(jù)中心總體運營成本大于50%，運營單位不堪負重，節(jié)能迫在眉睫[1]。本文基于數(shù)據(jù)中心專業(yè)氣流組織模擬軟件，對數(shù)據(jù)機房進行建模，通過對比實際測量數(shù)據(jù)，分析模擬軟件的可靠性與優(yōu)缺點，為在以后數(shù)據(jù)中心建模、布局中提供參照，以便更科學地進行節(jié)能優(yōu)化。

1 CFD 簡介與原理

CFD 以電子計算機為工具，應用各種離散化的數(shù)學方法，對流體力學的各類問題進行數(shù)值實驗、計算機模擬和分析研究，以解決各種實際問題。數(shù)據(jù)中心專業(yè)CFD 軟件是基于計算流體力學(CFD)及傳熱學，針對數(shù)據(jù)中心環(huán)境進行預測和優(yōu)化的專業(yè)仿真模擬工具，可以提供數(shù)據(jù)中心詳盡的環(huán)境信息，如氣流組織、溫度場、壓力場。本研究采用市場主流軟件對某數(shù)據(jù)機房的簡化模型進行空氣速度流場和溫度流場的數(shù)值模擬。數(shù)據(jù)中心機房的規(guī)模在不斷擴大，如今的大型數(shù)據(jù)中心機房普遍面臨設備發(fā)熱密度高、電力能耗大等問題?！稊?shù)據(jù)中心設計規(guī)范》（GB50174-2017）規(guī)定了主機房空調系統(tǒng)的氣流組織形式，應采用計算流體動力學（CFD）對主機房氣流組織進行模擬和驗證[2]。

采用CFD方法對室內空調通風輔助設計時，合理的物理模型是基礎。流動和傳熱問題的求解過程如下：建立控制方程，確定初始條件及邊界條件，劃分計算網(wǎng)格，生成計算節(jié)點，確定離散初始條件和邊界條件[3]。

質量守恒方程：

t——時間

u——速度矢量

動量守恒方程：（N-S）：

式（2）中，S可以分在三個方向上。

式(3)中，T——溫度

k——熱傳系數(shù)

Cp——比熱容

ST——流體的內熱源熱量和機械能

轉換成的熱能[4]

2 研究現(xiàn)狀

2.1 數(shù)據(jù)中心模型及邊界條件設置計算

機房平面圖見圖1。

圖1 機房平面圖

一樓機房長約33 m，寬約22.8 m，面積約734.4 m2，層高4.7 m，吊頂高度為3.4 m，高架地板高度為54.5 cm，采用高架地板送風結合冷通道部分封閉設計。機房內共223 臺IT 設備機柜，其中198 臺運行；機柜內為服務器、存儲和網(wǎng)絡設備。據(jù)現(xiàn)場測量，運行IT設備總功率約為337 kW；由理論計算及CFD 軟件分析，IT 設備總需求風量約為117560 m3/h。機房內共有15臺精密空調，全部處于運行狀態(tài)，名義總制冷量為1085.1 kW，名義總風量為297400 m3/h。

運行機柜IT 設備入口溫度分布統(tǒng)計結果如圖1所示?？梢钥闯?，機柜內IT 設備入口溫度范圍為10.8～24.99 ℃，溫差達到14.19 ℃，溫差較大。超過半數(shù)的設備入口溫度低于18 ℃，最低達10.8 ℃，部分區(qū)域存在過度制冷現(xiàn)象。

同時，為了驗證CFD 模擬軟件精度，通過人工機房現(xiàn)場實際測量，確定機房內各要素的詳細信息，并以此對機房進行了精確的CFD 三維建模。機房三維模型見圖2。

圖2 機房三維模型

2.2 空調風量測量

空調回風口風量測量結果見圖3。

圖3 空調回風口風量測量結果

由圖3可見，15 臺運行中空調總的實測循環(huán)風量為202174 m3/h。根據(jù)現(xiàn)場實測并結合CFD 模擬，IT 設備總需求風量約117560 m3/h，空調送風效率ASE為：

Vrack-in——空調送風直接用于冷卻機柜IT 設備的風量

Vacu-supply——空調總循環(huán)風量

此數(shù)據(jù)表明冷空氣循環(huán)利用率低。

2.3 可靠性研究比較

實測風量與仿真風量誤差比較見表1。

機房開孔地板實測與仿真模擬出風量分布見圖4。

表1 實測風量與仿真風量誤差比較

為保證CFD 仿真結果的可靠性，將實測機房溫度與CFD 模型進行校驗。機房XY 截面CFD 模擬溫度云圖與實測值對比見圖5。由圖5 可見，模擬值整體分布趨勢與實測值基本吻合，偏差在2 ℃以內，同時，將實測開孔地板出風量與CFD 模型進行校驗，誤差在10%以內，由此說明CFD 仿真結果真實有效。

圖4 機房開孔地板實測與仿真模擬出風量分布

圖5 地板上機房1.1 m 高度XY 截面實測溫度云圖

3 機房氣流組織問題分析

結合實地勘察和CFD 模擬分析，發(fā)現(xiàn)該機房氣流組織存在的主要問題如下：

1）運行空調名義可提供的制冷量大于IT設備需求。目前機房在用IT設備總功率為337 kW，總需求風量約為117560 m3/h。15臺運行空調的名義總制冷量為1085.1 kW，名義總風量為297400 m3/h，均大于在用IT 設備的散熱需求，機房冷空氣利用率較低。

2）部分靠近空調的地板下方空氣流速較高，導致出現(xiàn)低壓，開孔地板出風量很小，如圖6所示。另外，存在地板出風量與機柜負載不匹配的情況，見圖7。

圖6 機房開孔地板下靜壓分布（藍色表示低壓區(qū)域）

圖7 機房IT設備功率分布和開孔地板出風量分布（紅色表示低風量地板）

3）地板下存在湍流現(xiàn)象

通過對現(xiàn)場的開孔地板下方進行壓力測量，發(fā)現(xiàn)靜壓極不均衡，地板出風量差異較大，存在湍流現(xiàn)象。特別是立柱導致地板下冷氣流速梯度加大，部分地板出風量較小，無法為前方機柜內IT設備提供足夠的冷量，容易形成熱點。經(jīng)仿真計算，也證實了存在湍流現(xiàn)象[5]，見圖8。

圖8 地板下湍流現(xiàn)象

4）機房冷通道未封閉

機房大部分區(qū)域原為封閉冷通道設計，但是現(xiàn)場勘察發(fā)現(xiàn)通道的立柱缺口處未進行隔斷封閉處理，部分冷通道天窗缺失，由此不但會造成冷空氣泄漏至機房環(huán)境，降低冷空氣利用率，可能造成熱空氣直接進入冷通道被機柜吸入，并形成熱點，見圖9和圖10。

圖9 冷空氣進入機房環(huán)境

圖10 未隔斷的立柱缺口

5）機柜內部存在冷熱空氣混流。

部分無負載機柜及熱通道內設置有開孔地板，造成冷量損失；部分運行機柜前方未合理布局開孔地板，導致局部區(qū)域無法獲得足夠的冷空氣對設備進行有效散熱，易形成局部熱點。部分機柜存在反裝設備。反裝設備是指設備實際安裝后的進出風方向與機柜冷熱側方向相反，即設備進風口在熱側，出風口在冷側。該現(xiàn)象對設備自身運行安全性及氣流組織節(jié)能不利。機房存在漏風現(xiàn)象。經(jīng)現(xiàn)場查勘發(fā)現(xiàn)，機房部分區(qū)域高架地板存在缺口，冷空氣直接進入機房環(huán)境，造成冷量損失，且有部分負載機架處地板未開孔導致局部溫度偏高。

4 優(yōu)化改造研究

4.1 物理優(yōu)化改造

1）合理調整開孔地板位置。

依據(jù)仿真計算結果，調整開孔地板位置，以滿足運行機柜的散熱需求。調整前的實測風量數(shù)據(jù)和調整后的CFD模擬風量效果對比見圖11和圖12。

圖11 開孔地板開孔率調整前出風量

2）調整機房開孔地板布局。

按圖12所示，將紅色區(qū)域地板更換為非開孔地板，并將黃色區(qū)域地板更換為經(jīng)過CFD計算驗證得出的相應通孔率的開孔地板。

圖12 開孔地板開孔率調整后出風量

3）增設地板下部氣流平衡條。

在地板下部分區(qū)域放置導流裝置。通過對比可以看出，地板下導流裝置能有效防止湍流現(xiàn)象，使氣流組織更有序化，將冷空氣送到指定區(qū)域，從而消除機柜底部出風口風量波動和風量不均。同時也可減少特定區(qū)域的溫度不均勻現(xiàn)象，避免通過加大空調風量消除熱點的做法，有效降低能耗[6]，見圖13。

圖13 湍流區(qū)基本消除

4）如圖14 紅色線條所示，按照CFD 模擬計算結果，在本機房圖中位置處增加地板下氣流平衡裝置，調節(jié)地板下氣流分布。

圖14 導流裝置安裝示意圖

5）機柜冷熱氣流混流的優(yōu)化調整。通過增設機柜盲板對冷熱氣流進行隔絕，有助于防止冷氣流未經(jīng)機柜換熱直接漏到熱通道中，基本消除冷熱混流的現(xiàn)象（見圖15），從而提高空調風量和冷量的利用率[7]。

圖15 冷熱氣流隔絕前（左）和隔絕后（右）熱通道云圖

6）封閉機柜底部進風口和設備安裝導軌側面的間隙。機房內大部分機柜底部均存在進風口，造成冷量損失，需對這些機柜底部進風口進行封堵，采用防火的氣流隔離材料對整排機柜底部進行封堵。除此之外，設備安裝導軌與前部框架存在間隙則使用絕緣片進行封閉。封堵前、后機房流線圖見圖16。

圖16 機柜封堵前（a）和封堵后（b）機房流線圖

5 運行參數(shù)設置與獲取

5.1 現(xiàn)場部署環(huán)境監(jiān)測平臺

5.1.1 溫度傳感器

對空調回風口、空調出風口以及有源服務器機柜進風側布置溫度傳感器。其中，空調回風口共15 處、空調出風口共15處，服務器機柜進風側669處（無源機柜除外），需增設699個溫度傳感器。每個服務器機柜進風側沿高度方向布置3個溫度傳感器，高度分別為0.2 m，1.1 m，2.0 m。

5.1.2 傳感器總線模塊

各機柜進風溫度傳感器信號通過總線模塊匯總，由環(huán)境參數(shù)采集器采集并上傳到監(jiān)控主機，由PTF 軟件處理后在監(jiān)控屏幕上顯示實時溫度數(shù)據(jù)并實現(xiàn)報警功能。傳感器總線模塊及環(huán)境參數(shù)采集器布置圖見圖17。本機房共布置總線模塊93 個。

圖17 傳感器總線模塊及環(huán)境參數(shù)采集器安裝布局

5.2 智能電能表

為精確測量并對比氣流組織節(jié)能改造前和改造后的機房空調和IT設備的能耗值，及以此為基礎計算改造后的空調節(jié)能率，對現(xiàn)場空調屏和IT列頭柜加裝準確度等級為0.5 級的智能電能表（見圖18），實現(xiàn)對該機房內所有機房空調能耗和IT 負載能耗的精確測量。

圖18 交直流屏柜掛電表

5.3 空調節(jié)能調節(jié)

調整空調輪值方案以及空調設定參數(shù)，對各個空調的設定進行精細化調節(jié)，按需調配相關區(qū)域空調的制冷量輸出，均衡溫度場，有效提升機房運維安全可靠性。經(jīng)優(yōu)化后，消除了局部熱點，并緩解了部分機柜IT 設備入口溫度過低的現(xiàn)象。在保證機柜進風區(qū)域溫度滿足要求的前提下，對氣流通路進行優(yōu)化調整，使機柜進風量更加均衡，在滿足運營要求的同時，達到提升空調運行能效的目的。在開啟9～10 臺空調的情況下，通過調節(jié)不同空調的設定回風溫度和風機風速，為空調輪值。

6 節(jié)能效果分析

6.1 機房氣流組織優(yōu)化結果

經(jīng)優(yōu)化后，消除了局部熱點，并緩解了部分機柜IT 設備入口溫度過低的現(xiàn)象。在保證機柜進風區(qū)域溫度滿足要求的前提下，對氣流通路進行優(yōu)化調整，機柜進風量更加均衡，在滿足運營要求的同時，達到提升空調運行能效的目的?？照{運行能效優(yōu)化前后對比見表2。

表2 空調運行能效優(yōu)化前后對比

6.2 數(shù)據(jù)中心節(jié)能改造效果分析

每日空調用電量節(jié)能效果見表3，改造后的機房pue節(jié)能量見表4。

圖19 為2020 年8月14日至10月20日每日空調用電量及PUE 走勢圖。

圖19中紅線為當?shù)刈罡邭鉁刈邉輬D，藍線為最低氣溫走勢圖。所示為8月14日至10月20日的空調每日用電量、PUE 及其節(jié)能率。

PUE 節(jié)能率按以下公式計算：

PUE是評價數(shù)據(jù)中心能源效率的指標，是數(shù)據(jù)中心消耗的所有能源與IT負載消耗的能源的比值。

PUE'空調為節(jié)能改造后的空調 ，，為節(jié)能改造前的空調節(jié)能率計算以8月14日至8月27日機房物理改造開始之前、盲板封閉之后的平均數(shù)據(jù)為基礎，14天平均空調用電量3619.2 kW/h，平均空調PUE 為1.515。從圖表中可以看出機房節(jié)能改造效果明顯，根據(jù)目前已經(jīng)完成四套方案的節(jié)能效果，空調平均電量節(jié)能率為18.9%，空調PUE平均節(jié)能率為18.3%。

表3 每日空調用電量節(jié)能效果表

表4 改造后的機房PUE節(jié)能量

圖19

7 總結

通過CFD仿真軟件在日常工程中的應用，大部分數(shù)據(jù)機房氣流溫度問題可以通過數(shù)學建模來直觀體現(xiàn)。將CFD仿真結果與實際查勘測量相結合，可以看出，數(shù)據(jù)機房氣流組織的優(yōu)化是為了減少冷熱氣流摻混程度，提高冷量利用率，消除局部熱點。通過調整設計方案高架地板的靜壓層高度和格柵開孔率來逐步優(yōu)化氣流組織，并比較優(yōu)化方案前后的氣流組織與熱環(huán)境指標，最終得到以下結論：

1)通過設置導流裝置、封閉冷通道、隔離冷熱氣流混流、封閉冷氣流漏風點位、調整送風地板布局等措施優(yōu)化氣流組織，達到消除熱點和冷點，并且減少了湍流現(xiàn)象。

2)減小溫差、精確送風、提高換熱效率的效果。

3)調整空調輪值設定方案以及空調設定參數(shù)，降低空調運行能耗。預計空調系統(tǒng)年平均節(jié)能率在15%以上。

4)在IDC 數(shù)據(jù)機房的暖通工程改造優(yōu)化中，CFD 仿真模擬具有一定的參考價值，針對CFD 仿真數(shù)據(jù)進行分析與施工，能有效提升數(shù)據(jù)機房節(jié)能指數(shù)。