計(jì)算流體動(dòng)力學(xué)在數(shù)據(jù)中心的應(yīng)用

黃冬梅， 楊 超（北京瑞思博創(chuàng)科技有限公司，北京 100036）

計(jì)算流體動(dòng)力學(xué)在數(shù)據(jù)中心的應(yīng)用

黃冬梅， 楊 超
（北京瑞思博創(chuàng)科技有限公司，北京 100036）

介紹了數(shù)據(jù)中心計(jì)算流體動(dòng)力學(xué)模型，闡述了計(jì)算流體動(dòng)力學(xué)在數(shù)據(jù)中心整個(gè)生命周期的各種應(yīng)用。指出計(jì)算流體動(dòng)力學(xué)能準(zhǔn)確預(yù)測(cè)數(shù)據(jù)中心的氣流組織及溫度分布情況，應(yīng)用于數(shù)據(jù)中心設(shè)計(jì)、節(jié)能改造、運(yùn)維以及新技術(shù)研究等方面，可有效提升數(shù)據(jù)中心容量使用率，降低能耗和電源使用效率。

數(shù)據(jù)中心；氣流組織；計(jì)算流體動(dòng)力學(xué)；節(jié)能改造

黃冬梅（1968-），女，高級(jí)工程師，從事計(jì)算流體動(dòng)力學(xué)方面的工作。

0 引 言

互聯(lián)網(wǎng)、大數(shù)據(jù)和云計(jì)算的快速發(fā)展，對(duì)IT設(shè)備的計(jì)算能力和存儲(chǔ)能力提出了越來越明確的需求，同時(shí)卻要求安裝這些IT設(shè)備的數(shù)據(jù)中心具有高可用性、高可靠性和低能耗，造成IT設(shè)備的功率密度越來越高，消耗的電能越來越多。傳統(tǒng)的機(jī)房已經(jīng)不能夠應(yīng)對(duì)設(shè)備功耗的不斷上升，即使升級(jí)了機(jī)房，局部熱點(diǎn)仍然可能存在，因?yàn)樵O(shè)備溫度過高而導(dǎo)致宕機(jī)甚至燒毀的事故幾率增大。計(jì)算流體動(dòng)力學(xué)（Computational Fluid Dynamics，CFD）作為一種成熟的計(jì)算機(jī)仿真技術(shù)，可準(zhǔn)確預(yù)測(cè)數(shù)據(jù)中心的氣流組織及溫度分布情況，被大量應(yīng)用于數(shù)據(jù)中心設(shè)計(jì)、節(jié)能改造、運(yùn)維以及新技術(shù)研究等方面，可有效提升數(shù)據(jù)中心容量使用率，提高冷卻效率，降低能耗和電源使用效率（Power Usage Effectiveness，PUE）。

1 數(shù)據(jù)中心CFD模型

1.1 數(shù)據(jù)中心CFD軟件

CFD軟件分為研究型通用軟件和行業(yè)專用軟件，前者要求使用人員有很強(qiáng)的計(jì)算流體力學(xué)專業(yè)背景，后者則易于操作，便于數(shù)據(jù)中心設(shè)計(jì)人員和運(yùn)維人員使用，對(duì)象為數(shù)據(jù)中心構(gòu)架工程師、暖通工程師、應(yīng)用工程師和運(yùn)維工程師等。在現(xiàn)代數(shù)據(jù)中心行業(yè)中，商業(yè)化數(shù)據(jù)中心專用CFD軟件可解決數(shù)據(jù)中心氣流組織問題。數(shù)據(jù)中心CFD軟件采用有限體積法對(duì)數(shù)據(jù)中心氣流組織及傳熱進(jìn)行模擬分析，獲得數(shù)據(jù)中心內(nèi)部的溫度場(chǎng)、流速場(chǎng)、壓力場(chǎng)和濕度場(chǎng)的分布情況及IT設(shè)備工作時(shí)的入口溫度、機(jī)柜內(nèi)部氣流狀況、機(jī)柜冷卻指數(shù)（RCI）、空調(diào)的送風(fēng)溫度和回風(fēng)溫度、空調(diào)利用率、房間內(nèi)部氣流流線圖、房間能效、機(jī)柜效能和PUE值等仿真結(jié)果。利用CFD軟件，能夠?qū)C(jī)房?jī)?nèi)氣流組織進(jìn)行優(yōu)化，預(yù)防氣流短路、熱空氣回流等可能引起能源浪費(fèi)或局部熱點(diǎn)的情況。典型的氣流短路如圖1所示。典型的機(jī)柜出風(fēng)口熱風(fēng)電流如圖2所示。

1.2 定義數(shù)據(jù)中心CFD模型

一般CFD軟件的模擬流程為前處理、求解、后處理。

圖1 典型的氣流短路

圖2 典型的機(jī)柜出風(fēng)口熱風(fēng)回流

前處理需要定義所求問題的計(jì)算域，建立模型，劃分網(wǎng)格及網(wǎng)格獨(dú)立測(cè)試，定義流體屬性、材料屬性，設(shè)定邊界條件，選擇湍流模型及參數(shù)，瞬態(tài)問題還需指定初始條件。

求解是用數(shù)值求解方案求解結(jié)果的過程。常用的求解方案包括有限差分、有限元、譜方法和有限體積法，主要差別在于流動(dòng)變量被近似的方式及相應(yīng)的離散化過程，目前CFD軟件廣泛采用有限體積法。

后處理是為了有效觀察和分析流動(dòng)傳熱計(jì)算結(jié)果，CFD軟件配備后處理器，采用圖形、動(dòng)態(tài)的方法直觀觀察流動(dòng)效果及計(jì)算結(jié)果。

目前商用化的數(shù)據(jù)中心專用CFD軟件，已經(jīng)將復(fù)雜的CFD過程無縫集成，整個(gè)過程在一個(gè)操作界面中完成，操作簡(jiǎn)單。

前處理建模的整個(gè)過程簡(jiǎn)單，利用內(nèi)置的數(shù)據(jù)中心基礎(chǔ)設(shè)置模型庫，可快速構(gòu)建一個(gè)完整的數(shù)據(jù)中心三維模型，依據(jù)實(shí)際情況修改預(yù)設(shè)的三維模型物理空間參數(shù)（如建筑結(jié)構(gòu)、機(jī)柜布局、高架地板、地板格柵、吊頂及回風(fēng)口、空調(diào)等）和設(shè)備屬性（如機(jī)柜（服務(wù)器）的發(fā)熱功率、空調(diào)的制冷參數(shù)、地板格柵的開孔率等）。

通過模型庫搭建的兩個(gè)三維數(shù)據(jù)中心模型如圖3所示。

圖3 數(shù)據(jù)中心三維模型

空調(diào)、機(jī)柜屬性參數(shù)設(shè)置如圖4、圖5所示。

圖4 空調(diào)屬性參數(shù)設(shè)置

求解將采用內(nèi)置的數(shù)據(jù)中心專用的求解器，只需在操作界面中點(diǎn)擊求解按鈕。后處理更是采用內(nèi)置的按鈕命令，直接顯示所需的各種處理結(jié)果。因此，現(xiàn)代數(shù)據(jù)中心專用CFD軟件，將復(fù)雜問題用直觀形象的方式描述出來，達(dá)到了優(yōu)化數(shù)據(jù)中心冷卻性能的目的。

圖5 機(jī)柜屬性參數(shù)設(shè)置

1.3 確定計(jì)算結(jié)果可用

CFD軟件作為計(jì)算機(jī)仿真工具，對(duì)計(jì)算結(jié)果是否可用還需要一定的判斷。一般，要確定三維模型是否正確，如物理空間參數(shù)和設(shè)備屬性是否輸入正確，能否切實(shí)反映實(shí)際的物理模型。數(shù)據(jù)中心人員從模型上基本可以看出物理空間參數(shù)是否正確，通過規(guī)格書或?qū)嶋H運(yùn)行參數(shù)獲知輸入的設(shè)備屬性是否正確，但要保證仿真結(jié)果的準(zhǔn)確性，更重要的是計(jì)算結(jié)果必須收斂。仿真結(jié)果往往需要通過很多次的迭代計(jì)算，在軟件計(jì)算過程中會(huì)設(shè)置計(jì)算的監(jiān)控點(diǎn)以及計(jì)算的殘差來幫助使用者判斷，只有在系統(tǒng)達(dá)到指定殘差精度或迭代步數(shù)時(shí)迭代才結(jié)束。CFD計(jì)算殘差如圖6所示，可見計(jì)算殘差達(dá)1。

圖6 CFD計(jì)算殘差

判斷仿真結(jié)果是否收斂的唯一標(biāo)準(zhǔn)是模型在物理上是否收斂，即穩(wěn)態(tài)仿真時(shí)監(jiān)控點(diǎn)迭代次數(shù)的變化波動(dòng)非常小，近似為直線?？照{(diào)送回風(fēng)溫度監(jiān)控如圖7所示，可見溫度監(jiān)控平穩(wěn)。

1.4 計(jì)算結(jié)果展示

后處理的計(jì)算結(jié)果展示，幫助使用者了解數(shù)據(jù)中心是否存在熱點(diǎn)問題、速度分布大小、氣流組織的分布等，以及用數(shù)據(jù)報(bào)表的形式描述機(jī)房的狀況。查看計(jì)算結(jié)果的方式有切面圖、矢量圖、流線圖、云圖、動(dòng)畫、視頻漫游以及各種冷卻指數(shù)數(shù)據(jù)。

機(jī)柜底部溫度云圖如圖8所示，可以看出冷熱通道的分析是否合理。

圖7 空調(diào)送回風(fēng)溫度監(jiān)控

圖8 機(jī)柜底部溫度云圖

地板格柵氣流流線圖如圖9所示，從箭頭的方向能夠看出氣流流動(dòng)的方向以及是否存在氣流短路。

圖9 地板格柵氣流流線圖

機(jī)柜溫度分布如圖10所示，可顯示哪些機(jī)柜存在過熱問題，以便快速發(fā)現(xiàn)問題所在位置。

機(jī)柜入口溫度截面圖如圖11所示，顯示入口所有位置的溫度值，問題定位更加精準(zhǔn)，有別于傳統(tǒng)點(diǎn)對(duì)點(diǎn)的溫度測(cè)試。

數(shù)據(jù)中心的溫度云圖如圖12所示，可顯示溫度在三維空間的分布狀況。

圖10 機(jī)柜溫度分布

圖11 機(jī)柜入口溫度截面圖

圖12 溫度云圖

高架地板流量分布如圖13所示，可用柱坐標(biāo)的方式直觀顯示流量分布。

另外，數(shù)據(jù)報(bào)表對(duì)整個(gè)數(shù)據(jù)中心進(jìn)行數(shù)據(jù)統(tǒng)計(jì)，包括設(shè)備數(shù)量、負(fù)載、冷卻狀況（空調(diào)送回風(fēng)指數(shù)、機(jī)柜冷卻指數(shù)RCI等）。

圖13 高架地板流量分布

2 CFD在數(shù)據(jù)中心的應(yīng)用

2.1 數(shù)據(jù)中心設(shè)計(jì)中CFD的功效

優(yōu)化數(shù)據(jù)中心冷卻性能是一項(xiàng)非常具有挑戰(zhàn)性的任務(wù)，數(shù)據(jù)中心的設(shè)計(jì)一般都會(huì)有多個(gè)方案，而最后選擇一個(gè)最佳方案。有些因素影響數(shù)據(jù)中心氣流分布和冷卻性能，實(shí)際測(cè)量和現(xiàn)場(chǎng)測(cè)試不僅費(fèi)時(shí)、費(fèi)力、費(fèi)錢，而且有時(shí)風(fēng)險(xiǎn)很大，甚至根本不可能。如空調(diào)失效測(cè)試，新機(jī)房設(shè)計(jì)階段根本無機(jī)房可測(cè)。CFD模擬可在較短的時(shí)間內(nèi)進(jìn)行各種方案和配置的試驗(yàn)，發(fā)現(xiàn)是否存在氣流短路、熱風(fēng)回流，以便找到可行的方案，并用各種直觀的方式展示整個(gè)數(shù)據(jù)中心內(nèi)的溫度分布、空氣速度和壓力分布。

在設(shè)計(jì)圖紙階段，預(yù)測(cè)數(shù)據(jù)中心的氣流組織分布是否合理，采用CFD軟件模擬是唯一的途徑。CFD軟件能夠幫助數(shù)據(jù)中心設(shè)計(jì)師、咨詢顧問和數(shù)據(jù)中心管理者估算出所提方案的性能，優(yōu)化數(shù)據(jù)中心冷卻性能。

空調(diào)在不同送風(fēng)溫度下機(jī)柜進(jìn)口溫度的對(duì)比如圖14所示。由圖14可見，送風(fēng)溫度提高后熱點(diǎn)的分布狀況。

不同空調(diào)布局下機(jī)柜最高入口溫度分布如圖15所示。由圖15可見，單側(cè)空調(diào)送風(fēng)方案雖然可以多放機(jī)柜，但機(jī)柜存在過溫的風(fēng)險(xiǎn)。

2.2 數(shù)據(jù)中心節(jié)能改造

數(shù)據(jù)中心的使用壽命通常不少于10 a，但在它的生命周期中隨著IT設(shè)備的不斷更新?lián)Q代，設(shè)備部署與設(shè)計(jì)預(yù)期就會(huì)出現(xiàn)很大差別。由于空間、冷卻和電力等的碎片化，無法向數(shù)據(jù)中心添加新的IT設(shè)備，即損失了數(shù)據(jù)中心的容量。數(shù)據(jù)中心冷卻是限制數(shù)據(jù)中心容量提高的主要因素，盲目增加空調(diào)總制冷量或降低空調(diào)溫度并不能解決所有設(shè)備過熱問題，反而導(dǎo)致空調(diào)低效運(yùn)行。

圖14 空調(diào)在不同送風(fēng)溫度下機(jī)柜進(jìn)口溫度的對(duì)比

圖15 不同空調(diào)布局下機(jī)柜最高溫度分布

實(shí)踐表明，很多數(shù)據(jù)中心空調(diào)總制冷量遠(yuǎn)遠(yuǎn)大于該機(jī)房所需求的制冷量，但仍存在部分設(shè)備的過溫，根本原因是設(shè)備布置引起的氣流組織不合理，如熱風(fēng)回流、氣流短路等，導(dǎo)致了局部熱點(diǎn)。為了消除這種過熱，只好降低機(jī)房的設(shè)定溫度，導(dǎo)致了部分空調(diào)的過度工作，制冷能耗居高。國(guó)際組織Uptime指出，由于數(shù)據(jù)中心機(jī)房?jī)?nèi)氣流不適當(dāng)，用于冷卻的冷空氣60%都浪費(fèi)了；數(shù)據(jù)中心的過度冷卻是實(shí)際需求的2倍，目前多數(shù)機(jī)房存在過度冷卻問題，相應(yīng)的機(jī)房空調(diào)機(jī)組耗能也比設(shè)計(jì)功率增加耗電50%以上，造成機(jī)房高額的運(yùn)行費(fèi)用。在美國(guó)，3年的純能源成本消耗已經(jīng)等同于設(shè)備購置成本。在歐洲，3年的純能源成本消耗甚至是設(shè)備購置成本的2倍。

采用CFD模擬分析數(shù)據(jù)中心熱點(diǎn)產(chǎn)生的位置及原因，提出有針對(duì)性的解決方案，消除局部熱點(diǎn)，避免了局部過冷，提升了制冷效率。

CFD在數(shù)據(jù)中心節(jié)能改造時(shí)具體流程如下：

（1）收集和測(cè)量現(xiàn)有數(shù)據(jù)中心運(yùn)行數(shù)據(jù)，建立數(shù)據(jù)中心基礎(chǔ)設(shè)施三維模型，并進(jìn)行仿真分析。

（2）通過現(xiàn)場(chǎng)的測(cè)試數(shù)據(jù)，如溫度、壓力、流量、速度等，與仿真數(shù)據(jù)進(jìn)行比對(duì)，標(biāo)定仿真模型，修改某些不準(zhǔn)確的輸入?yún)?shù)。

（3）依據(jù)氣流組織狀況提出改造建議和方案，綜合預(yù)算、限制條件等確定方案。

（4）改造后，進(jìn)行測(cè)試比對(duì)驗(yàn)收節(jié)能狀況。

目前機(jī)房改造常用的措施有：依據(jù)設(shè)備功率密度分區(qū)部署設(shè)備，如高密區(qū)、低密區(qū)等，采用行間空調(diào)制冷、普通精密空調(diào)送風(fēng)或其他類型送風(fēng)形式；封閉冷或熱通道，隔離冷熱氣流；增加機(jī)柜盲板，避免冷卻氣體浪費(fèi)及熱氣回流；采用毛刷減少導(dǎo)線槽的漏風(fēng)量等。發(fā)熱量大的機(jī)柜需要單獨(dú)送風(fēng)，如采用主動(dòng)式通風(fēng)地板，提升空調(diào)送回風(fēng)溫度和制冷效率，增加高架地板高度，減少下部障礙物，減少風(fēng)機(jī)的工作功率等。

2.3 數(shù)據(jù)中心運(yùn)行維護(hù)

數(shù)據(jù)中心運(yùn)行維護(hù)過程中，IT服務(wù)人員往往依據(jù)空間和電力來隨意部署設(shè)備，而忽視了制冷是否足夠。因此，強(qiáng)烈建議在設(shè)備變量前采用CFD對(duì)氣流組織進(jìn)行預(yù)測(cè)，確認(rèn)可行后再去實(shí)際安裝設(shè)備。

部署設(shè)備時(shí)CFD軟件會(huì)提示當(dāng)前機(jī)柜空間、電力、冷卻、流量等參數(shù)是否滿足要求。通過CFD軟件持續(xù)更新數(shù)據(jù)中心的三維模型，如IT設(shè)備的安裝或更換，導(dǎo)入實(shí)時(shí)的數(shù)據(jù)中心電力等數(shù)據(jù)，準(zhǔn)確反映數(shù)據(jù)中心氣流組織狀況。

通過監(jiān)測(cè)的數(shù)據(jù)，分析當(dāng)前數(shù)據(jù)中心可能存在的問題，提前做好計(jì)劃，提升數(shù)據(jù)中心容量使用率，避免隨意部署設(shè)備導(dǎo)致的氣流組織問題。IT設(shè)備維護(hù)人員可根據(jù)分析人員得出的結(jié)論，及時(shí)維修設(shè)備故障，調(diào)整通風(fēng)地板通風(fēng)率、空調(diào)溫度設(shè)置等，提升能源使用效率。

2.4 空調(diào)失效模擬

空調(diào)是數(shù)據(jù)中心制冷系統(tǒng)重要的單元，一旦空調(diào)失效，會(huì)導(dǎo)致機(jī)房溫度迅速上升，如不能及時(shí)恢復(fù)將會(huì)導(dǎo)致設(shè)備宕機(jī)，使業(yè)務(wù)受到重大影響或中斷。CFD分析各種空調(diào)冗余搭配情況下數(shù)據(jù)中心的氣流組織和溫度情況，也可以分析某些極端情況，如空調(diào)部分失效或全部失效造成的制冷量不足，機(jī)房溫度隨時(shí)間上升的趨勢(shì)。

2.5 新技術(shù)研究

數(shù)據(jù)中心新技術(shù)可以通過CFD軟件進(jìn)行研發(fā)預(yù)測(cè)。免費(fèi)冷卻（自然冷卻）是一種在室外溫度比較低時(shí)，通過相應(yīng)的技術(shù)手段將室外冷源引入建筑內(nèi)將熱量帶走，以達(dá)到降溫目的的方法。目前免費(fèi)冷卻主要有兩種方式，一類是空氣側(cè)，引入室外冷空氣，經(jīng)過過濾帶入室內(nèi)，對(duì)設(shè)備進(jìn)行散熱；另一類是水側(cè)，制冷劑不經(jīng)過壓縮機(jī)直接循環(huán)。

Fackbook免費(fèi)制冷氣流組織如圖16所示。通過CFD可以考察該種設(shè)計(jì)方案是否可行，特別是冷風(fēng)和熱回風(fēng)混合后的氣流溫度是否均勻；熱風(fēng)是否可以流暢地排除。

圖16 Fackbook免費(fèi)制冷氣流組織

某IT公司用CFD研究創(chuàng)新方案的可行性。將機(jī)柜呈圓布局，中間放置煙囪，這樣熱風(fēng)通過該煙囪形成自然對(duì)流，從而省掉空調(diào)、風(fēng)扇，實(shí)現(xiàn)PUE為1.0的效果。

3 結(jié) 語

CFD軟件是強(qiáng)大的氣流組織仿真工具，通過模擬為數(shù)據(jù)中心氣流組織管理提供了科學(xué)依據(jù)，可以在軟件中模擬各種不同方案，能夠在設(shè)計(jì)階段進(jìn)行合理的氣流組織優(yōu)化，并對(duì)先進(jìn)的技術(shù)進(jìn)行研究，在運(yùn)維過程中有效降低能源消耗和運(yùn)維成本，在數(shù)據(jù)中心的整個(gè)生命周期的不同階段發(fā)揮重要的作用，因而是設(shè)計(jì)綠色數(shù)據(jù)中心的必備工具。

［1］ 鐘景華.中國(guó)數(shù)據(jù)中心技術(shù)指針［M］.北京：機(jī)械工業(yè)出版社，2014.

［2］ 王福軍.計(jì)算流體動(dòng)力學(xué)分析-CFD軟件原理與應(yīng)用［M］.北京：清華大學(xué)出版社，2004.

［3］ 楊國(guó)榮.數(shù)據(jù)通信設(shè)備中心研究［M］.2版.北京：中國(guó)建筑工業(yè)出版社，2010.

［4］ 袁竟乘.IDC機(jī)房節(jié)能技術(shù)探討［J］.電子世界，2012（12）：11-12.

App lication of Computational Fluid Dynam ics in Data Center

HUANG Dongmei， YANG Chao
（Beijing Rainspur Technology Co.，Ltd.，Beijing 100036，China）

This paper introduced themodel of computational fluid dynam ics（CFD）in data center，and elaborated the application of CFD during the whole lifecycle of data center.It is pointed out that the CFD is used in the design，energy-saving reconstruction，operation and maintenance，new technology research in the data center.It can accurately predict the airflow and temperature distribution of data center，in order to effectively improve the capacity utilization and reduce the energy consumption and power usage effectiveness.

data center；airflow；computational fluid dynam ics（CFD）；energy-saving upgrading

TU 831

B

1674-8417（2015）09-0006-06

2015 09 23

楊 超（1981-），男，高級(jí)工程師，從事數(shù)據(jù)中心暖通及氣流組織計(jì)算流體動(dòng)力學(xué)仿真分析方面的工作。