數(shù)據(jù)驅(qū)動的數(shù)據(jù)中心氣流組織預(yù)測綜述

苗益川 朱兵 岳天亮 呂麗 喬盤

摘? 要： 在構(gòu)建基于動態(tài)優(yōu)化的數(shù)據(jù)中心能效實時控制系統(tǒng)的過程中，數(shù)據(jù)中心氣流組織分布的實時預(yù)測至關(guān)重要。傳統(tǒng)的計算流體動力學方法求解時間較長，無法滿足這一需求。隨著數(shù)據(jù)驅(qū)動建模技術(shù)的發(fā)展，很多學者開始將其應(yīng)用在數(shù)據(jù)中心參數(shù)預(yù)測領(lǐng)域，該方法使數(shù)據(jù)中心氣流組織的實時預(yù)測成為可能。本文總結(jié)了基于數(shù)據(jù)驅(qū)動的穩(wěn)態(tài)工況和瞬態(tài)工況的氣流組織研究，并對技術(shù)路線進行梳理，可為氣流組織預(yù)測模型的選擇提供參考。

關(guān)鍵詞： 實時預(yù)測； 氣流組織； 數(shù)據(jù)驅(qū)動； 計算流體動力學

中圖分類號：TP311.1? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2023）04-96-05

Abstract： In the process of building a data center energy efficiency real-time control system based on dynamic optimization， real-time prediction of airflow organization in data center is very important. Traditional computational fluid dynamics method cannot meet this requirement because of its long solution time. With the development of data-driven modeling technology， many scholars begin to apply it in the field of data center parameter prediction. This method makes it possible to predict the airflow organization in data center in real time. In this paper， the study of airflow organization based on data-driven steady and transient conditions is summarized， and the technical route is sorted out， which can provide a reference for the selection of airflow organization prediction models.

Key words： real-time prediction; airflow organization; data-driven; computational fluid dynamics

0 引言

數(shù)據(jù)中心是信息技術(shù)發(fā)展的關(guān)鍵基礎(chǔ)設(shè)施，隨著新一輪技術(shù)變革的推進，近十年我國數(shù)據(jù)中心數(shù)量保持高速增長[1]。數(shù)據(jù)中心消耗的能源中約20%～45%的能耗用于冷卻系統(tǒng)，并占運行成本的大部分[2]。制冷系統(tǒng)節(jié)能潛力大，開發(fā)動態(tài)優(yōu)化的數(shù)據(jù)中心能效實時控制系統(tǒng)是目前行業(yè)的迫切需要。氣流分布實時預(yù)測是開發(fā)控制系統(tǒng)的必要條件。

CFD是預(yù)測數(shù)據(jù)中心氣流分布的最常用工具，但預(yù)測過程中需要消耗大量的計算資源，求解時間較長，求解時間與模型的網(wǎng)格數(shù)量正相關(guān)，為了得到更準確的預(yù)測結(jié)果建模過程中通常需要根據(jù)機房實際大小劃分幾十萬到幾千萬的網(wǎng)格，求解過程通常需要幾十分鐘以上，使用CFD工具難以對數(shù)據(jù)中心的溫度進行實時預(yù)測。但數(shù)據(jù)驅(qū)動預(yù)測方式的出現(xiàn)使數(shù)據(jù)中心氣流組織的實時預(yù)測成為可能，很多學者開始將數(shù)據(jù)驅(qū)動模型應(yīng)用于數(shù)據(jù)中心氣流組織預(yù)測領(lǐng)域。數(shù)據(jù)驅(qū)動分為基于機器學習或統(tǒng)計學兩種方式，采用統(tǒng)計學框架的方法為POD（Proper Orthogonal Decomposition）該方法應(yīng)用已較為成熟，其插值預(yù)測精度較高但外推預(yù)測精度差，添加新的預(yù)測點時，需要重新計算POD系數(shù)，復雜且耗時長，因此本文涉及較少；基于機器學習框架的預(yù)測方法非線性擬合能力強，近期研究成果較多，主要是文章的總結(jié)內(nèi)容。本文總結(jié)了近年數(shù)據(jù)驅(qū)動方式在數(shù)據(jù)中心氣流預(yù)測領(lǐng)域的研究成果及不同的研究方法，比較了不同模型的預(yù)測性能，分別針對穩(wěn)態(tài)預(yù)測和瞬態(tài)預(yù)測進行概括，為選擇合適的預(yù)測方法提供參考。

1 穩(wěn)態(tài)預(yù)測

1.1 高架地板入口氣流預(yù)測

SONG Zhihang[3]創(chuàng)建了基于CFD數(shù)據(jù)的數(shù)據(jù)中心高架地板入口氣流速度預(yù)測神經(jīng)網(wǎng)絡(luò)和溫度預(yù)測神經(jīng)網(wǎng)絡(luò)，取得了與CFD數(shù)據(jù)一致的結(jié)果。為了盡可能減少模擬次數(shù)且保證數(shù)據(jù)集不塌陷，采用拉丁超立方抽樣構(gòu)建樣本后通過CFD模擬建立數(shù)據(jù)集，采用LM算法對神經(jīng)網(wǎng)絡(luò)進行迭代訓練。

速度預(yù)測神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為（2-8-15），兩個輸入變量為靜壓箱深度和高架地板開孔率，輸出層15個神經(jīng)元分別對應(yīng)服務(wù)器編號1～15前方穿過高架地板氣流的平均速率，分別使用85組和16組CFD數(shù)據(jù)對流速預(yù)測神經(jīng)網(wǎng)絡(luò)進行訓練和驗證，訓練后的神經(jīng)網(wǎng)絡(luò)平均相對誤差為0.5%。

溫度預(yù)測神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為（9-20-15），九個輸入變量分別為：六塊高架地板開孔率、送風溫度、CRAC的流量和靜壓室高度，輸出層為15個神經(jīng)元，分別對應(yīng)服務(wù)器編號1～15前方穿過高架地板氣流的平均溫度。通過調(diào)整訓練集與驗證集組合檢查該神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性，不同比例數(shù)據(jù)集的誤差如表1所示，當驗證集增加到80組時相對誤差升高，出現(xiàn)過擬合現(xiàn)象。采用誤差最小的數(shù)據(jù)集組合方案四對神經(jīng)網(wǎng)絡(luò)進行優(yōu)化。通過增大或減少不同輸入變量，評估各個變量的敏感性，四個開孔率變量因靈敏度較低而被刪除，優(yōu)化后的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為5-9-15，表2顯示了該神經(jīng)網(wǎng)絡(luò)的相對誤差隨數(shù)據(jù)集的變化，簡化后的網(wǎng)格具有更好的精度和穩(wěn)定性。在神經(jīng)網(wǎng)絡(luò)優(yōu)化過程中，減少低敏感度變量的個數(shù)是非常有必要的。

1.2 機柜進出口氣流預(yù)測

Athavale等[4]比較了人工神經(jīng)網(wǎng)絡(luò)（ANN）、支持向量回歸（SVR）、高斯過程回歸（GPR）三種機器學習方法在預(yù)測數(shù)據(jù)中心機架入口溫度穩(wěn)態(tài)分布時的性能。采用拉丁超立方抽樣從空調(diào)風機轉(zhuǎn)速、空調(diào)回風溫度、A行機柜負載率、B行機柜負載率四個變量中抽取300組輸入?yún)?shù)組合，使用CFD工具建立訓練集，預(yù)測變量為36個，包含九個機架共36個測溫點。使用LM算法對神經(jīng)網(wǎng)絡(luò)進行訓練，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為（4-27-36）。SVR模型和GPR兩種模型均為單輸出，為了獲得溫度剖面分別訓練了36個SVR模型和GPR模型，將預(yù)測結(jié)果分別進行組合。如圖1所示，三種預(yù)測模型中GPR模型的平均絕對誤差最小約為0.6℃，ANN與SVR均為0.7℃，誤差均在較小范圍內(nèi)。值得注意的是在三種預(yù)測模型中靠近機柜頂部的位置預(yù)測誤差均較大。這主要是由于三種預(yù)測模型無法捕捉機柜頂部位置的氣流再循環(huán)效應(yīng)。機架頂部的服務(wù)器風扇可以從機架后面吸入熱空氣，以彌補冷卻風量的不足，引起熱空氣發(fā)生再循環(huán)，從而導致熱點。

此外，數(shù)據(jù)集數(shù)量對模型誤差的影響不可忽視，圖2顯示了樣本數(shù)量從50增加到500時，對三種模型預(yù)測誤差的影響。樣本數(shù)量從50增加到300時，三種模型溫度預(yù)測的誤差呈現(xiàn)出單調(diào)遞減的趨勢，當從300增加到500時沒有觀測到誤差的明顯下降。值得注意的是GPR建模的隨機性使其在面對小噪聲數(shù)據(jù)時集表現(xiàn)出較強的處理能力，即使樣本數(shù)為50仍可以保持小于1℃的預(yù)測誤差。

Tsukamoto等[5]人開發(fā)了基于CFD數(shù)據(jù)的深度神經(jīng)網(wǎng)絡(luò)（DNN）回歸預(yù)測模型，與其他研究不同的是該模型可根據(jù)低網(wǎng)格數(shù)模型計算出的機柜出口風速對高網(wǎng)格數(shù)下的機柜出口風速做出預(yù)測，通過神經(jīng)網(wǎng)絡(luò)對CFD計算的結(jié)果進行優(yōu)化，在確保計算精度的同時避免求解時間增加。該模型如圖3所示，以低網(wǎng)格數(shù)模擬結(jié)果為輸入數(shù)據(jù)，高網(wǎng)格數(shù)模擬結(jié)果為參考值。

為了盡可能多的涵蓋不同工況，選取了五個影響氣流分布的操作參數(shù)進行多工況模擬，五個操作參數(shù)分別為：高級地板穿孔率、機柜格柵穿孔率、三部空調(diào)送風速度。該深度神經(jīng)網(wǎng)絡(luò)共有八層，512個節(jié)點，使用Optuna工具進行調(diào)參，預(yù)測效果如圖4所示，低網(wǎng)格數(shù)模型預(yù)測精度顯著提高，23750網(wǎng)格數(shù)的預(yù)測精度接近50萬網(wǎng)格模型CFD模擬精度，預(yù)測時間從600s減少到20s。

FangQiu等[6]提出了使用神經(jīng)網(wǎng)絡(luò)的快速溫度預(yù)測模型（FTEM， Fast-Temperature Evaluation Model），該模型考慮了流量、機架功率分布、空調(diào)送風溫度三個關(guān)鍵因素對機柜進出口溫度的影響，并且對比了BP（Back Propagation）、RBF（Radial Basis Function）、ELM（Extreme Learning Machine）三種增強型神經(jīng)網(wǎng)絡(luò)在該模型中的表現(xiàn)。具體流程如圖5所示。

在建模的過程中，將數(shù)據(jù)中心傳熱模型抽象為熱網(wǎng)絡(luò)，機架和空調(diào)抽象為熱網(wǎng)絡(luò)中的熱節(jié)點，節(jié)點的入口值即為機柜入口溫度，出口值為機柜出口溫度。熱網(wǎng)絡(luò)中的連線表示不同節(jié)點間的熱交換，數(shù)據(jù)中心內(nèi)部的空氣再循環(huán)可以視為節(jié)點之間的交叉干擾。節(jié)點進出的溫度關(guān)系則可以表示為：

其中，[Tin]為節(jié)點入口溫度向量，[Tout]為節(jié)點出口向量，[Φ]為交叉干涉系數(shù)矩陣。通常需要進行多組CFD模擬，獲得多組[Tin]和[Tout]計算出交叉干涉系數(shù)矩陣[Φ]。使用神經(jīng)網(wǎng)絡(luò)模擬流量向量F與[Φ]之間的非線性關(guān)系。該模型有N個輸入分別對應(yīng)[F]中的各個元素，輸出則分別對應(yīng)[Φ]中的各個元素。為了驗證不同神經(jīng)網(wǎng)絡(luò)的預(yù)測性能，基于FTEM模型對比了BP、RBF、ELM三種增強型神經(jīng)網(wǎng)絡(luò)的MAE（Mean Absolute Error）、MAPE（Mean AbsolutePercentage Error）、RMSE（Root Mean Square Error），結(jié)果見表3。其中RBF精度為最佳，ELM精度與RBF精度接近，在三種神經(jīng)網(wǎng)絡(luò)中學習時間最短，BP精度最差，但其MAE最大值為0.29℃、RMSE最大值為0.32℃，小于0.5℃的溫度測量不確定度，可滿足預(yù)測需求。由于物理模型的簡化，F(xiàn)TEM模型可以實現(xiàn)毫秒級的溫度分布預(yù)測。

2 瞬態(tài)預(yù)測

2.1 常規(guī)工況變化

Saiyad等[7]使用神經(jīng)網(wǎng)絡(luò)對常規(guī)工況下機架級溫度分布和設(shè)施級溫度分布變化進行預(yù)測，并對比了各個神經(jīng)網(wǎng)絡(luò)的相關(guān)系數(shù)R和均方誤差，具體內(nèi)容見表4。機架級溫度預(yù)測神經(jīng)網(wǎng)絡(luò)模型均為單輸入多輸出結(jié)構(gòu)，輸入變量分別為服務(wù)器負荷、高架地板入口流速，輸出變量為16個（每個機架進口溫度分布測點八個，出口溫度分布測點八個）。設(shè)施溫度分布預(yù)測的神經(jīng)網(wǎng)絡(luò)為多輸入多輸出結(jié)構(gòu)，輸出變量分別為64個和48個，對應(yīng)于不同行機柜。所有案例的R值均在0.99以上，表明預(yù)測值與實際值有很強的相關(guān)性，均方誤差均在可接受范圍內(nèi)?？稍?0s內(nèi)實現(xiàn)未來300～500min內(nèi)的工況預(yù)測，解決了CFD工具無法實現(xiàn)的快速預(yù)測。

2.2 空調(diào)失效工況預(yù)測

Athavale等[4]比較了ANN、POD、SVR和GPR模型在數(shù)據(jù)中心空調(diào)失效后500s內(nèi)機架入口溫度的絕對預(yù)測誤差和變化，其結(jié)果如圖6所示?？照{(diào)失效后的前200s內(nèi)的數(shù)據(jù)用于訓練模型和測試插值精度，后300s的數(shù)據(jù)用于測試外推精度。在200s內(nèi)所有模型的插值預(yù)測誤差均遠遠小于0.5℃的不確定度，但在200s～500s區(qū)間的外推預(yù)測中所有模型的誤差都開始增加，其中GPR和SVR模型預(yù)測溫度單調(diào)遞減，與實際溫度變化情況相反，ANN模型預(yù)測溫度在200s-250s區(qū)間迅速上升隨后保持不變，只有POD模型溫度變化趨勢與實際相符。SVR模型與GPR模型外推結(jié)果受所選核函數(shù)的影響，在預(yù)測過程中這些模型會在訓練數(shù)據(jù)集中尋找距離輸入值最近的訓練輸入值，隨著輸入值與訓練輸入值的增加，預(yù)測值逐漸接近訓練數(shù)據(jù)集的平均值。

3 總結(jié)

綜上所述，用數(shù)據(jù)驅(qū)動方法可以實現(xiàn)氣流組織的快速準確預(yù)測，計算效率滿足實時控制系統(tǒng)的需要。神經(jīng)網(wǎng)絡(luò)是目前應(yīng)用最多的模型，其多輸出、非線性的特點滿足了數(shù)據(jù)中心氣流組織往往需要進行多點預(yù)測的需求，SVR和GPR模型單輸出的特性增加了工作量；在模型建立之前對機房內(nèi)傳熱模型進行簡化，可以減少預(yù)測時間。此外，影響數(shù)據(jù)中心氣流分布的因素較多且影響強度無法確定，使用分析函數(shù)對輸入變量進行降維，可以提高預(yù)測精度和穩(wěn)定性；在瞬態(tài)工況預(yù)測中，神經(jīng)網(wǎng)絡(luò)、POD、SVR和GPR的插值預(yù)測精度均較高，但SVR和GPR模型受核函數(shù)的影響，外推誤差較大，并且無法預(yù)測溫度變化趨勢。接下來，需要針對提高模型的瞬態(tài)外推預(yù)測精度進行研究，并在氣流組織預(yù)測基礎(chǔ)上開發(fā)出實時最優(yōu)操作條件預(yù)測模型，為數(shù)據(jù)中心提供有效的實時熱管理工具。

參考文獻（References）：

[1] 丁肇豪，曹雨潔，張素芳，等.能源互聯(lián)網(wǎng)背景下數(shù)據(jù)中心與電力系統(tǒng)協(xié)同優(yōu)化（一）：數(shù)據(jù)中心能耗模型[J/OL].中國電機工程學報，2022（1）：1-18

[2] 張海南，邵雙全，田長青，等.數(shù)據(jù)中心自然冷卻技術(shù)研究進展[J].制冷學報，2016，37（4）：46-57

[3] Song Z， Murray B T， Sammakia B. Airflow and?temperature distribution optimization in data centers using artificial neural networks[J]. International Journal of Heat and Mass Transfer，2013，64：80-90

[4] Athavale J， Yoda M， Joshi Y. Comparison of data driven modeling approaches for temperature prediction in data centers[J]. International Journal of Heat and Mass Transfer，2019，135：1039-1052

[5] Tsukamoto H， Sogawa Y， Matsuda K， et al. High-speed Search for Optimal Operation Parameters of Air Conditioning System in Data Center by Using Regression Prediction and Deep Reinforcement Learning on CFD Simulation[C]//2021 60th Annual Conference of the Society of Instrument and Control Engineers of Japan （SICE）. IEEE，2021：105-112

[6] Fang Q， Li Z， Wang Y， et al. A neural-network enhanced modeling method for real-time evaluation of the temperature distribution in a data center[J]. Neural Computing and Applications，2019，31（12）：8379-8391

[7] Saiyad A， Patel A， Fulpagare Y， et al. Predictive modeling of thermal parameters inside the raised floor plenum data center using Artificial Neural Networks[J]. Journal of Building engineering，2021，42：102397

*基金項目：貴州省科技支撐計劃項目（No.2017YFB0902100）

作者簡介：苗益川（1996-），男，河北石家莊人，碩士研究生，主要研究方向：數(shù)據(jù)中心氣流組織。

通信作者：朱兵（1967-），女，貴州貴陽人，碩士，高級工程師，主要研究方向：分布式能源系統(tǒng)、數(shù)據(jù)中心節(jié)能技術(shù)。