摘 要:隨著數(shù)據(jù)中心規(guī)模的不斷擴(kuò)大,電力的消耗也急劇增加,降低數(shù)據(jù)中心的能耗變得越來越重要,因此預(yù)測機(jī)房實時的溫度變化,提前調(diào)整制冷系統(tǒng)控制策略,對減少數(shù)據(jù)中心的總能耗、提高能源效率具有重要意義。針對此問題提出了一種基于門控循環(huán)單元(GRU)的電力數(shù)據(jù)中心溫度預(yù)測模型,并與卷積神經(jīng)網(wǎng)絡(luò)(CNN)和注意力機(jī)制(Attention)相結(jié)合,該方法以內(nèi)蒙古某數(shù)據(jù)中心機(jī)房的歷史溫度數(shù)據(jù)作為輸入,使用卷積神經(jīng)網(wǎng)絡(luò)提取高維特征,并加入了數(shù)據(jù)空間位置上的特征,將提取到的特征向量以時序特征集輸入到GRU中進(jìn)行特征提取和分析。同時利用注意力機(jī)制計算GRU隱藏層的注意力得分,將傳給Attention的數(shù)據(jù)分為多個塊,分別對塊內(nèi)和塊間應(yīng)用注意力機(jī)制,并分配注意力權(quán)重,突出高相關(guān)特征的影響,加快計算速度,最后完成溫度預(yù)測。以內(nèi)蒙古某數(shù)據(jù)中心提供的溫度數(shù)據(jù)集開展實驗,并與其他神經(jīng)網(wǎng)絡(luò)模型進(jìn)行對比,實驗結(jié)果表明本文所提方法具有更好的收斂性和更高的準(zhǔn)確性。
關(guān)鍵詞:數(shù)據(jù)中心;溫度預(yù)測;門控循環(huán)單元;卷積神經(jīng)網(wǎng)絡(luò);注意力機(jī)制
DOI:10.15938/j.jhust.2024.06.010
中圖分類號: TP308
文獻(xiàn)標(biāo)志碼: A
文章編號: 1007-2683(2024)06-0101-11
Temperature Prediction Model for Power Data Centers Based on GRU
WANG Xu1, TUO Ya2, LI Xin3, WANG Fang1, LI Chenxia1, DING Bo4
(1.Inner Mongolia Electric Power Economic and Technical Research Institute, Hohhot 010010, China;
2.Inner Mongolia Electric Power (Group) Co., Ltd., Hohhot 010010, China;
3.College of Energy and Power Engineering, Inner Mongolia University of Technology, Hohhot 010051, China;
4.School of Computer Science and Technology, Harbin University of Science and Technology Harbin 150080, China)
Abstract:With the rapid expansion of data center infrastructure, the energy consumption has become a major concern. Reducing data center power consumption and improving energy efficiency are crucial. This paper proposes a power-efficient data center temperature prediction model based on Gated Recurrent Unit (GRU) integrated with Convolutional Neural Network (CNN) and Attention Mechanism. The model leverages historical temperature data from a data center in Inner Mongolia as input features. High-dimensional features are extracted using a one-dimensional CNN, and the extracted feature vectors are fed into the GRU for analysis and feature extraction. Additionally, the Attention Mechanism is employed to compute attention scores for the hidden layers of GRU and allocate attention weights, highlighting the influence of highly correlated features. The model ultimately achieves temperature prediction. Experimental evaluations are conducted using a temperature dataset provided by the Inner Mongolia data center, and comparisons with other neural network models are made. The results demonstrate that the proposed model exhibits better convergence and higher accuracy.
Keywords:data center; temperature prediction; gated recurrent unit; convolutional neural network; attention mechanism
收稿日期: 2023-09-01
基金項目:
內(nèi)蒙古電力(集團(tuán))有限責(zé)任公司科技項目(2023-5-40);國家自然科學(xué)基金(61673142).
作者簡介:
托 婭(1989—),女,高級工程師;
李 鑫(1991—),男,高級工程師.
通信作者:
王 旭(1986—),男,高級工程師,E-mail:1260146990@qq.com.
0 引 言
大數(shù)據(jù)和云計算時代促進(jìn)了數(shù)據(jù)中心的快速擴(kuò)張,過度地擴(kuò)張造成了資源浪費。數(shù)據(jù)中心的服務(wù)器、存儲器等IT設(shè)備能耗約占數(shù)據(jù)中心總能耗的50%,制冷設(shè)備的能耗約占總能耗的30%~50%[1]。數(shù)據(jù)中心機(jī)房內(nèi)產(chǎn)生的熱量主要來源于IT設(shè)備的散熱、制冷設(shè)備的散熱、人工照明、太陽輻射熱等,機(jī)房溫度過高或過低都不利于設(shè)備的運行,因此應(yīng)將機(jī)房室溫控制在一個適當(dāng)并且相對穩(wěn)定的范圍內(nèi)。而為了保證數(shù)據(jù)中心機(jī)房的設(shè)備能夠在規(guī)定的溫度和濕度范圍內(nèi)正常并安全地運行,許多數(shù)據(jù)中心長期設(shè)置較低的溫度,這也導(dǎo)致制冷設(shè)備的能耗產(chǎn)生了大量的浪費。同時,數(shù)據(jù)中心的溫度主要受IT負(fù)載影響且動態(tài)變化。因此,加強(qiáng)數(shù)據(jù)中心服務(wù)器的溫度監(jiān)控,及時調(diào)整制冷系統(tǒng)策略,可以有效降低制冷能耗,提高數(shù)據(jù)中心的能效。
目前,對數(shù)據(jù)中心的溫度預(yù)測主要有基于熱力學(xué)和數(shù)據(jù)驅(qū)動兩類方法[2]?;跓崃W(xué)的方法根據(jù)數(shù)據(jù)中心的幾何結(jié)構(gòu)、熱傳導(dǎo)特性、空氣流動和散熱設(shè)備等因素,使用物理原理和熱力學(xué)方程來建立數(shù)據(jù)中心的熱模型,以預(yù)測溫度變化。Lazic等[3]用計算流體力學(xué)(computational fluid dynamics, CFD)并配合卷積神經(jīng)網(wǎng)絡(luò)的方法,來預(yù)測數(shù)據(jù)中心機(jī)房溫度的分布情況,一定程度上增加了預(yù)測時間的長度和復(fù)雜性。Antal等[4]基于計算流體力學(xué)技術(shù),利用數(shù)值模擬來計算氣體在由邊界面定義的區(qū)域內(nèi)的流動,從而來預(yù)測數(shù)據(jù)中心機(jī)房內(nèi)的空氣溫度,但它的局限在于只有在溫度波動幅度較小的情況下才能預(yù)算較為準(zhǔn)確,同時模擬的時間和計算開銷無法忽略不計?;跓崃W(xué)的溫度預(yù)測方法較為復(fù)雜且預(yù)測時間較為冗長等局限性,因此在溫度預(yù)測上獲得較好的效果難度較大,并且計算的時間復(fù)雜度較高[5]。因此,該方法不適用于數(shù)據(jù)中心溫度預(yù)測。
基于數(shù)據(jù)驅(qū)動的方法使用歷史數(shù)據(jù)和其他相關(guān)特征來訓(xùn)練模型,并預(yù)測未來的溫度變化,這種方法通常基于機(jī)器學(xué)習(xí)算法,如回歸模型、支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)等。Anh等[6]以及Kang等[7]用長短期記憶網(wǎng)絡(luò)(LSTM,long short-term memory)來預(yù)測數(shù)據(jù)中心溫度,由于LSTM模型的結(jié)構(gòu)和參數(shù)較為復(fù)雜,在預(yù)測過程中需要不斷地調(diào)整參數(shù)的數(shù)量和參數(shù)組合,導(dǎo)致迭代次數(shù)不斷增加,從而對最終預(yù)測時間和效果造成了影響。吳亞奇等[8]將粒子群算法與蟻群算法混合, 用于支持向量機(jī)模型的參數(shù)優(yōu)化,對數(shù)據(jù)中心機(jī)房內(nèi)不同位置的機(jī)架溫度進(jìn)行模擬預(yù)測,并與真實數(shù)據(jù)對比驗證預(yù)測結(jié)果的準(zhǔn)確性。然而支持向量機(jī)作為一個比較傳統(tǒng)的機(jī)器學(xué)習(xí)模型,對于大型數(shù)據(jù)集的處理和參數(shù)優(yōu)化等方面還是較為欠缺,預(yù)測性能一般[9]。
基于數(shù)據(jù)驅(qū)動的溫度預(yù)測方法參數(shù)選擇不夠精確會對實驗結(jié)果造成嚴(yán)重影響,但可以針對問題使用混合模型來減小問題影響從而提升性能。與此同時,常用的模型預(yù)測時間過長也是不容忽視的問題。本文提出了一種基于門控循環(huán)單元(GRU,gated recurrent unit)的方法,實時預(yù)測數(shù)據(jù)中心的溫度,并在GRU的基礎(chǔ)上引入卷積神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制來提高模型性能。該方法首先使用卷積神經(jīng)網(wǎng)絡(luò)對輸入的數(shù)據(jù)進(jìn)行局部特征提取,在卷積操作中加入數(shù)據(jù)空間的x坐標(biāo)和y坐標(biāo)信息來增強(qiáng)模型對輸入數(shù)據(jù)中的空間位置關(guān)系的理解;其次GRU相較于LSTM只有兩個記憶單元,在預(yù)測的時間和速度上會更加快速,收斂的速度也會更快;GRU通過門控機(jī)制能夠更好地建模和捕捉序列數(shù)據(jù)中的短期和長期依賴關(guān)系,提供更準(zhǔn)確的預(yù)測;GRU也可以通過門控機(jī)制有效地緩解梯度消失和爆炸問題,使得網(wǎng)絡(luò)能夠更好地處理長序列和更穩(wěn)定的梯度傳播;最后通過加入注意力機(jī)制計算GRU隱藏層的特征權(quán)重并分配權(quán)重。先將輸入的數(shù)據(jù)分為多個大小相同的塊,對塊內(nèi)數(shù)據(jù)利用軟注意力計算機(jī)制進(jìn)行計算;不同塊之間使用線性注意力計算;注意力的并行處理加快了計算速度,同時,給重要的時間步分配高比例的注意力權(quán)重,使模型在預(yù)測數(shù)據(jù)中心溫度時能夠更加準(zhǔn)確地捕捉到關(guān)鍵的模式和特征。最終構(gòu)建了基于門控循環(huán)單元和卷積神經(jīng)網(wǎng)絡(luò)并引入注意力機(jī)制的模型進(jìn)行溫度預(yù)測。結(jié)合數(shù)據(jù)中心的溫度和功耗信息,對服務(wù)器溫度進(jìn)行預(yù)測分析并驗證了該模型的有效性。
1 國內(nèi)外現(xiàn)狀分析
近年來,國內(nèi)外對基于電力數(shù)據(jù)中心的預(yù)測和優(yōu)化進(jìn)行了深入研究。在對數(shù)據(jù)中心預(yù)測的領(lǐng)域中,巨大的數(shù)據(jù)量和高度動態(tài)變化的數(shù)據(jù)是進(jìn)行研究的兩個重要特征。因此對數(shù)據(jù)的處理和選擇是至關(guān)重要的,提取合適的特征參數(shù)不僅可以提升模型預(yù)測性能,還能提升模型預(yù)測速度。石桃桃等[10]建立了POD-DBN混合模型,來快速預(yù)測數(shù)據(jù)中心的溫度分布。
通過降解模型本征正交分解(POD,proper orthogonal decomposition)來提取數(shù)據(jù)中心隨機(jī)變化過程中的主要特征參數(shù),利用少量最優(yōu)特征來實現(xiàn)復(fù)雜物理過程的重構(gòu),提取最優(yōu)特征參數(shù)作為預(yù)測模型的輸入;同時結(jié)合深度置信網(wǎng)絡(luò)(DBN,deep belief networks)更新模型的參數(shù),降低訓(xùn)練模型的復(fù)雜度,提升模型性能。Dogan等[11]針對數(shù)據(jù)中心制冷系統(tǒng)中的地板下送風(fēng)方式,使用數(shù)據(jù)模型模擬研究幾何參數(shù)對數(shù)據(jù)中心溫度的影響,初步測試結(jié)果發(fā)現(xiàn)機(jī)柜的高度和距離服務(wù)的距離影響比例較大;Zhang等[12]建立了CNN-LSTM混合模型,通過仿真得到能量堆的進(jìn)出水口的溫度參數(shù)以及周邊溫度場的數(shù)據(jù)參數(shù)的影響比例,提取比例權(quán)重較大的時間序列特征參數(shù),從而預(yù)測結(jié)果比其他基準(zhǔn)模型更加準(zhǔn)確。盧洪明等[13]在云數(shù)據(jù)中心能耗預(yù)測過程中,首先在服務(wù)器上部署Ganglia和Zabbix軟件以獲得所有的特征參數(shù),然后使用隨機(jī)森林(RF,random forest)算法對特征數(shù)據(jù)進(jìn)行分類并計算各特征的重要性,挑選重要性量比高于1%的數(shù)據(jù)作為實驗特征參數(shù),當(dāng)重要性量比低于1%則認(rèn)為這個特征對服務(wù)器能耗的貢獻(xiàn)忽略不計,因此對服務(wù)器能耗的預(yù)測,只會對提取出的重要性量比較高的參數(shù)進(jìn)行訓(xùn)練,最終提升了預(yù)測的準(zhǔn)確性和時間。
隨著深度學(xué)習(xí)的發(fā)展,一些在時間序列預(yù)測上效果良好的深度學(xué)習(xí)模型得到了國內(nèi)外的廣泛應(yīng)用。Wang等[14]提出了基于LSTM的超參數(shù)優(yōu)化算法來預(yù)測數(shù)據(jù)中心的溫度,該算法優(yōu)化了超參數(shù)選擇的過程,能夠快速預(yù)測和提前感知數(shù)據(jù)中心溫度的變化,提升了模型的預(yù)測精度;張霖等[15]針對數(shù)據(jù)中心制冷系統(tǒng)的非線性、時序變化、多變量耦合等特性,使用貝葉斯-隨機(jī)森林算法來預(yù)測數(shù)據(jù)中心制冷系統(tǒng)的冷卻水溫度,并與其他3個預(yù)測模型:高斯回歸、隨機(jī)森林、支持向量機(jī)進(jìn)行對比評估,使貝葉斯-隨機(jī)森林的預(yù)測模型參數(shù)得到了優(yōu)化,算法得到了提升,預(yù)測結(jié)果更加準(zhǔn)確。Saeed等[16]使用了深度神經(jīng)網(wǎng)絡(luò)(DNN,deep neural networks)模型來預(yù)測服務(wù)器的入口溫度,并提出了一種用于作業(yè)分配和遷移的算法,模擬仿真服務(wù)器作業(yè)調(diào)度來預(yù)測溫度,該預(yù)測準(zhǔn)確率達(dá)到了96.11%。胡瑾等[17]針對溫度的時序性、非線性及多耦合性等特征提出了基于1D CNN-GRU模型來預(yù)測日光下溫室的溫度,進(jìn)而實現(xiàn)溫室高效調(diào)控,并在提取參數(shù)過程中以斯皮爾曼
相關(guān)系數(shù)獲取相關(guān)性強(qiáng)的特征作為實驗數(shù)據(jù),提高了模型的預(yù)測性能。
2 本文方法
由于電力數(shù)據(jù)中心溫度數(shù)據(jù)在不同時段內(nèi)會隨著用戶的使用模式不斷變化,呈現(xiàn)周期性的波動,具有明顯的時序特性。如圖1所示,為了準(zhǔn)確地預(yù)測溫度變化,本文提出了適合處理時序特征的GRU模型進(jìn)行溫度預(yù)測的方法,該模型可以自適應(yīng)地學(xué)習(xí)和捕捉數(shù)據(jù)中心時間序列數(shù)據(jù)中長期依賴關(guān)系并進(jìn)行預(yù)測。該方法的輸入層中,不同顏色的長方形表示影響服務(wù)器溫度的參數(shù),即數(shù)據(jù)中心的機(jī)房室內(nèi)溫度、服務(wù)器入口溫度、服務(wù)器出口溫度、服務(wù)器功耗、服務(wù)器風(fēng)扇轉(zhuǎn)速、空調(diào)系統(tǒng)送回風(fēng)溫度、室內(nèi)濕度、服務(wù)器負(fù)載、GPU和CPU的負(fù)載、溫度、內(nèi)存的占比、磁盤利用率,這些輸入?yún)?shù)的序列長度一致;然后采用卷積神經(jīng)網(wǎng)絡(luò)(CNN,convolutional neural networks)對輸入數(shù)據(jù)進(jìn)行特征提取,在原本的卷積層基礎(chǔ)上添加了兩個通道,分別表示數(shù)據(jù)的x坐標(biāo)和y坐標(biāo),增強(qiáng)模型對時間序列中不同位置信息的捕捉能力;接下來輸入GRU層和注意力層進(jìn)一步提取特征,通過對數(shù)據(jù)分塊處理和并行計算,能夠更加快速地使用注意力機(jī)制分配權(quán)重,同時減小不重要特征對預(yù)測結(jié)果的影響,最后通過全連接層得到預(yù)測結(jié)果。
由于服務(wù)器的溫度變化比環(huán)境溫度變化快得多,掌握數(shù)據(jù)中心的服務(wù)器溫度變化,提前對制冷設(shè)備進(jìn)行調(diào)整,可以有效避免溫度滯后等問題。因此本文模型的輸出層為指定時刻預(yù)測的服務(wù)器入口溫度。以上即為所建立的CNN-GRU-Attention溫度預(yù)測模型的具體架構(gòu)。
本文方法使用了卷積神經(jīng)網(wǎng)絡(luò)層更準(zhǔn)確地對數(shù)據(jù)進(jìn)行特征提?。粩?shù)據(jù)中心溫度數(shù)據(jù)通常會呈現(xiàn)一定的空間分布規(guī)律,例如不同的服務(wù)器或機(jī)柜在數(shù)據(jù)中心內(nèi)的位置會影響其受熱程度,從而導(dǎo)致不同的溫度變化模式。本文設(shè)計的CNN為了更有效地捕捉數(shù)據(jù)空間位置的信息,添加了兩個通道來表示數(shù)據(jù)空間上的x坐標(biāo)和y坐標(biāo),在利用卷積層和池化層的操作,可以對輸入的溫度數(shù)據(jù)進(jìn)行局部感知和特征提取,增強(qiáng)對溫度數(shù)據(jù)中的空間相關(guān)性的捕捉能力;通過卷積層的濾波器與輸入數(shù)據(jù)進(jìn)行卷積操作,CNN能夠識別出輸入數(shù)據(jù)中的局部模池化層,可以減少數(shù)據(jù)的維度,并保留最顯著的特征;并且CNN層在不同時間共享參數(shù),
減少了模型的參數(shù)量,降低了模型的復(fù)雜性,減少了模型總體的預(yù)測時間;同時本文選用了GRU模型能夠更好地學(xué)習(xí)時序特性的溫度數(shù)據(jù),它的結(jié)構(gòu)也更加簡單,因此運行速度更快;由于不同時刻的溫度信息對預(yù)測結(jié)果有不同的影響,而GRU可能無法準(zhǔn)確識別溫度序列中的關(guān)鍵序列信息,導(dǎo)致輸入序列中的部分信息被同等計算,這可能會導(dǎo)致模型預(yù)測精度降低并增加計算時間,加入注意力機(jī)制可以計算GRU隱藏層的特征權(quán)重,分別對塊內(nèi)和塊之間的注意力處理,加快了注意力計算速度,幫助模型集中注意與溫度預(yù)測最相關(guān)的特征,減少對不重要信息的關(guān)注,提高預(yù)測準(zhǔn)確度。因此使用CNN-GRU-Attention混合模型能夠抽取更重要的時序特征進(jìn)行預(yù)測,在更短的時間內(nèi)捕捉溫度的變化趨勢,相比較其他神經(jīng)網(wǎng)絡(luò)模型在對溫度預(yù)測上有著更好的性能。
2.1 卷積神經(jīng)網(wǎng)絡(luò)
卷積神經(jīng)網(wǎng)絡(luò)通過利用卷積層和池化層可以對輸入的時刻Ti(i=1,2,…,k)溫度時序數(shù)據(jù)進(jìn)行局部感知和特征提取,其參數(shù)共享也可以降低數(shù)據(jù)維度。卷積層是CNN的核心,利用權(quán)值共享對輸入進(jìn)行卷積操作,提取深層特征。在傳統(tǒng)的卷積操作之前,本文向輸入中添加了額外的坐標(biāo)通道。這些坐標(biāo)通道包含了數(shù)據(jù)在空間中的坐標(biāo)信息,即x坐標(biāo)和y坐標(biāo),從而能夠捕獲輸入數(shù)據(jù)的空間相關(guān)性,同時保留CNN參數(shù)共享和降維的優(yōu)勢。
首先,通過卷積層來添加坐標(biāo)信息:
Tcoord=AddCoords(T)(1)
式中:Tcoord為添加了坐標(biāo)信息的數(shù)據(jù);AddCoords函數(shù)負(fù)責(zé)生成坐標(biāo)通道并將其與原始數(shù)據(jù)拼接。
接著將Tcoord輸入到卷積層進(jìn)行特征提取:
C=f(Tcoord·W+b)(2)
式中:C為卷積層的輸出特征圖;f為非線性激活函數(shù);W為卷積核的權(quán)重向量;b為偏置項。
池化層在卷積層的基礎(chǔ)上保留主要特征的同時減少參數(shù)數(shù)量和計算量,防止過擬合。池化過程可以用下面的方程表示:
p=pool(C)(3)
2.2 門控循環(huán)單元
本文使用的門控循環(huán)單元網(wǎng)絡(luò)是一種改進(jìn)的LSTM神經(jīng)網(wǎng)絡(luò),通常被使用于時序預(yù)測。GRU的模型內(nèi)部結(jié)構(gòu)如圖2所示。相對于LSTM具有輸入門、遺忘門和輸出門,GRU只有兩個記憶單元:更新門和重置門,因此GRU模型訓(xùn)練參數(shù)有所減少,計算復(fù)雜度較低,提升了訓(xùn)練效率,在很多情況下優(yōu)于LSTM。同時,GRU也可以解決傳統(tǒng)RNN網(wǎng)絡(luò)中的梯度消失問題。
GRU的公式表達(dá)如下:
rt=σ(Wr·[ht-1,xt])(4)
zt=σ(Wz·[ht-1,xt])(5)
t=tanh(W·[rt·ht-1,xt])(6)
ht=(1-zt)·ht-1+zt·t(7)
yt=σ(w0·ht)(8)
式中:rt和zt分別為GRU的重置門和更新門;xt為當(dāng)前的輸入;ht-1為前一時刻傳遞下來的隱藏狀態(tài)。通過結(jié)合xt和ht-1,
可以得到當(dāng)前隱藏節(jié)點的輸出yt以及傳遞給下一個節(jié)點的隱藏狀態(tài)ht。重置門影響重置候選隱藏狀態(tài)t。權(quán)重向量W是包含隱藏狀態(tài)權(quán)重wh、輸入變量權(quán)重wx和w0為輸出權(quán)重的關(guān)鍵組件。
2.3 注意力機(jī)制
本文選用的注意力機(jī)制,通過將輸入序列劃分為多個固定大小的塊,每個塊的大小由參數(shù)B決定,整個序列被劃分為T=n/B個塊,其中n為序列的總長度。并在每個塊上并行計算注意力,對不同塊之間使用線性注意力計算,從而顯著提高了計算效率。
首先將輸入序列劃分為多個大小為c的塊,其中c代表每個塊中的元素數(shù)量。每個塊并行、獨立地使用傳統(tǒng)的注意力機(jī)制,計算公式如下:
Ointra=[(QiKTi)⊙M]Vi(9)
其中:Ointra為塊內(nèi)輸出;Qi、Ki、Vi分別為第i個塊的Query、Key、Value矩陣;⊙表示逐元素乘積;M為一個掩碼矩陣,用于控制注意力分?jǐn)?shù)的衰減。
其次采用線性注意力核對塊間注意力進(jìn)行計算。通過利用平鋪技術(shù)來分別處理塊內(nèi)和塊間的計算。計算公式如下:
Ointer=ΛQi(KV)(10)
其中:Ointer為塊間的輸出;Λ為一個衰減矩陣,用于調(diào)整跨塊的注意力權(quán)重;KV為跨塊累積的Key矩陣與Value的乘積,包含了之前所有塊的信息,并且隨著每個新塊的計算而更新。使得在并行處理每個塊的情況下,也能保持序列的連貫性和長距離的依賴。
KV矩陣的更新公式如下:
KVt=λBKV(t-1)+(λBΛ-1Ki)TVi(11)
式中:KVt為第t個塊之后更新的KV矩陣;λ為衰減率,Ki和Vi分別是當(dāng)前塊的Key和Value矩陣。Λ-1為衰減矩陣的逆,用于調(diào)整Ki和Vi的乘積。
最終,每個塊的輸出是塊內(nèi)和塊間輸出的總和,公式如下:
Oi=Ointra+Ointer(12)
式中:Oi代表了第i個塊注意力的最終輸出。
3 實驗與分析
本文CNN-GRU-Attention溫度預(yù)測模型的具體實驗步驟如下:
1)將采集的數(shù)據(jù)中心溫度時序數(shù)據(jù)輸入CNN;
2)CNN通過不斷訓(xùn)練和迭代由卷積層學(xué)習(xí)并提取重要性量比高的特征,添加位置坐標(biāo)來捕捉空間位置關(guān)系,再由最大池化層降低維度,完成深層特征提??;
3)將CNN提取到的特征送入到GRU中進(jìn)行訓(xùn)練;
4)引入注意力機(jī)制,將輸入的數(shù)據(jù)分為blocks,分別對塊內(nèi)和塊之間應(yīng)用注意力機(jī)制,計算GRU隱藏層的權(quán)重,保留重要特征;
5)在全連接層得到最終預(yù)測的服務(wù)器入口溫度;
6)對模型的預(yù)測效果進(jìn)行評價分析。
3.1 實驗數(shù)據(jù)
3.1.1 數(shù)據(jù)采集
為了建立數(shù)據(jù)中心溫度預(yù)測模型,首先需要收集數(shù)據(jù)中心機(jī)房內(nèi)溫度相關(guān)的實測數(shù)據(jù)。
數(shù)據(jù)中心機(jī)房內(nèi)主要的熱量產(chǎn)生來源為服務(wù)器散熱,服務(wù)器散熱溫度主要取決于服務(wù)器運行功率大小以及內(nèi)部風(fēng)扇轉(zhuǎn)速,同時CPU溫度也可以體現(xiàn)服務(wù)器溫度的變化規(guī)律。而空調(diào)系統(tǒng)對服務(wù)器的散熱以及室內(nèi)溫度都有著重要的影響。
因此本文以內(nèi)蒙古某A級數(shù)據(jù)中心某一層的機(jī)房為例采集數(shù)據(jù),監(jiān)控服務(wù)器和空調(diào)系統(tǒng)與溫度相關(guān)的數(shù)據(jù)變化,且均采用內(nèi)部服務(wù)器傳感器和無線傳感器網(wǎng)絡(luò)進(jìn)行全面監(jiān)控。
本文的實驗環(huán)境由配備1個四核CPU和16GB RAM的NVIDIA GeForce RTX 2080的服務(wù)器組成。服務(wù)器與另外4臺服務(wù)器、2臺交換機(jī)和2臺UPS單元一起安裝在一個機(jī)架中,機(jī)架入口面向冷空氣供應(yīng),出口朝向散熱口。
由于服務(wù)器沒有裝載功耗傳感器,本文使用連接到服務(wù)器電源線上的智能功率電流表來收集服務(wù)器總功率(如圖4所示)。通過下載電流表配備的軟件即可查看和保存實時的服務(wù)器功率信息。
服務(wù)器CPU溫度和風(fēng)扇轉(zhuǎn)速值通過服務(wù)器內(nèi)部傳感器獲取,通過智能平臺管理接口(IPMI)采集,如圖5和圖6所示。通過在IPMI接口接入網(wǎng)線,并登陸上指定服務(wù)器打開IPMI的網(wǎng)絡(luò)通信功能,則可以查詢服務(wù)器的風(fēng)扇轉(zhuǎn)速和CPU溫度等信息,同時可以將采集到的數(shù)據(jù)發(fā)送到監(jiān)控服務(wù)器以查看和修改。
溫濕度無線傳感器監(jiān)測服務(wù)器入口溫度、服務(wù)器出口溫度和數(shù)據(jù)中心機(jī)房溫濕度。配備環(huán)境監(jiān)控系統(tǒng)用于實時監(jiān)測空調(diào)的溫度、濕度和風(fēng)速。采集到的數(shù)據(jù)發(fā)送到監(jiān)控服務(wù)器進(jìn)行存儲和對齊,以確保有共同的時間戳。關(guān)鍵是需要保證采集的數(shù)據(jù)具有一定的時序性和可靠性。
3.1.2 數(shù)據(jù)中心溫度特征參數(shù)選擇和預(yù)處理
在建立預(yù)測模型之前,需要挑選適當(dāng)?shù)奶卣鲄?shù)來描述數(shù)據(jù)中心的狀態(tài)。特征參數(shù)作為預(yù)測模型的輸入變量,對實驗的效果至關(guān)重要,因此,特征參數(shù)應(yīng)選擇對數(shù)據(jù)中心溫度具有顯著影響的參數(shù)類型,實際選取的特征參數(shù)如表1所示。
然后對數(shù)據(jù)預(yù)處理,對采集到的服務(wù)器的入口溫度,首先進(jìn)行數(shù)據(jù)清洗,使用低通濾波器識別并消除高頻噪聲;然后采用歸一化將原始數(shù)據(jù)縮放到在(-1,1)之間,降低模型對于特征尺度的敏感度,便于模型的訓(xùn)練。
3.2 具體實驗
本文選用的CNN-GRU-Attention溫度預(yù)測模型的參數(shù)配置如下:CNN選用卷積層數(shù)為2;卷積核個數(shù)設(shè)為32;激活函數(shù)選用Relu;時間步長固定為10;Dropout值為0.5;Batch size即訓(xùn)練的批量大小為128;Epoch即迭代次數(shù)為200;初始學(xué)習(xí)率為0.001;損失函數(shù)選用MSE;梯度下降的方式采用Adam,不斷更新參數(shù),一次迭代直至損失函數(shù)收斂。
本文以10s的采樣間隔采集所有挑選出來的特征參數(shù)的數(shù)據(jù),總時間為24h,其中20h用于訓(xùn)練集,4h用于測試集。圖7展示了用于建模的部分訓(xùn)練集,分別為某臺服務(wù)器的入口溫度(圖7(a))、服務(wù)器的功耗(圖7(b))、服務(wù)器的風(fēng)扇轉(zhuǎn)速(圖7(c))和服務(wù)器的CPU溫度數(shù)據(jù)(圖7(d)),橫軸表示時間,單位是秒s,表示服務(wù)器入口溫度、服務(wù)器功耗、服務(wù)器風(fēng)扇轉(zhuǎn)速和CPU溫度隨時間的變化,時間范圍從1000s到8000s。
本文首先采用卷積神經(jīng)網(wǎng)絡(luò)處理輸入數(shù)據(jù)的時序特征,通過一系列卷積層和池化層,結(jié)合空間坐標(biāo)信息對輸入數(shù)據(jù)進(jìn)行特征提取和下采樣。卷積層通過融入坐標(biāo)信息,增強(qiáng)了模型對空間特征的捕捉
能力。隨后,數(shù)據(jù)經(jīng)過GRU層進(jìn)行建模,以捕捉數(shù)據(jù)的時間序列特征。在此基礎(chǔ)上,本文進(jìn)一步引入了改進(jìn)的注意力機(jī)制,通過使用分塊處理和并行計算,顯著提升了模型對溫度數(shù)據(jù)關(guān)鍵特征的關(guān)注程度,有效提高了預(yù)測性能和準(zhǔn)確性,并加快了計算速度。其次對特征數(shù)據(jù)進(jìn)行訓(xùn)練,然后根據(jù)預(yù)定義的損失函數(shù)進(jìn)行參數(shù)優(yōu)化。在訓(xùn)練過程中,使用Adam優(yōu)化算法和0.001的學(xué)習(xí)率衰減策略來提高訓(xùn)練效果。得到最終預(yù)測結(jié)果之后,使用測試集評估訓(xùn)練好的模型的性能,計算預(yù)測值與真實值之間的誤差。
將可視化預(yù)測結(jié)果與真實值對比,以便直觀地評估模型的質(zhì)量和準(zhǔn)確性,預(yù)測出的服務(wù)器入口溫度如圖8所示。藍(lán)色的曲線為實際測量的服務(wù)器入口溫度,紅色曲線為預(yù)測的服務(wù)器入口溫度。根據(jù)曲線的重合度與拐點對比,可知CNN-GRU-Attention預(yù)測曲線與實際觀測值一致性良好;在溫度波動較小的時候,預(yù)測稍有偏差,總體上預(yù)測較為準(zhǔn)確。
3.3 結(jié)果分析
3.3.1 與其他方法比較
本文采用均方根誤差(RMSE)、平均絕對誤差(MAE)和平均絕對百分比誤差(MAPE)來評估預(yù)測效果。
SRMSE=1n∑ni=1(Mi-Pi)2(13)
SMAE=1n∑ni=1∣Pi-Mi∣(14)
SMAPE=100%n∑ni=1∣Mi-Pi∣Mi(15)
式中:n為樣本數(shù);Mi和Pi分別為實測溫度和預(yù)測溫度,i=1,2,3,…,n;SMAPE和SRMSE表示預(yù)測溫度與實測溫度的偏差;SMAE越接近零,模型的預(yù)測效果越好。
同時,本文方法與支持向量機(jī)(SVM)[1]、長短時記憶網(wǎng)絡(luò)(LSTM)[6]、門控循環(huán)單元(GRU)[20]、CNN+LSTM[27]、POD[10]和POD-DBN[34]進(jìn)行了對比,以相同數(shù)據(jù)集作為輸入,對比結(jié)果如表2所示。
從表2中可以看出,POD和 POD-DBN取得了良好的性能指標(biāo)。POD是數(shù)據(jù)中心溫度場降階重構(gòu)的一種常用模型,通過識別溫度場中的主要特征,將復(fù)雜的三維溫度場轉(zhuǎn)化為一組具有代表性的模態(tài)系數(shù),從而可以更清晰地反應(yīng)數(shù)據(jù)中心內(nèi)部的溫度分布情況。POD-DBN使用DBN提高了模型的泛化能力。然而這兩種模型主要關(guān)注于數(shù)據(jù)中心溫度數(shù)據(jù)的特征提取和降維,對長時間序列中依賴關(guān)系的捕捉能力較弱。
本文方法將GRU和CNN相結(jié)合,能夠更加充分地進(jìn)行特征提取,添加了數(shù)據(jù)空間上的x坐標(biāo)和y坐標(biāo)通道,更有效地捕捉數(shù)據(jù)之間的空間相關(guān)性,提高了預(yù)測精度。同時,本文方法使用的注意力機(jī)制,通過引入分塊處理方法,優(yōu)化了模型在長序列上的性能,加強(qiáng)了對時間序列數(shù)據(jù)中的重要特征的關(guān)注,使得模型能夠自適應(yīng)地關(guān)注于對預(yù)測最為重要的時間步和特征,增強(qiáng)了模型對數(shù)據(jù)的理解,提高了預(yù)測的準(zhǔn)確性。因此,本文方法的預(yù)測準(zhǔn)確度更高,誤差更小。
本文方法和其他對比方法在RMSE、MAE和MAPE上收斂趨勢的對比結(jié)果如圖9所示。
由圖9可看出,本文方法的RMSE、MAE和MAPE相比其他方法收斂更快,且隨迭代次數(shù)增加,下降更為平穩(wěn)。本文方法中,帶有空間位置信息的CNN和GRU的結(jié)合為模型提供了強(qiáng)大的特征提取能力,這有助于模型更快地學(xué)習(xí)到數(shù)據(jù)的內(nèi)在結(jié)構(gòu)和空間相關(guān)性;同時將輸入數(shù)據(jù)分為blocks塊后,對塊內(nèi)和塊之間使用注意力機(jī)制計算,更有效地捕捉數(shù)據(jù)局部和全局地特征,并動態(tài)調(diào)整特征參數(shù)顯著減少了計算時間,幫助模型更快地收斂。因此,本文所提方法具有更好的收斂性。
3.3.2 消融實驗
為了進(jìn)一步驗證本文實驗混合模型的有效性,采用GRU、CNN+GRU和CNN+GRU+Attention進(jìn)行消融實驗對比驗證,各模型的實驗誤差如表3所示。可見CNN+GRU加入CNN之后預(yù)測效果比單獨的GRU模型預(yù)測效果更好;在此基礎(chǔ)上再引入Attention注意力機(jī)制使得模型預(yù)測的效果最優(yōu)。
圖10為消融實驗下溫度預(yù)測的結(jié)果可視化。可見在GRU的基礎(chǔ)上加入帶有空間信息的CNN之后,模型能夠較好地與真實值趨勢相擬合;但模型仍然存在的問題是對于全局的峰值、峰谷和轉(zhuǎn)折點出擬合度較差, 預(yù)測效果一般。在此基礎(chǔ)上再引用Attention注意力機(jī)制時,通過加入分塊處理和并行計算,優(yōu)化了模型對長序列時間依賴性的學(xué)習(xí)能力,增強(qiáng)了模型對時間序列中重要信息的識別,從而能夠更好地捕捉時間序列數(shù)據(jù)的關(guān)系,擬合峰谷值,做出更好地預(yù)測。
4 結(jié) 論
由于數(shù)據(jù)中心溫度數(shù)據(jù)具有時序特性,本文提出了適合處理時序數(shù)據(jù)的GRU模型進(jìn)行溫度預(yù)測,并使用帶有空間位置信息的卷積神經(jīng)網(wǎng)絡(luò)提取了輸入數(shù)據(jù)中的高維特征,更有效地捕捉溫度數(shù)據(jù)空間上的信息;引入注意力機(jī)制對GRU隱藏層的特征進(jìn)行了加權(quán),使模型將注意力集中在與溫度變化最相關(guān)的特征上。通過將序列劃分為較小的塊并行處理,增強(qiáng)了模型對關(guān)鍵時間步和特征的關(guān)注,顯著提高了模型處理長序列的能力,并減少了計算資源的需求。同時本文以SVM、LSTM、GRU、CNN-LSTM和CNN-GRU作為對比實驗比較模型的性能。實驗結(jié)果表明,本文提出的方法誤差值最小,預(yù)測結(jié)果能夠更好地與實際結(jié)果擬合。由于數(shù)據(jù)中心溫度的熱動態(tài)特性,本文只選擇了短期時間內(nèi)的歷史溫度數(shù)據(jù)來預(yù)測。未來的工作中,將考慮擴(kuò)大歷史溫度數(shù)據(jù)收集的時間范圍,從而更好地捕捉溫度的長期趨勢和周期性變化,提高預(yù)測模型的準(zhǔn)確性和穩(wěn)定性。
參 考 文 獻(xiàn):
[1] 傅玨忻. 數(shù)據(jù)中心溫度預(yù)測與空調(diào)控制策略研究[D]. 重慶:重慶大學(xué), 2020.
[2] 徐一軒,伍衛(wèi)國,王思敏,等.基于長短期記憶網(wǎng)絡(luò)(LSTM)的數(shù)據(jù)中心溫度預(yù)測算法[J]. 計算機(jī)技術(shù)與發(fā)展, 2019, 29(12): 1.
XU Yixuan, WU Weiguo, WANG Simin, et al. Data Center Temperature Prediction Algorithm Based on Long Short-term Memory Network(LSTM)[J]. Computer Technology and Development, 2019, 29(12): 1.
[3] LAZIC N, BOUTILIER C, LU T, et al. Data Center Cooling Using Model-predictive Control[J]. Advances in Neural Information Processing Systems, 2018, 31:3818.
[4] ANTAL M, CIOARA T, ANGHEL I, et al. Reuse of Data Center Waste Heat in Nearby Neighborhoods: A Neural Networks-Based Prediction Model[J]. Energies, 2019, 12(5): 814.
[5] HUANG N, LI X, XU Q, et al. Artificial Intelligence-Based Temperature Twinning and Pre-Control for Data Center Airflow Organization[J]. Energies, 2023, 16(16): 6063.
[6] ANH N T N, HOANG VV, LINH B D, et al. An Analysis of the Effect Between the Heat Index and Long Short-Term Memory Model to Electricity Load Forecasting[J]. Annals of Computer Science and Information Systems, 2021, 27: 1.
[7] KANG Y, MA C, WANG S, et al. A Two-segment LSTM Based Data Center Temperature Prediction Model[J]. IEICE Electronics Express, 2022, 19(21).
[8] 吳亞奇,付保川,陳珍萍.數(shù)據(jù)中心機(jī)房機(jī)架溫度預(yù)測模型研究[J]. 蘇州科技大學(xué)學(xué)報(工程技術(shù)版), 2019, 32(2): 64.
WU Yaqi, FU Baochuan, CHEN Zhenping. Research on the Prediction Model of Rack Temperature in Data Center Server Room[J]. Journal of Suzhou University of Science and Technology. (Engineering and Technology Edition), 2019, 32(2): 64.
[9] LI Z, ZHU W, ZHU B, et al. Thermal Error Modeling of Electric Spindle Based on Particle Swarm Optimization-SVM Neural Network[J]. The International Journal of Advanced Manufacturing Technology, 2022, 121(11): 7215.
[10]石桃桃. 數(shù)據(jù)中心熱環(huán)境快速預(yù)測及基于熱點反演的空調(diào)送風(fēng)溫度優(yōu)化控制研究[D]. 上海:上海交通大學(xué), 2021.
[11]DOGAN A, YILMAZ S, KUZAY M, et al. Conjugate Heat Transfer Modeling of a Cold Plate Design for Hybrid-Cooled Data Centers[J]. Energies, 2023, 16(7):3088.
[12]ZHANG W, ZHOU H, BAO X, et al. Outlet Water Temperature Prediction of Energy Pile Based on Spatial-temporal Feature Extraction Through CNN-LSTM Hybrid Model[J]. Energy, 2023, 264:126190.
[13]盧洪明,劉先鋒,周舟,等.機(jī)器學(xué)習(xí)方法的云數(shù)據(jù)中心能耗模型研究[J/OL]. 小型微型計算機(jī)系統(tǒng): 1.
LU Hongming, LIU Xianxian, ZHOU Zhou, et al. Research on Energy Consumption Model of Cloud Data Center Based on Machine Learning Method[J/OL]. Small Microcomputer Systems: 1.
[14]WANG S, MA C, XU Y, et al. A Hyperparameter Optimization Algorithm for the LSTM Temperature Prediction Model in Data Center[J]. Scientific Programming, 2022(1):6519909.
[15]張霖,孟祥來.基于貝葉斯-隨機(jī)森林的數(shù)據(jù)中心制冷系統(tǒng)溫度預(yù)測[J]. 自動化與儀器儀表,2023, 283(5): 6.
ZHANG Lin, MENG Xianglai. Temperature Prediction of Data Center Cooling System Based on Bayesian-random Forest[J]. Automation and Instrumentation, 2023, 283(5): 6.
[16]SAEED A, RUIXUAN L, MUHAMMAD W, et al. Server Temperature Prediction Using Deep Neural Networks to Assist Thermal-aware Scheduling[J]. Sustainable Computing: Informatics and Systems, 2022, 36:100809.
[17]胡瑾,雷文曄,盧有琦,等.基于1D CNN-GRU的日光溫室溫度預(yù)測模型研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報, 2023, 54(8): 339.
HU Jin, LEI Wenye, LU Youqi, et al. Research on Temperature Prediction Model of Solar Greenhouse Based on 1D CNN-GRU[J]. Journal of Agricultural Machinery, 2023, 54(8): 339.
[18]KENTAROH S, HAYATO S,YOSHIHIRO K, et al. Improving Accuracy of Temperature Distribution and Energy-Saving Technology of Air Conditioners in Data Centers[J]. IEEE Transactions on Components, Packaging and Manufacturing Technology, 2018, 8(5):811.
[19]DAMING Z, JIANTAO Z. An Energy and Carbon-aware Algorithm for Renewable Energy Usage Maximization in Distributed Cloud Data Centers[J]. Journal of Parallel and Distributed Computing, 2022, 165:156.
[20]張敏敏.基于深度學(xué)習(xí)的氣溫預(yù)測研究[D].石家莊:河北經(jīng)貿(mào)大學(xué),2023.
[21]ZAPATER M, RISCO-MARTN J L, ARROBA P, et al. Runtime Data Center Temperature Prediction Using Grammatical Evolution Techniques[J]. Applied Soft Computing, 2016, 49: 94.
[22]CAO Z, WANG R, ZHOU X, et al.Reducio: Model Reduction for Data Center Predictive Digital Twins Via Physics-guided Machine Learning[C]//Proceedings of the 9th ACM International Conference on Systems for Energy-Efficient Buildings, Cities, and Transportation. 2022: 1.
[23]周清.數(shù)據(jù)中心內(nèi)服務(wù)器的特征分析與能耗預(yù)測研究[D]. 南京:南京郵電大學(xué), 2022.
[24]CHUANG L, DAN Z, CHUNHUA H, et al. ECDX: Energy Consumption Prediction Model Based on Distance Correlation and XGBoost for Edge Data Center[J]. Information Sciences, 2023, 643:119218.
[25]楊麗娜,趙鵬,王佩哲.基于GRU神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)中心能耗預(yù)測模型研究[J]. 電力信息與通信技術(shù), 2021, 19(3): 10.
YANG Lina, ZHAO Peng, WANG Peizhe. Research on Data Center Energy Consumption Prediction Model Based on GRU Neural Network[J]. Electric Power Information and Communication Technology, 2021, 19(3): 10.
[26]岑崗,蔡永平,岑躍峰.基于深度學(xué)習(xí)的永磁同步電機(jī)溫度預(yù)測模型[J]. 浙江科技學(xué)院學(xué)報, 2022, 34(3): 216.
CEN Gang, CAI Yongping, CEN Yuefeng. Temperature Prediction Model of Permanent Magnet Synchronous Motor Based on Deep Learning[J]. Journal of Zhejiang University of Science and Technology, 2022, 34(3): 216.
[27]JINGWEI H, YANJUAN W, JI Z, et al. Prediction of Hourly Air Temperature Based on CNN-LSTM[J]. Geomatics, Natural Hazards and Risk, 2022, 13(1):1962.
[28]YING H, KAIQIANG S, JIANING Y, et al. The CNN-GRU Model with Frequency Analysis Module for Sea Surface Temperature Prediction[J]. Soft Computing,2023, 27(13):8711.
[29]DEY N, GUNASEKHAR T, PURNurnACHAND K. ACO-Inspired Load Balancing Strategy for Cloud-Based Data Centre with Predictive Machine Learning Approach[J]. Computers, Materials amp; Continua, 2023, 75(1):513.
[30]SUCHANG L, JUNHO H, SEOKHOON H, et al. Solar Power Forecasting Using CNN-LSTM Hybrid Model[J]. Energies, 2022, 15(21):8233.
[31]吳瑩瑩,趙麗寧,袁志鑫,等.基于注意力機(jī)制的CNN-GRU船舶交通流預(yù)測模型[J].大連海事大學(xué)學(xué)報, 2023, 49(1): 75.
WU Yingying, ZHAO Lining, YUAN Zhixin, et al. CNN-GRU Ship Traffic Flow Prediction Model Based on Attention Mechanism[J]. Journal of Dalian Maritime University, 2023, 49(1): 75.
[32]趙兵,王增平,紀(jì)維佳,等. 基于注意力機(jī)制的CNN-GRU短期電力負(fù)荷預(yù)測方法[J].電網(wǎng)技術(shù), 2019, 43(12):4370.
ZHAO Bing, WANG Zengping, JI Weijia, et al. CNN-GRU Short-term Power Load Forecasting Method Based on Attention Mechanism[J]. Power System Technology, 2019, 43(12):4370.
[33]ZHAO X, HUANG L, NIE Y. Temperature Prediction Based on Integrated Deep Learning and Attention Mechanism[C]//2021 IEEE 6th International Conference on Computer and Communication Systems (ICCCS). IEEE, 2021: 163.
[34]石桃桃,趙愛國,朱旭,等.基于深度置信網(wǎng)絡(luò)模型改進(jìn)的數(shù)據(jù)中心溫度場本征正交分解預(yù)測模型[J].制冷技術(shù),2023,43(2):35.
[35]LIU R, LEHMAN J, MOLINO P, et al. An Intriguing Failing of Convolutional Neural Networks and Thecoordconv Solution[J]. Advances in Neural Information Processing Systems, 2018, 31.
[36]QIN Z, SUN W, LI D, et al. Lightning Attention-2: A Free Lunch for Handling Unlimited Sequence Lengths in Large Language Models[J].arXiv Preprint arXiv:2401.04658, 2024.
(編輯:溫澤宇)