• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于GRU的數(shù)據(jù)中心溫度預(yù)測

    2024-03-28 00:00:00王旭托婭李鑫王芳李晨霞丁博

    摘 要:隨著數(shù)據(jù)中心規(guī)模的不斷擴(kuò)大,電力的消耗也急劇增加,降低數(shù)據(jù)中心的能耗變得越來越重要,因此預(yù)測機(jī)房實時的溫度變化,提前調(diào)整制冷系統(tǒng)控制策略,對減少數(shù)據(jù)中心的總能耗、提高能源效率具有重要意義。針對此問題提出了一種基于門控循環(huán)單元(GRU)的電力數(shù)據(jù)中心溫度預(yù)測模型,并與卷積神經(jīng)網(wǎng)絡(luò)(CNN)和注意力機(jī)制(Attention)相結(jié)合,該方法以內(nèi)蒙古某數(shù)據(jù)中心機(jī)房的歷史溫度數(shù)據(jù)作為輸入,使用卷積神經(jīng)網(wǎng)絡(luò)提取高維特征,并加入了數(shù)據(jù)空間位置上的特征,將提取到的特征向量以時序特征集輸入到GRU中進(jìn)行特征提取和分析。同時利用注意力機(jī)制計算GRU隱藏層的注意力得分,將傳給Attention的數(shù)據(jù)分為多個塊,分別對塊內(nèi)和塊間應(yīng)用注意力機(jī)制,并分配注意力權(quán)重,突出高相關(guān)特征的影響,加快計算速度,最后完成溫度預(yù)測。以內(nèi)蒙古某數(shù)據(jù)中心提供的溫度數(shù)據(jù)集開展實驗,并與其他神經(jīng)網(wǎng)絡(luò)模型進(jìn)行對比,實驗結(jié)果表明本文所提方法具有更好的收斂性和更高的準(zhǔn)確性。

    關(guān)鍵詞:數(shù)據(jù)中心;溫度預(yù)測;門控循環(huán)單元;卷積神經(jīng)網(wǎng)絡(luò);注意力機(jī)制

    DOI:10.15938/j.jhust.2024.06.010

    中圖分類號: TP308

    文獻(xiàn)標(biāo)志碼: A

    文章編號: 1007-2683(2024)06-0101-11

    Temperature Prediction Model for Power Data Centers Based on GRU

    WANG Xu1, TUO Ya2, LI Xin3, WANG Fang1, LI Chenxia1, DING Bo4

    (1.Inner Mongolia Electric Power Economic and Technical Research Institute, Hohhot 010010, China;

    2.Inner Mongolia Electric Power (Group) Co., Ltd., Hohhot 010010, China;

    3.College of Energy and Power Engineering, Inner Mongolia University of Technology, Hohhot 010051, China;

    4.School of Computer Science and Technology, Harbin University of Science and Technology Harbin 150080, China)

    Abstract:With the rapid expansion of data center infrastructure, the energy consumption has become a major concern. Reducing data center power consumption and improving energy efficiency are crucial. This paper proposes a power-efficient data center temperature prediction model based on Gated Recurrent Unit (GRU) integrated with Convolutional Neural Network (CNN) and Attention Mechanism. The model leverages historical temperature data from a data center in Inner Mongolia as input features. High-dimensional features are extracted using a one-dimensional CNN, and the extracted feature vectors are fed into the GRU for analysis and feature extraction. Additionally, the Attention Mechanism is employed to compute attention scores for the hidden layers of GRU and allocate attention weights, highlighting the influence of highly correlated features. The model ultimately achieves temperature prediction. Experimental evaluations are conducted using a temperature dataset provided by the Inner Mongolia data center, and comparisons with other neural network models are made. The results demonstrate that the proposed model exhibits better convergence and higher accuracy.

    Keywords:data center; temperature prediction; gated recurrent unit; convolutional neural network; attention mechanism

    收稿日期: 2023-09-01

    基金項目:

    內(nèi)蒙古電力(集團(tuán))有限責(zé)任公司科技項目(2023-5-40);國家自然科學(xué)基金(61673142).

    作者簡介:

    托 婭(1989—),女,高級工程師;

    李 鑫(1991—),男,高級工程師.

    通信作者:

    王 旭(1986—),男,高級工程師,E-mail:1260146990@qq.com.

    0 引 言

    大數(shù)據(jù)和云計算時代促進(jìn)了數(shù)據(jù)中心的快速擴(kuò)張,過度地擴(kuò)張造成了資源浪費。數(shù)據(jù)中心的服務(wù)器、存儲器等IT設(shè)備能耗約占數(shù)據(jù)中心總能耗的50%,制冷設(shè)備的能耗約占總能耗的30%~50%[1]。數(shù)據(jù)中心機(jī)房內(nèi)產(chǎn)生的熱量主要來源于IT設(shè)備的散熱、制冷設(shè)備的散熱、人工照明、太陽輻射熱等,機(jī)房溫度過高或過低都不利于設(shè)備的運行,因此應(yīng)將機(jī)房室溫控制在一個適當(dāng)并且相對穩(wěn)定的范圍內(nèi)。而為了保證數(shù)據(jù)中心機(jī)房的設(shè)備能夠在規(guī)定的溫度和濕度范圍內(nèi)正常并安全地運行,許多數(shù)據(jù)中心長期設(shè)置較低的溫度,這也導(dǎo)致制冷設(shè)備的能耗產(chǎn)生了大量的浪費。同時,數(shù)據(jù)中心的溫度主要受IT負(fù)載影響且動態(tài)變化。因此,加強(qiáng)數(shù)據(jù)中心服務(wù)器的溫度監(jiān)控,及時調(diào)整制冷系統(tǒng)策略,可以有效降低制冷能耗,提高數(shù)據(jù)中心的能效。

    目前,對數(shù)據(jù)中心的溫度預(yù)測主要有基于熱力學(xué)和數(shù)據(jù)驅(qū)動兩類方法[2]?;跓崃W(xué)的方法根據(jù)數(shù)據(jù)中心的幾何結(jié)構(gòu)、熱傳導(dǎo)特性、空氣流動和散熱設(shè)備等因素,使用物理原理和熱力學(xué)方程來建立數(shù)據(jù)中心的熱模型,以預(yù)測溫度變化。Lazic等[3]用計算流體力學(xué)(computational fluid dynamics, CFD)并配合卷積神經(jīng)網(wǎng)絡(luò)的方法,來預(yù)測數(shù)據(jù)中心機(jī)房溫度的分布情況,一定程度上增加了預(yù)測時間的長度和復(fù)雜性。Antal等[4]基于計算流體力學(xué)技術(shù),利用數(shù)值模擬來計算氣體在由邊界面定義的區(qū)域內(nèi)的流動,從而來預(yù)測數(shù)據(jù)中心機(jī)房內(nèi)的空氣溫度,但它的局限在于只有在溫度波動幅度較小的情況下才能預(yù)算較為準(zhǔn)確,同時模擬的時間和計算開銷無法忽略不計?;跓崃W(xué)的溫度預(yù)測方法較為復(fù)雜且預(yù)測時間較為冗長等局限性,因此在溫度預(yù)測上獲得較好的效果難度較大,并且計算的時間復(fù)雜度較高[5]。因此,該方法不適用于數(shù)據(jù)中心溫度預(yù)測。

    基于數(shù)據(jù)驅(qū)動的方法使用歷史數(shù)據(jù)和其他相關(guān)特征來訓(xùn)練模型,并預(yù)測未來的溫度變化,這種方法通常基于機(jī)器學(xué)習(xí)算法,如回歸模型、支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)等。Anh等[6]以及Kang等[7]用長短期記憶網(wǎng)絡(luò)(LSTM,long short-term memory)來預(yù)測數(shù)據(jù)中心溫度,由于LSTM模型的結(jié)構(gòu)和參數(shù)較為復(fù)雜,在預(yù)測過程中需要不斷地調(diào)整參數(shù)的數(shù)量和參數(shù)組合,導(dǎo)致迭代次數(shù)不斷增加,從而對最終預(yù)測時間和效果造成了影響。吳亞奇等[8]將粒子群算法與蟻群算法混合, 用于支持向量機(jī)模型的參數(shù)優(yōu)化,對數(shù)據(jù)中心機(jī)房內(nèi)不同位置的機(jī)架溫度進(jìn)行模擬預(yù)測,并與真實數(shù)據(jù)對比驗證預(yù)測結(jié)果的準(zhǔn)確性。然而支持向量機(jī)作為一個比較傳統(tǒng)的機(jī)器學(xué)習(xí)模型,對于大型數(shù)據(jù)集的處理和參數(shù)優(yōu)化等方面還是較為欠缺,預(yù)測性能一般[9]。

    基于數(shù)據(jù)驅(qū)動的溫度預(yù)測方法參數(shù)選擇不夠精確會對實驗結(jié)果造成嚴(yán)重影響,但可以針對問題使用混合模型來減小問題影響從而提升性能。與此同時,常用的模型預(yù)測時間過長也是不容忽視的問題。本文提出了一種基于門控循環(huán)單元(GRU,gated recurrent unit)的方法,實時預(yù)測數(shù)據(jù)中心的溫度,并在GRU的基礎(chǔ)上引入卷積神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制來提高模型性能。該方法首先使用卷積神經(jīng)網(wǎng)絡(luò)對輸入的數(shù)據(jù)進(jìn)行局部特征提取,在卷積操作中加入數(shù)據(jù)空間的x坐標(biāo)和y坐標(biāo)信息來增強(qiáng)模型對輸入數(shù)據(jù)中的空間位置關(guān)系的理解;其次GRU相較于LSTM只有兩個記憶單元,在預(yù)測的時間和速度上會更加快速,收斂的速度也會更快;GRU通過門控機(jī)制能夠更好地建模和捕捉序列數(shù)據(jù)中的短期和長期依賴關(guān)系,提供更準(zhǔn)確的預(yù)測;GRU也可以通過門控機(jī)制有效地緩解梯度消失和爆炸問題,使得網(wǎng)絡(luò)能夠更好地處理長序列和更穩(wěn)定的梯度傳播;最后通過加入注意力機(jī)制計算GRU隱藏層的特征權(quán)重并分配權(quán)重。先將輸入的數(shù)據(jù)分為多個大小相同的塊,對塊內(nèi)數(shù)據(jù)利用軟注意力計算機(jī)制進(jìn)行計算;不同塊之間使用線性注意力計算;注意力的并行處理加快了計算速度,同時,給重要的時間步分配高比例的注意力權(quán)重,使模型在預(yù)測數(shù)據(jù)中心溫度時能夠更加準(zhǔn)確地捕捉到關(guān)鍵的模式和特征。最終構(gòu)建了基于門控循環(huán)單元和卷積神經(jīng)網(wǎng)絡(luò)并引入注意力機(jī)制的模型進(jìn)行溫度預(yù)測。結(jié)合數(shù)據(jù)中心的溫度和功耗信息,對服務(wù)器溫度進(jìn)行預(yù)測分析并驗證了該模型的有效性。

    1 國內(nèi)外現(xiàn)狀分析

    近年來,國內(nèi)外對基于電力數(shù)據(jù)中心的預(yù)測和優(yōu)化進(jìn)行了深入研究。在對數(shù)據(jù)中心預(yù)測的領(lǐng)域中,巨大的數(shù)據(jù)量和高度動態(tài)變化的數(shù)據(jù)是進(jìn)行研究的兩個重要特征。因此對數(shù)據(jù)的處理和選擇是至關(guān)重要的,提取合適的特征參數(shù)不僅可以提升模型預(yù)測性能,還能提升模型預(yù)測速度。石桃桃等[10]建立了POD-DBN混合模型,來快速預(yù)測數(shù)據(jù)中心的溫度分布。

    通過降解模型本征正交分解(POD,proper orthogonal decomposition)來提取數(shù)據(jù)中心隨機(jī)變化過程中的主要特征參數(shù),利用少量最優(yōu)特征來實現(xiàn)復(fù)雜物理過程的重構(gòu),提取最優(yōu)特征參數(shù)作為預(yù)測模型的輸入;同時結(jié)合深度置信網(wǎng)絡(luò)(DBN,deep belief networks)更新模型的參數(shù),降低訓(xùn)練模型的復(fù)雜度,提升模型性能。Dogan等[11]針對數(shù)據(jù)中心制冷系統(tǒng)中的地板下送風(fēng)方式,使用數(shù)據(jù)模型模擬研究幾何參數(shù)對數(shù)據(jù)中心溫度的影響,初步測試結(jié)果發(fā)現(xiàn)機(jī)柜的高度和距離服務(wù)的距離影響比例較大;Zhang等[12]建立了CNN-LSTM混合模型,通過仿真得到能量堆的進(jìn)出水口的溫度參數(shù)以及周邊溫度場的數(shù)據(jù)參數(shù)的影響比例,提取比例權(quán)重較大的時間序列特征參數(shù),從而預(yù)測結(jié)果比其他基準(zhǔn)模型更加準(zhǔn)確。盧洪明等[13]在云數(shù)據(jù)中心能耗預(yù)測過程中,首先在服務(wù)器上部署Ganglia和Zabbix軟件以獲得所有的特征參數(shù),然后使用隨機(jī)森林(RF,random forest)算法對特征數(shù)據(jù)進(jìn)行分類并計算各特征的重要性,挑選重要性量比高于1%的數(shù)據(jù)作為實驗特征參數(shù),當(dāng)重要性量比低于1%則認(rèn)為這個特征對服務(wù)器能耗的貢獻(xiàn)忽略不計,因此對服務(wù)器能耗的預(yù)測,只會對提取出的重要性量比較高的參數(shù)進(jìn)行訓(xùn)練,最終提升了預(yù)測的準(zhǔn)確性和時間。

    隨著深度學(xué)習(xí)的發(fā)展,一些在時間序列預(yù)測上效果良好的深度學(xué)習(xí)模型得到了國內(nèi)外的廣泛應(yīng)用。Wang等[14]提出了基于LSTM的超參數(shù)優(yōu)化算法來預(yù)測數(shù)據(jù)中心的溫度,該算法優(yōu)化了超參數(shù)選擇的過程,能夠快速預(yù)測和提前感知數(shù)據(jù)中心溫度的變化,提升了模型的預(yù)測精度;張霖等[15]針對數(shù)據(jù)中心制冷系統(tǒng)的非線性、時序變化、多變量耦合等特性,使用貝葉斯-隨機(jī)森林算法來預(yù)測數(shù)據(jù)中心制冷系統(tǒng)的冷卻水溫度,并與其他3個預(yù)測模型:高斯回歸、隨機(jī)森林、支持向量機(jī)進(jìn)行對比評估,使貝葉斯-隨機(jī)森林的預(yù)測模型參數(shù)得到了優(yōu)化,算法得到了提升,預(yù)測結(jié)果更加準(zhǔn)確。Saeed等[16]使用了深度神經(jīng)網(wǎng)絡(luò)(DNN,deep neural networks)模型來預(yù)測服務(wù)器的入口溫度,并提出了一種用于作業(yè)分配和遷移的算法,模擬仿真服務(wù)器作業(yè)調(diào)度來預(yù)測溫度,該預(yù)測準(zhǔn)確率達(dá)到了96.11%。胡瑾等[17]針對溫度的時序性、非線性及多耦合性等特征提出了基于1D CNN-GRU模型來預(yù)測日光下溫室的溫度,進(jìn)而實現(xiàn)溫室高效調(diào)控,并在提取參數(shù)過程中以斯皮爾曼

    相關(guān)系數(shù)獲取相關(guān)性強(qiáng)的特征作為實驗數(shù)據(jù),提高了模型的預(yù)測性能。

    2 本文方法

    由于電力數(shù)據(jù)中心溫度數(shù)據(jù)在不同時段內(nèi)會隨著用戶的使用模式不斷變化,呈現(xiàn)周期性的波動,具有明顯的時序特性。如圖1所示,為了準(zhǔn)確地預(yù)測溫度變化,本文提出了適合處理時序特征的GRU模型進(jìn)行溫度預(yù)測的方法,該模型可以自適應(yīng)地學(xué)習(xí)和捕捉數(shù)據(jù)中心時間序列數(shù)據(jù)中長期依賴關(guān)系并進(jìn)行預(yù)測。該方法的輸入層中,不同顏色的長方形表示影響服務(wù)器溫度的參數(shù),即數(shù)據(jù)中心的機(jī)房室內(nèi)溫度、服務(wù)器入口溫度、服務(wù)器出口溫度、服務(wù)器功耗、服務(wù)器風(fēng)扇轉(zhuǎn)速、空調(diào)系統(tǒng)送回風(fēng)溫度、室內(nèi)濕度、服務(wù)器負(fù)載、GPU和CPU的負(fù)載、溫度、內(nèi)存的占比、磁盤利用率,這些輸入?yún)?shù)的序列長度一致;然后采用卷積神經(jīng)網(wǎng)絡(luò)(CNN,convolutional neural networks)對輸入數(shù)據(jù)進(jìn)行特征提取,在原本的卷積層基礎(chǔ)上添加了兩個通道,分別表示數(shù)據(jù)的x坐標(biāo)和y坐標(biāo),增強(qiáng)模型對時間序列中不同位置信息的捕捉能力;接下來輸入GRU層和注意力層進(jìn)一步提取特征,通過對數(shù)據(jù)分塊處理和并行計算,能夠更加快速地使用注意力機(jī)制分配權(quán)重,同時減小不重要特征對預(yù)測結(jié)果的影響,最后通過全連接層得到預(yù)測結(jié)果。

    由于服務(wù)器的溫度變化比環(huán)境溫度變化快得多,掌握數(shù)據(jù)中心的服務(wù)器溫度變化,提前對制冷設(shè)備進(jìn)行調(diào)整,可以有效避免溫度滯后等問題。因此本文模型的輸出層為指定時刻預(yù)測的服務(wù)器入口溫度。以上即為所建立的CNN-GRU-Attention溫度預(yù)測模型的具體架構(gòu)。

    本文方法使用了卷積神經(jīng)網(wǎng)絡(luò)層更準(zhǔn)確地對數(shù)據(jù)進(jìn)行特征提?。粩?shù)據(jù)中心溫度數(shù)據(jù)通常會呈現(xiàn)一定的空間分布規(guī)律,例如不同的服務(wù)器或機(jī)柜在數(shù)據(jù)中心內(nèi)的位置會影響其受熱程度,從而導(dǎo)致不同的溫度變化模式。本文設(shè)計的CNN為了更有效地捕捉數(shù)據(jù)空間位置的信息,添加了兩個通道來表示數(shù)據(jù)空間上的x坐標(biāo)和y坐標(biāo),在利用卷積層和池化層的操作,可以對輸入的溫度數(shù)據(jù)進(jìn)行局部感知和特征提取,增強(qiáng)對溫度數(shù)據(jù)中的空間相關(guān)性的捕捉能力;通過卷積層的濾波器與輸入數(shù)據(jù)進(jìn)行卷積操作,CNN能夠識別出輸入數(shù)據(jù)中的局部模池化層,可以減少數(shù)據(jù)的維度,并保留最顯著的特征;并且CNN層在不同時間共享參數(shù),

    減少了模型的參數(shù)量,降低了模型的復(fù)雜性,減少了模型總體的預(yù)測時間;同時本文選用了GRU模型能夠更好地學(xué)習(xí)時序特性的溫度數(shù)據(jù),它的結(jié)構(gòu)也更加簡單,因此運行速度更快;由于不同時刻的溫度信息對預(yù)測結(jié)果有不同的影響,而GRU可能無法準(zhǔn)確識別溫度序列中的關(guān)鍵序列信息,導(dǎo)致輸入序列中的部分信息被同等計算,這可能會導(dǎo)致模型預(yù)測精度降低并增加計算時間,加入注意力機(jī)制可以計算GRU隱藏層的特征權(quán)重,分別對塊內(nèi)和塊之間的注意力處理,加快了注意力計算速度,幫助模型集中注意與溫度預(yù)測最相關(guān)的特征,減少對不重要信息的關(guān)注,提高預(yù)測準(zhǔn)確度。因此使用CNN-GRU-Attention混合模型能夠抽取更重要的時序特征進(jìn)行預(yù)測,在更短的時間內(nèi)捕捉溫度的變化趨勢,相比較其他神經(jīng)網(wǎng)絡(luò)模型在對溫度預(yù)測上有著更好的性能。

    2.1 卷積神經(jīng)網(wǎng)絡(luò)

    卷積神經(jīng)網(wǎng)絡(luò)通過利用卷積層和池化層可以對輸入的時刻Ti(i=1,2,…,k)溫度時序數(shù)據(jù)進(jìn)行局部感知和特征提取,其參數(shù)共享也可以降低數(shù)據(jù)維度。卷積層是CNN的核心,利用權(quán)值共享對輸入進(jìn)行卷積操作,提取深層特征。在傳統(tǒng)的卷積操作之前,本文向輸入中添加了額外的坐標(biāo)通道。這些坐標(biāo)通道包含了數(shù)據(jù)在空間中的坐標(biāo)信息,即x坐標(biāo)和y坐標(biāo),從而能夠捕獲輸入數(shù)據(jù)的空間相關(guān)性,同時保留CNN參數(shù)共享和降維的優(yōu)勢。

    首先,通過卷積層來添加坐標(biāo)信息:

    Tcoord=AddCoords(T)(1)

    式中:Tcoord為添加了坐標(biāo)信息的數(shù)據(jù);AddCoords函數(shù)負(fù)責(zé)生成坐標(biāo)通道并將其與原始數(shù)據(jù)拼接。

    接著將Tcoord輸入到卷積層進(jìn)行特征提取:

    C=f(Tcoord·W+b)(2)

    式中:C為卷積層的輸出特征圖;f為非線性激活函數(shù);W為卷積核的權(quán)重向量;b為偏置項。

    池化層在卷積層的基礎(chǔ)上保留主要特征的同時減少參數(shù)數(shù)量和計算量,防止過擬合。池化過程可以用下面的方程表示:

    p=pool(C)(3)

    2.2 門控循環(huán)單元

    本文使用的門控循環(huán)單元網(wǎng)絡(luò)是一種改進(jìn)的LSTM神經(jīng)網(wǎng)絡(luò),通常被使用于時序預(yù)測。GRU的模型內(nèi)部結(jié)構(gòu)如圖2所示。相對于LSTM具有輸入門、遺忘門和輸出門,GRU只有兩個記憶單元:更新門和重置門,因此GRU模型訓(xùn)練參數(shù)有所減少,計算復(fù)雜度較低,提升了訓(xùn)練效率,在很多情況下優(yōu)于LSTM。同時,GRU也可以解決傳統(tǒng)RNN網(wǎng)絡(luò)中的梯度消失問題。

    GRU的公式表達(dá)如下:

    rt=σ(Wr·[ht-1,xt])(4)

    zt=σ(Wz·[ht-1,xt])(5)

    t=tanh(W·[rt·ht-1,xt])(6)

    ht=(1-zt)·ht-1+zt·t(7)

    yt=σ(w0·ht)(8)

    式中:rt和zt分別為GRU的重置門和更新門;xt為當(dāng)前的輸入;ht-1為前一時刻傳遞下來的隱藏狀態(tài)。通過結(jié)合xt和ht-1,

    可以得到當(dāng)前隱藏節(jié)點的輸出yt以及傳遞給下一個節(jié)點的隱藏狀態(tài)ht。重置門影響重置候選隱藏狀態(tài)t。權(quán)重向量W是包含隱藏狀態(tài)權(quán)重wh、輸入變量權(quán)重wx和w0為輸出權(quán)重的關(guān)鍵組件。

    2.3 注意力機(jī)制

    本文選用的注意力機(jī)制,通過將輸入序列劃分為多個固定大小的塊,每個塊的大小由參數(shù)B決定,整個序列被劃分為T=n/B個塊,其中n為序列的總長度。并在每個塊上并行計算注意力,對不同塊之間使用線性注意力計算,從而顯著提高了計算效率。

    首先將輸入序列劃分為多個大小為c的塊,其中c代表每個塊中的元素數(shù)量。每個塊并行、獨立地使用傳統(tǒng)的注意力機(jī)制,計算公式如下:

    Ointra=[(QiKTi)⊙M]Vi(9)

    其中:Ointra為塊內(nèi)輸出;Qi、Ki、Vi分別為第i個塊的Query、Key、Value矩陣;⊙表示逐元素乘積;M為一個掩碼矩陣,用于控制注意力分?jǐn)?shù)的衰減。

    其次采用線性注意力核對塊間注意力進(jìn)行計算。通過利用平鋪技術(shù)來分別處理塊內(nèi)和塊間的計算。計算公式如下:

    Ointer=ΛQi(KV)(10)

    其中:Ointer為塊間的輸出;Λ為一個衰減矩陣,用于調(diào)整跨塊的注意力權(quán)重;KV為跨塊累積的Key矩陣與Value的乘積,包含了之前所有塊的信息,并且隨著每個新塊的計算而更新。使得在并行處理每個塊的情況下,也能保持序列的連貫性和長距離的依賴。

    KV矩陣的更新公式如下:

    KVt=λBKV(t-1)+(λBΛ-1Ki)TVi(11)

    式中:KVt為第t個塊之后更新的KV矩陣;λ為衰減率,Ki和Vi分別是當(dāng)前塊的Key和Value矩陣。Λ-1為衰減矩陣的逆,用于調(diào)整Ki和Vi的乘積。

    最終,每個塊的輸出是塊內(nèi)和塊間輸出的總和,公式如下:

    Oi=Ointra+Ointer(12)

    式中:Oi代表了第i個塊注意力的最終輸出。

    3 實驗與分析

    本文CNN-GRU-Attention溫度預(yù)測模型的具體實驗步驟如下:

    1)將采集的數(shù)據(jù)中心溫度時序數(shù)據(jù)輸入CNN;

    2)CNN通過不斷訓(xùn)練和迭代由卷積層學(xué)習(xí)并提取重要性量比高的特征,添加位置坐標(biāo)來捕捉空間位置關(guān)系,再由最大池化層降低維度,完成深層特征提??;

    3)將CNN提取到的特征送入到GRU中進(jìn)行訓(xùn)練;

    4)引入注意力機(jī)制,將輸入的數(shù)據(jù)分為blocks,分別對塊內(nèi)和塊之間應(yīng)用注意力機(jī)制,計算GRU隱藏層的權(quán)重,保留重要特征;

    5)在全連接層得到最終預(yù)測的服務(wù)器入口溫度;

    6)對模型的預(yù)測效果進(jìn)行評價分析。

    3.1 實驗數(shù)據(jù)

    3.1.1 數(shù)據(jù)采集

    為了建立數(shù)據(jù)中心溫度預(yù)測模型,首先需要收集數(shù)據(jù)中心機(jī)房內(nèi)溫度相關(guān)的實測數(shù)據(jù)。

    數(shù)據(jù)中心機(jī)房內(nèi)主要的熱量產(chǎn)生來源為服務(wù)器散熱,服務(wù)器散熱溫度主要取決于服務(wù)器運行功率大小以及內(nèi)部風(fēng)扇轉(zhuǎn)速,同時CPU溫度也可以體現(xiàn)服務(wù)器溫度的變化規(guī)律。而空調(diào)系統(tǒng)對服務(wù)器的散熱以及室內(nèi)溫度都有著重要的影響。

    因此本文以內(nèi)蒙古某A級數(shù)據(jù)中心某一層的機(jī)房為例采集數(shù)據(jù),監(jiān)控服務(wù)器和空調(diào)系統(tǒng)與溫度相關(guān)的數(shù)據(jù)變化,且均采用內(nèi)部服務(wù)器傳感器和無線傳感器網(wǎng)絡(luò)進(jìn)行全面監(jiān)控。

    本文的實驗環(huán)境由配備1個四核CPU和16GB RAM的NVIDIA GeForce RTX 2080的服務(wù)器組成。服務(wù)器與另外4臺服務(wù)器、2臺交換機(jī)和2臺UPS單元一起安裝在一個機(jī)架中,機(jī)架入口面向冷空氣供應(yīng),出口朝向散熱口。

    由于服務(wù)器沒有裝載功耗傳感器,本文使用連接到服務(wù)器電源線上的智能功率電流表來收集服務(wù)器總功率(如圖4所示)。通過下載電流表配備的軟件即可查看和保存實時的服務(wù)器功率信息。

    服務(wù)器CPU溫度和風(fēng)扇轉(zhuǎn)速值通過服務(wù)器內(nèi)部傳感器獲取,通過智能平臺管理接口(IPMI)采集,如圖5和圖6所示。通過在IPMI接口接入網(wǎng)線,并登陸上指定服務(wù)器打開IPMI的網(wǎng)絡(luò)通信功能,則可以查詢服務(wù)器的風(fēng)扇轉(zhuǎn)速和CPU溫度等信息,同時可以將采集到的數(shù)據(jù)發(fā)送到監(jiān)控服務(wù)器以查看和修改。

    溫濕度無線傳感器監(jiān)測服務(wù)器入口溫度、服務(wù)器出口溫度和數(shù)據(jù)中心機(jī)房溫濕度。配備環(huán)境監(jiān)控系統(tǒng)用于實時監(jiān)測空調(diào)的溫度、濕度和風(fēng)速。采集到的數(shù)據(jù)發(fā)送到監(jiān)控服務(wù)器進(jìn)行存儲和對齊,以確保有共同的時間戳。關(guān)鍵是需要保證采集的數(shù)據(jù)具有一定的時序性和可靠性。

    3.1.2 數(shù)據(jù)中心溫度特征參數(shù)選擇和預(yù)處理

    在建立預(yù)測模型之前,需要挑選適當(dāng)?shù)奶卣鲄?shù)來描述數(shù)據(jù)中心的狀態(tài)。特征參數(shù)作為預(yù)測模型的輸入變量,對實驗的效果至關(guān)重要,因此,特征參數(shù)應(yīng)選擇對數(shù)據(jù)中心溫度具有顯著影響的參數(shù)類型,實際選取的特征參數(shù)如表1所示。

    然后對數(shù)據(jù)預(yù)處理,對采集到的服務(wù)器的入口溫度,首先進(jìn)行數(shù)據(jù)清洗,使用低通濾波器識別并消除高頻噪聲;然后采用歸一化將原始數(shù)據(jù)縮放到在(-1,1)之間,降低模型對于特征尺度的敏感度,便于模型的訓(xùn)練。

    3.2 具體實驗

    本文選用的CNN-GRU-Attention溫度預(yù)測模型的參數(shù)配置如下:CNN選用卷積層數(shù)為2;卷積核個數(shù)設(shè)為32;激活函數(shù)選用Relu;時間步長固定為10;Dropout值為0.5;Batch size即訓(xùn)練的批量大小為128;Epoch即迭代次數(shù)為200;初始學(xué)習(xí)率為0.001;損失函數(shù)選用MSE;梯度下降的方式采用Adam,不斷更新參數(shù),一次迭代直至損失函數(shù)收斂。

    本文以10s的采樣間隔采集所有挑選出來的特征參數(shù)的數(shù)據(jù),總時間為24h,其中20h用于訓(xùn)練集,4h用于測試集。圖7展示了用于建模的部分訓(xùn)練集,分別為某臺服務(wù)器的入口溫度(圖7(a))、服務(wù)器的功耗(圖7(b))、服務(wù)器的風(fēng)扇轉(zhuǎn)速(圖7(c))和服務(wù)器的CPU溫度數(shù)據(jù)(圖7(d)),橫軸表示時間,單位是秒s,表示服務(wù)器入口溫度、服務(wù)器功耗、服務(wù)器風(fēng)扇轉(zhuǎn)速和CPU溫度隨時間的變化,時間范圍從1000s到8000s。

    本文首先采用卷積神經(jīng)網(wǎng)絡(luò)處理輸入數(shù)據(jù)的時序特征,通過一系列卷積層和池化層,結(jié)合空間坐標(biāo)信息對輸入數(shù)據(jù)進(jìn)行特征提取和下采樣。卷積層通過融入坐標(biāo)信息,增強(qiáng)了模型對空間特征的捕捉

    能力。隨后,數(shù)據(jù)經(jīng)過GRU層進(jìn)行建模,以捕捉數(shù)據(jù)的時間序列特征。在此基礎(chǔ)上,本文進(jìn)一步引入了改進(jìn)的注意力機(jī)制,通過使用分塊處理和并行計算,顯著提升了模型對溫度數(shù)據(jù)關(guān)鍵特征的關(guān)注程度,有效提高了預(yù)測性能和準(zhǔn)確性,并加快了計算速度。其次對特征數(shù)據(jù)進(jìn)行訓(xùn)練,然后根據(jù)預(yù)定義的損失函數(shù)進(jìn)行參數(shù)優(yōu)化。在訓(xùn)練過程中,使用Adam優(yōu)化算法和0.001的學(xué)習(xí)率衰減策略來提高訓(xùn)練效果。得到最終預(yù)測結(jié)果之后,使用測試集評估訓(xùn)練好的模型的性能,計算預(yù)測值與真實值之間的誤差。

    將可視化預(yù)測結(jié)果與真實值對比,以便直觀地評估模型的質(zhì)量和準(zhǔn)確性,預(yù)測出的服務(wù)器入口溫度如圖8所示。藍(lán)色的曲線為實際測量的服務(wù)器入口溫度,紅色曲線為預(yù)測的服務(wù)器入口溫度。根據(jù)曲線的重合度與拐點對比,可知CNN-GRU-Attention預(yù)測曲線與實際觀測值一致性良好;在溫度波動較小的時候,預(yù)測稍有偏差,總體上預(yù)測較為準(zhǔn)確。

    3.3 結(jié)果分析

    3.3.1 與其他方法比較

    本文采用均方根誤差(RMSE)、平均絕對誤差(MAE)和平均絕對百分比誤差(MAPE)來評估預(yù)測效果。

    SRMSE=1n∑ni=1(Mi-Pi)2(13)

    SMAE=1n∑ni=1∣Pi-Mi∣(14)

    SMAPE=100%n∑ni=1∣Mi-Pi∣Mi(15)

    式中:n為樣本數(shù);Mi和Pi分別為實測溫度和預(yù)測溫度,i=1,2,3,…,n;SMAPE和SRMSE表示預(yù)測溫度與實測溫度的偏差;SMAE越接近零,模型的預(yù)測效果越好。

    同時,本文方法與支持向量機(jī)(SVM)[1]、長短時記憶網(wǎng)絡(luò)(LSTM)[6]、門控循環(huán)單元(GRU)[20]、CNN+LSTM[27]、POD[10]和POD-DBN[34]進(jìn)行了對比,以相同數(shù)據(jù)集作為輸入,對比結(jié)果如表2所示。

    從表2中可以看出,POD和 POD-DBN取得了良好的性能指標(biāo)。POD是數(shù)據(jù)中心溫度場降階重構(gòu)的一種常用模型,通過識別溫度場中的主要特征,將復(fù)雜的三維溫度場轉(zhuǎn)化為一組具有代表性的模態(tài)系數(shù),從而可以更清晰地反應(yīng)數(shù)據(jù)中心內(nèi)部的溫度分布情況。POD-DBN使用DBN提高了模型的泛化能力。然而這兩種模型主要關(guān)注于數(shù)據(jù)中心溫度數(shù)據(jù)的特征提取和降維,對長時間序列中依賴關(guān)系的捕捉能力較弱。

    本文方法將GRU和CNN相結(jié)合,能夠更加充分地進(jìn)行特征提取,添加了數(shù)據(jù)空間上的x坐標(biāo)和y坐標(biāo)通道,更有效地捕捉數(shù)據(jù)之間的空間相關(guān)性,提高了預(yù)測精度。同時,本文方法使用的注意力機(jī)制,通過引入分塊處理方法,優(yōu)化了模型在長序列上的性能,加強(qiáng)了對時間序列數(shù)據(jù)中的重要特征的關(guān)注,使得模型能夠自適應(yīng)地關(guān)注于對預(yù)測最為重要的時間步和特征,增強(qiáng)了模型對數(shù)據(jù)的理解,提高了預(yù)測的準(zhǔn)確性。因此,本文方法的預(yù)測準(zhǔn)確度更高,誤差更小。

    本文方法和其他對比方法在RMSE、MAE和MAPE上收斂趨勢的對比結(jié)果如圖9所示。

    由圖9可看出,本文方法的RMSE、MAE和MAPE相比其他方法收斂更快,且隨迭代次數(shù)增加,下降更為平穩(wěn)。本文方法中,帶有空間位置信息的CNN和GRU的結(jié)合為模型提供了強(qiáng)大的特征提取能力,這有助于模型更快地學(xué)習(xí)到數(shù)據(jù)的內(nèi)在結(jié)構(gòu)和空間相關(guān)性;同時將輸入數(shù)據(jù)分為blocks塊后,對塊內(nèi)和塊之間使用注意力機(jī)制計算,更有效地捕捉數(shù)據(jù)局部和全局地特征,并動態(tài)調(diào)整特征參數(shù)顯著減少了計算時間,幫助模型更快地收斂。因此,本文所提方法具有更好的收斂性。

    3.3.2 消融實驗

    為了進(jìn)一步驗證本文實驗混合模型的有效性,采用GRU、CNN+GRU和CNN+GRU+Attention進(jìn)行消融實驗對比驗證,各模型的實驗誤差如表3所示。可見CNN+GRU加入CNN之后預(yù)測效果比單獨的GRU模型預(yù)測效果更好;在此基礎(chǔ)上再引入Attention注意力機(jī)制使得模型預(yù)測的效果最優(yōu)。

    圖10為消融實驗下溫度預(yù)測的結(jié)果可視化。可見在GRU的基礎(chǔ)上加入帶有空間信息的CNN之后,模型能夠較好地與真實值趨勢相擬合;但模型仍然存在的問題是對于全局的峰值、峰谷和轉(zhuǎn)折點出擬合度較差, 預(yù)測效果一般。在此基礎(chǔ)上再引用Attention注意力機(jī)制時,通過加入分塊處理和并行計算,優(yōu)化了模型對長序列時間依賴性的學(xué)習(xí)能力,增強(qiáng)了模型對時間序列中重要信息的識別,從而能夠更好地捕捉時間序列數(shù)據(jù)的關(guān)系,擬合峰谷值,做出更好地預(yù)測。

    4 結(jié) 論

    由于數(shù)據(jù)中心溫度數(shù)據(jù)具有時序特性,本文提出了適合處理時序數(shù)據(jù)的GRU模型進(jìn)行溫度預(yù)測,并使用帶有空間位置信息的卷積神經(jīng)網(wǎng)絡(luò)提取了輸入數(shù)據(jù)中的高維特征,更有效地捕捉溫度數(shù)據(jù)空間上的信息;引入注意力機(jī)制對GRU隱藏層的特征進(jìn)行了加權(quán),使模型將注意力集中在與溫度變化最相關(guān)的特征上。通過將序列劃分為較小的塊并行處理,增強(qiáng)了模型對關(guān)鍵時間步和特征的關(guān)注,顯著提高了模型處理長序列的能力,并減少了計算資源的需求。同時本文以SVM、LSTM、GRU、CNN-LSTM和CNN-GRU作為對比實驗比較模型的性能。實驗結(jié)果表明,本文提出的方法誤差值最小,預(yù)測結(jié)果能夠更好地與實際結(jié)果擬合。由于數(shù)據(jù)中心溫度的熱動態(tài)特性,本文只選擇了短期時間內(nèi)的歷史溫度數(shù)據(jù)來預(yù)測。未來的工作中,將考慮擴(kuò)大歷史溫度數(shù)據(jù)收集的時間范圍,從而更好地捕捉溫度的長期趨勢和周期性變化,提高預(yù)測模型的準(zhǔn)確性和穩(wěn)定性。

    參 考 文 獻(xiàn):

    [1] 傅玨忻. 數(shù)據(jù)中心溫度預(yù)測與空調(diào)控制策略研究[D]. 重慶:重慶大學(xué), 2020.

    [2] 徐一軒,伍衛(wèi)國,王思敏,等.基于長短期記憶網(wǎng)絡(luò)(LSTM)的數(shù)據(jù)中心溫度預(yù)測算法[J]. 計算機(jī)技術(shù)與發(fā)展, 2019, 29(12): 1.

    XU Yixuan, WU Weiguo, WANG Simin, et al. Data Center Temperature Prediction Algorithm Based on Long Short-term Memory Network(LSTM)[J]. Computer Technology and Development, 2019, 29(12): 1.

    [3] LAZIC N, BOUTILIER C, LU T, et al. Data Center Cooling Using Model-predictive Control[J]. Advances in Neural Information Processing Systems, 2018, 31:3818.

    [4] ANTAL M, CIOARA T, ANGHEL I, et al. Reuse of Data Center Waste Heat in Nearby Neighborhoods: A Neural Networks-Based Prediction Model[J]. Energies, 2019, 12(5): 814.

    [5] HUANG N, LI X, XU Q, et al. Artificial Intelligence-Based Temperature Twinning and Pre-Control for Data Center Airflow Organization[J]. Energies, 2023, 16(16): 6063.

    [6] ANH N T N, HOANG VV, LINH B D, et al. An Analysis of the Effect Between the Heat Index and Long Short-Term Memory Model to Electricity Load Forecasting[J]. Annals of Computer Science and Information Systems, 2021, 27: 1.

    [7] KANG Y, MA C, WANG S, et al. A Two-segment LSTM Based Data Center Temperature Prediction Model[J]. IEICE Electronics Express, 2022, 19(21).

    [8] 吳亞奇,付保川,陳珍萍.數(shù)據(jù)中心機(jī)房機(jī)架溫度預(yù)測模型研究[J]. 蘇州科技大學(xué)學(xué)報(工程技術(shù)版), 2019, 32(2): 64.

    WU Yaqi, FU Baochuan, CHEN Zhenping. Research on the Prediction Model of Rack Temperature in Data Center Server Room[J]. Journal of Suzhou University of Science and Technology. (Engineering and Technology Edition), 2019, 32(2): 64.

    [9] LI Z, ZHU W, ZHU B, et al. Thermal Error Modeling of Electric Spindle Based on Particle Swarm Optimization-SVM Neural Network[J]. The International Journal of Advanced Manufacturing Technology, 2022, 121(11): 7215.

    [10]石桃桃. 數(shù)據(jù)中心熱環(huán)境快速預(yù)測及基于熱點反演的空調(diào)送風(fēng)溫度優(yōu)化控制研究[D]. 上海:上海交通大學(xué), 2021.

    [11]DOGAN A, YILMAZ S, KUZAY M, et al. Conjugate Heat Transfer Modeling of a Cold Plate Design for Hybrid-Cooled Data Centers[J]. Energies, 2023, 16(7):3088.

    [12]ZHANG W, ZHOU H, BAO X, et al. Outlet Water Temperature Prediction of Energy Pile Based on Spatial-temporal Feature Extraction Through CNN-LSTM Hybrid Model[J]. Energy, 2023, 264:126190.

    [13]盧洪明,劉先鋒,周舟,等.機(jī)器學(xué)習(xí)方法的云數(shù)據(jù)中心能耗模型研究[J/OL]. 小型微型計算機(jī)系統(tǒng): 1.

    LU Hongming, LIU Xianxian, ZHOU Zhou, et al. Research on Energy Consumption Model of Cloud Data Center Based on Machine Learning Method[J/OL]. Small Microcomputer Systems: 1.

    [14]WANG S, MA C, XU Y, et al. A Hyperparameter Optimization Algorithm for the LSTM Temperature Prediction Model in Data Center[J]. Scientific Programming, 2022(1):6519909.

    [15]張霖,孟祥來.基于貝葉斯-隨機(jī)森林的數(shù)據(jù)中心制冷系統(tǒng)溫度預(yù)測[J]. 自動化與儀器儀表,2023, 283(5): 6.

    ZHANG Lin, MENG Xianglai. Temperature Prediction of Data Center Cooling System Based on Bayesian-random Forest[J]. Automation and Instrumentation, 2023, 283(5): 6.

    [16]SAEED A, RUIXUAN L, MUHAMMAD W, et al. Server Temperature Prediction Using Deep Neural Networks to Assist Thermal-aware Scheduling[J]. Sustainable Computing: Informatics and Systems, 2022, 36:100809.

    [17]胡瑾,雷文曄,盧有琦,等.基于1D CNN-GRU的日光溫室溫度預(yù)測模型研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報, 2023, 54(8): 339.

    HU Jin, LEI Wenye, LU Youqi, et al. Research on Temperature Prediction Model of Solar Greenhouse Based on 1D CNN-GRU[J]. Journal of Agricultural Machinery, 2023, 54(8): 339.

    [18]KENTAROH S, HAYATO S,YOSHIHIRO K, et al. Improving Accuracy of Temperature Distribution and Energy-Saving Technology of Air Conditioners in Data Centers[J]. IEEE Transactions on Components, Packaging and Manufacturing Technology, 2018, 8(5):811.

    [19]DAMING Z, JIANTAO Z. An Energy and Carbon-aware Algorithm for Renewable Energy Usage Maximization in Distributed Cloud Data Centers[J]. Journal of Parallel and Distributed Computing, 2022, 165:156.

    [20]張敏敏.基于深度學(xué)習(xí)的氣溫預(yù)測研究[D].石家莊:河北經(jīng)貿(mào)大學(xué),2023.

    [21]ZAPATER M, RISCO-MARTN J L, ARROBA P, et al. Runtime Data Center Temperature Prediction Using Grammatical Evolution Techniques[J]. Applied Soft Computing, 2016, 49: 94.

    [22]CAO Z, WANG R, ZHOU X, et al.Reducio: Model Reduction for Data Center Predictive Digital Twins Via Physics-guided Machine Learning[C]//Proceedings of the 9th ACM International Conference on Systems for Energy-Efficient Buildings, Cities, and Transportation. 2022: 1.

    [23]周清.數(shù)據(jù)中心內(nèi)服務(wù)器的特征分析與能耗預(yù)測研究[D]. 南京:南京郵電大學(xué), 2022.

    [24]CHUANG L, DAN Z, CHUNHUA H, et al. ECDX: Energy Consumption Prediction Model Based on Distance Correlation and XGBoost for Edge Data Center[J]. Information Sciences, 2023, 643:119218.

    [25]楊麗娜,趙鵬,王佩哲.基于GRU神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)中心能耗預(yù)測模型研究[J]. 電力信息與通信技術(shù), 2021, 19(3): 10.

    YANG Lina, ZHAO Peng, WANG Peizhe. Research on Data Center Energy Consumption Prediction Model Based on GRU Neural Network[J]. Electric Power Information and Communication Technology, 2021, 19(3): 10.

    [26]岑崗,蔡永平,岑躍峰.基于深度學(xué)習(xí)的永磁同步電機(jī)溫度預(yù)測模型[J]. 浙江科技學(xué)院學(xué)報, 2022, 34(3): 216.

    CEN Gang, CAI Yongping, CEN Yuefeng. Temperature Prediction Model of Permanent Magnet Synchronous Motor Based on Deep Learning[J]. Journal of Zhejiang University of Science and Technology, 2022, 34(3): 216.

    [27]JINGWEI H, YANJUAN W, JI Z, et al. Prediction of Hourly Air Temperature Based on CNN-LSTM[J]. Geomatics, Natural Hazards and Risk, 2022, 13(1):1962.

    [28]YING H, KAIQIANG S, JIANING Y, et al. The CNN-GRU Model with Frequency Analysis Module for Sea Surface Temperature Prediction[J]. Soft Computing,2023, 27(13):8711.

    [29]DEY N, GUNASEKHAR T, PURNurnACHAND K. ACO-Inspired Load Balancing Strategy for Cloud-Based Data Centre with Predictive Machine Learning Approach[J]. Computers, Materials amp; Continua, 2023, 75(1):513.

    [30]SUCHANG L, JUNHO H, SEOKHOON H, et al. Solar Power Forecasting Using CNN-LSTM Hybrid Model[J]. Energies, 2022, 15(21):8233.

    [31]吳瑩瑩,趙麗寧,袁志鑫,等.基于注意力機(jī)制的CNN-GRU船舶交通流預(yù)測模型[J].大連海事大學(xué)學(xué)報, 2023, 49(1): 75.

    WU Yingying, ZHAO Lining, YUAN Zhixin, et al. CNN-GRU Ship Traffic Flow Prediction Model Based on Attention Mechanism[J]. Journal of Dalian Maritime University, 2023, 49(1): 75.

    [32]趙兵,王增平,紀(jì)維佳,等. 基于注意力機(jī)制的CNN-GRU短期電力負(fù)荷預(yù)測方法[J].電網(wǎng)技術(shù), 2019, 43(12):4370.

    ZHAO Bing, WANG Zengping, JI Weijia, et al. CNN-GRU Short-term Power Load Forecasting Method Based on Attention Mechanism[J]. Power System Technology, 2019, 43(12):4370.

    [33]ZHAO X, HUANG L, NIE Y. Temperature Prediction Based on Integrated Deep Learning and Attention Mechanism[C]//2021 IEEE 6th International Conference on Computer and Communication Systems (ICCCS). IEEE, 2021: 163.

    [34]石桃桃,趙愛國,朱旭,等.基于深度置信網(wǎng)絡(luò)模型改進(jìn)的數(shù)據(jù)中心溫度場本征正交分解預(yù)測模型[J].制冷技術(shù),2023,43(2):35.

    [35]LIU R, LEHMAN J, MOLINO P, et al. An Intriguing Failing of Convolutional Neural Networks and Thecoordconv Solution[J]. Advances in Neural Information Processing Systems, 2018, 31.

    [36]QIN Z, SUN W, LI D, et al. Lightning Attention-2: A Free Lunch for Handling Unlimited Sequence Lengths in Large Language Models[J].arXiv Preprint arXiv:2401.04658, 2024.

    (編輯:溫澤宇)

    国内久久婷婷六月综合欲色啪| 国产黄a三级三级三级人| 欧美日韩瑟瑟在线播放| 精品一区二区三区视频在线观看免费| www.熟女人妻精品国产| av有码第一页| 熟女电影av网| 国产精品乱码一区二三区的特点| 岛国在线观看网站| 午夜两性在线视频| 99国产极品粉嫩在线观看| av电影中文网址| 中文字幕最新亚洲高清| 黄色丝袜av网址大全| 中文在线观看免费www的网站 | 久久久久亚洲av毛片大全| 国产aⅴ精品一区二区三区波| 操出白浆在线播放| 亚洲免费av在线视频| 亚洲精品国产一区二区精华液| 亚洲人成网站高清观看| 香蕉久久夜色| 777久久人妻少妇嫩草av网站| 国产成+人综合+亚洲专区| 一区福利在线观看| 两个人免费观看高清视频| videosex国产| 一个人观看的视频www高清免费观看 | 淫秽高清视频在线观看| 后天国语完整版免费观看| 99久久久亚洲精品蜜臀av| 一级毛片精品| 50天的宝宝边吃奶边哭怎么回事| 一级毛片精品| 岛国在线观看网站| 老汉色∧v一级毛片| 亚洲欧美日韩无卡精品| 久久精品国产亚洲av香蕉五月| avwww免费| 视频区欧美日本亚洲| 欧美大码av| 午夜福利在线观看吧| 一边摸一边抽搐一进一小说| 90打野战视频偷拍视频| 日本 欧美在线| 国产97色在线日韩免费| 99久久综合精品五月天人人| 国产极品粉嫩免费观看在线| 在线看三级毛片| 久久人妻av系列| 亚洲av第一区精品v没综合| 精品日产1卡2卡| 一级a爱片免费观看的视频| 国产精品一区二区精品视频观看| 国产伦在线观看视频一区| 少妇熟女aⅴ在线视频| 动漫黄色视频在线观看| 香蕉av资源在线| 久久久久久久精品吃奶| 香蕉国产在线看| 99久久综合精品五月天人人| 一区二区三区精品91| 精品欧美国产一区二区三| 亚洲国产欧美一区二区综合| 欧美日韩乱码在线| 一进一出抽搐gif免费好疼| 老熟妇仑乱视频hdxx| 亚洲一区中文字幕在线| 久久久久免费精品人妻一区二区 | 黄色片一级片一级黄色片| 久久香蕉激情| 亚洲avbb在线观看| 免费一级毛片在线播放高清视频| 精品卡一卡二卡四卡免费| 成人精品一区二区免费| 久久久国产精品麻豆| 女性生殖器流出的白浆| 天天添夜夜摸| 久久国产精品男人的天堂亚洲| 欧美日韩瑟瑟在线播放| 精品久久久久久久久久免费视频| 国产精品自产拍在线观看55亚洲| 女人爽到高潮嗷嗷叫在线视频| 亚洲av片天天在线观看| 啦啦啦观看免费观看视频高清| √禁漫天堂资源中文www| 日本免费a在线| 99久久久亚洲精品蜜臀av| 巨乳人妻的诱惑在线观看| 成人av一区二区三区在线看| 人人妻,人人澡人人爽秒播| 欧美黑人精品巨大| 久久婷婷成人综合色麻豆| 最好的美女福利视频网| 欧美黑人精品巨大| 听说在线观看完整版免费高清| 午夜精品久久久久久毛片777| 国内毛片毛片毛片毛片毛片| 国产成人欧美在线观看| 午夜日韩欧美国产| 国产一区在线观看成人免费| 午夜免费观看网址| 亚洲黑人精品在线| 国产v大片淫在线免费观看| 亚洲天堂国产精品一区在线| 亚洲精品中文字幕在线视频| 日韩欧美三级三区| 亚洲一卡2卡3卡4卡5卡精品中文| 9191精品国产免费久久| 午夜福利18| 免费高清在线观看日韩| 成人三级做爰电影| 在线观看免费视频日本深夜| 国产精品一区二区三区四区久久 | 色综合欧美亚洲国产小说| 我的亚洲天堂| 欧美乱码精品一区二区三区| 亚洲熟女毛片儿| 亚洲精品久久成人aⅴ小说| 男女床上黄色一级片免费看| 久久久国产精品麻豆| 亚洲精华国产精华精| xxxwww97欧美| 黄色丝袜av网址大全| 日本熟妇午夜| www日本黄色视频网| 免费看美女性在线毛片视频| 国产人伦9x9x在线观看| 日韩欧美国产一区二区入口| 母亲3免费完整高清在线观看| 国产高清videossex| 亚洲成人免费电影在线观看| or卡值多少钱| 色综合欧美亚洲国产小说| 777久久人妻少妇嫩草av网站| 亚洲激情在线av| 后天国语完整版免费观看| 黄色毛片三级朝国网站| 日韩精品免费视频一区二区三区| 香蕉国产在线看| 看片在线看免费视频| 18禁观看日本| 老鸭窝网址在线观看| 久久人妻av系列| 久久久久久人人人人人| 69av精品久久久久久| 欧美成人免费av一区二区三区| 岛国在线观看网站| 亚洲,欧美精品.| 人人妻人人澡人人看| 国产伦一二天堂av在线观看| 久久亚洲精品不卡| 无人区码免费观看不卡| 欧美精品啪啪一区二区三区| 国产黄a三级三级三级人| 在线观看日韩欧美| av电影中文网址| 男女做爰动态图高潮gif福利片| 91国产中文字幕| 一级毛片精品| 男女下面进入的视频免费午夜 | 亚洲自偷自拍图片 自拍| 国产又色又爽无遮挡免费看| av福利片在线| 两性午夜刺激爽爽歪歪视频在线观看 | 国产男靠女视频免费网站| 日日干狠狠操夜夜爽| 亚洲一区高清亚洲精品| 精品不卡国产一区二区三区| 欧美激情极品国产一区二区三区| 亚洲欧美精品综合久久99| 香蕉久久夜色| 男女床上黄色一级片免费看| 精品欧美一区二区三区在线| 欧美三级亚洲精品| 国产精品爽爽va在线观看网站 | 99国产极品粉嫩在线观看| 亚洲国产精品成人综合色| 国产v大片淫在线免费观看| 欧美日韩精品网址| 色综合站精品国产| 最近最新中文字幕大全电影3 | 久久天躁狠狠躁夜夜2o2o| 国产成人av激情在线播放| 国产男靠女视频免费网站| cao死你这个sao货| 国产成人精品久久二区二区91| 亚洲欧洲精品一区二区精品久久久| 老司机靠b影院| 一夜夜www| 婷婷丁香在线五月| 国产乱人伦免费视频| 久久久久免费精品人妻一区二区 | 女人被狂操c到高潮| 精品欧美一区二区三区在线| netflix在线观看网站| 国产高清视频在线播放一区| 色综合站精品国产| 欧美性猛交╳xxx乱大交人| 久久久精品国产亚洲av高清涩受| 久久国产亚洲av麻豆专区| 一级a爱片免费观看的视频| 欧美乱妇无乱码| 午夜日韩欧美国产| 久热这里只有精品99| 午夜精品在线福利| 久久精品亚洲精品国产色婷小说| 国产一卡二卡三卡精品| 老司机福利观看| 精品一区二区三区视频在线观看免费| 最近最新中文字幕大全免费视频| 久久国产亚洲av麻豆专区| 亚洲一区二区三区色噜噜| 99热只有精品国产| 成年女人毛片免费观看观看9| 中文亚洲av片在线观看爽| 午夜福利免费观看在线| 日韩欧美国产在线观看| 2021天堂中文幕一二区在线观 | 99久久久亚洲精品蜜臀av| 19禁男女啪啪无遮挡网站| 婷婷丁香在线五月| 亚洲 国产 在线| 免费人成视频x8x8入口观看| 亚洲午夜理论影院| 国产精品一区二区三区四区久久 | 免费看a级黄色片| 一边摸一边抽搐一进一小说| 超碰成人久久| 亚洲精品粉嫩美女一区| 欧美另类亚洲清纯唯美| 此物有八面人人有两片| 中国美女看黄片| 一区二区三区国产精品乱码| 18禁国产床啪视频网站| 首页视频小说图片口味搜索| 男人舔女人的私密视频| 黄片大片在线免费观看| 成人国产综合亚洲| 中文字幕另类日韩欧美亚洲嫩草| 男女那种视频在线观看| 国内揄拍国产精品人妻在线 | 亚洲精品在线美女| 亚洲av第一区精品v没综合| 精品国产乱子伦一区二区三区| 97人妻精品一区二区三区麻豆 | 变态另类成人亚洲欧美熟女| 天堂√8在线中文| 成人三级做爰电影| 久久久国产欧美日韩av| 操出白浆在线播放| 国产午夜福利久久久久久| 欧美zozozo另类| 一级毛片精品| 十八禁网站免费在线| 国产97色在线日韩免费| 亚洲av成人不卡在线观看播放网| 免费看十八禁软件| 欧美激情久久久久久爽电影| 久久中文字幕人妻熟女| 丁香六月欧美| 天堂√8在线中文| 欧美日韩福利视频一区二区| 欧美成人午夜精品| 男女视频在线观看网站免费 | 999久久久精品免费观看国产| 免费电影在线观看免费观看| 亚洲精品美女久久av网站| 美女大奶头视频| 亚洲av日韩精品久久久久久密| 亚洲av美国av| 中文字幕人妻丝袜一区二区| 国产极品粉嫩免费观看在线| 怎么达到女性高潮| 欧美亚洲日本最大视频资源| 国产私拍福利视频在线观看| 精品一区二区三区四区五区乱码| 亚洲在线自拍视频| 岛国在线观看网站| 18禁美女被吸乳视频| 少妇熟女aⅴ在线视频| 国产三级在线视频| 久久人妻福利社区极品人妻图片| 日本三级黄在线观看| 亚洲国产高清在线一区二区三 | 侵犯人妻中文字幕一二三四区| 国产99白浆流出| 亚洲av电影在线进入| 欧美中文日本在线观看视频| 成年版毛片免费区| 天堂√8在线中文| xxxwww97欧美| 香蕉久久夜色| 亚洲av片天天在线观看| 国产麻豆成人av免费视频| 日本熟妇午夜| 级片在线观看| 亚洲精品国产一区二区精华液| 亚洲一码二码三码区别大吗| cao死你这个sao货| 在线观看免费日韩欧美大片| 久久久久久亚洲精品国产蜜桃av| 一本精品99久久精品77| 人妻丰满熟妇av一区二区三区| 国产精品国产高清国产av| 久久人人精品亚洲av| 午夜亚洲福利在线播放| 精品午夜福利视频在线观看一区| 少妇熟女aⅴ在线视频| 日本成人三级电影网站| 午夜福利高清视频| 男人舔女人下体高潮全视频| 99在线人妻在线中文字幕| 非洲黑人性xxxx精品又粗又长| 免费一级毛片在线播放高清视频| 一进一出抽搐gif免费好疼| 亚洲无线在线观看| 久久这里只有精品19| 熟妇人妻久久中文字幕3abv| 神马国产精品三级电影在线观看 | 悠悠久久av| 一区福利在线观看| 国产成人影院久久av| 精品久久久久久成人av| 精品久久久久久久人妻蜜臀av| 日本成人三级电影网站| 成人三级黄色视频| 欧美日韩亚洲综合一区二区三区_| 中亚洲国语对白在线视频| 欧美国产日韩亚洲一区| 国产黄片美女视频| 一区福利在线观看| 国产精品av久久久久免费| 黄片大片在线免费观看| 国产激情久久老熟女| 搞女人的毛片| 午夜福利高清视频| 黄色视频,在线免费观看| 非洲黑人性xxxx精品又粗又长| 国产免费男女视频| 国产精品久久久av美女十八| 亚洲欧美一区二区三区黑人| 97超级碰碰碰精品色视频在线观看| 亚洲av片天天在线观看| 999久久久国产精品视频| 91字幕亚洲| 亚洲av美国av| 禁无遮挡网站| 一级毛片精品| 国内少妇人妻偷人精品xxx网站 | 欧美国产日韩亚洲一区| 老熟妇乱子伦视频在线观看| 欧美又色又爽又黄视频| 亚洲熟妇熟女久久| 亚洲免费av在线视频| 两性午夜刺激爽爽歪歪视频在线观看 | 51午夜福利影视在线观看| e午夜精品久久久久久久| 久久国产精品人妻蜜桃| 国产精品99久久99久久久不卡| 精品久久久久久,| 露出奶头的视频| 免费在线观看黄色视频的| 午夜免费鲁丝| 亚洲电影在线观看av| 国产精品香港三级国产av潘金莲| 一夜夜www| 一卡2卡三卡四卡精品乱码亚洲| 一本综合久久免费| 97人妻精品一区二区三区麻豆 | 午夜福利在线观看吧| 老司机福利观看| 欧美绝顶高潮抽搐喷水| 成人av一区二区三区在线看| 久久中文看片网| 最近最新免费中文字幕在线| 欧美成人免费av一区二区三区| 国产激情欧美一区二区| 亚洲成人免费电影在线观看| 一区福利在线观看| 欧美黑人巨大hd| 91麻豆av在线| 一本综合久久免费| 在线视频色国产色| 嫩草影院精品99| 亚洲人成电影免费在线| 黑人欧美特级aaaaaa片| 中文亚洲av片在线观看爽| 国产又爽黄色视频| 91av网站免费观看| 99久久综合精品五月天人人| 成人欧美大片| 午夜福利高清视频| 嫩草影院精品99| 99久久综合精品五月天人人| 白带黄色成豆腐渣| 黄色女人牲交| 精品久久久久久久末码| svipshipincom国产片| 777久久人妻少妇嫩草av网站| 久久99热这里只有精品18| 国产精品久久视频播放| 人人澡人人妻人| 亚洲国产精品sss在线观看| 亚洲黑人精品在线| 九色国产91popny在线| 亚洲中文字幕日韩| 成人免费观看视频高清| 国产v大片淫在线免费观看| 女性被躁到高潮视频| 丰满的人妻完整版| 中文字幕精品亚洲无线码一区 | 一进一出抽搐gif免费好疼| 88av欧美| 国产色视频综合| 亚洲精品av麻豆狂野| 亚洲国产精品sss在线观看| 免费人成视频x8x8入口观看| 黄色a级毛片大全视频| 午夜视频精品福利| 免费观看人在逋| 亚洲男人的天堂狠狠| 精品不卡国产一区二区三区| 国产黄a三级三级三级人| 男人操女人黄网站| 亚洲中文日韩欧美视频| 美女大奶头视频| 午夜福利在线观看吧| 久久青草综合色| 村上凉子中文字幕在线| 国产精品 国内视频| 淫妇啪啪啪对白视频| 午夜福利18| 中国美女看黄片| netflix在线观看网站| 99re在线观看精品视频| 久久午夜亚洲精品久久| 亚洲专区字幕在线| 国产欧美日韩一区二区三| 99久久精品国产亚洲精品| 日本熟妇午夜| av在线播放免费不卡| 99精品久久久久人妻精品| 国产精品国产高清国产av| 久久久国产精品麻豆| www.精华液| www.自偷自拍.com| av视频在线观看入口| 天堂影院成人在线观看| 黄色 视频免费看| 女生性感内裤真人,穿戴方法视频| 午夜老司机福利片| 99国产精品一区二区三区| 亚洲精品美女久久久久99蜜臀| 免费看日本二区| 精品不卡国产一区二区三区| 色综合站精品国产| 99久久精品国产亚洲精品| 色老头精品视频在线观看| 国产91精品成人一区二区三区| 好男人在线观看高清免费视频 | 欧美日韩中文字幕国产精品一区二区三区| 欧美日韩中文字幕国产精品一区二区三区| 成人国语在线视频| 亚洲精品一卡2卡三卡4卡5卡| 天堂动漫精品| 桃色一区二区三区在线观看| 成人国产综合亚洲| 91麻豆精品激情在线观看国产| 1024手机看黄色片| 亚洲av中文字字幕乱码综合 | 亚洲欧美精品综合久久99| 悠悠久久av| 天天添夜夜摸| 熟女少妇亚洲综合色aaa.| 亚洲一区二区三区色噜噜| 露出奶头的视频| 日本三级黄在线观看| 亚洲精品中文字幕在线视频| 丝袜美腿诱惑在线| 中文字幕最新亚洲高清| 天天躁夜夜躁狠狠躁躁| 性色av乱码一区二区三区2| 国产片内射在线| 午夜视频精品福利| 欧美黑人巨大hd| 欧美一级a爱片免费观看看 | 亚洲精品一区av在线观看| 午夜精品久久久久久毛片777| 亚洲精品一卡2卡三卡4卡5卡| or卡值多少钱| 午夜久久久久精精品| 在线视频色国产色| 国产亚洲av嫩草精品影院| 精品无人区乱码1区二区| 国产99久久九九免费精品| 草草在线视频免费看| aaaaa片日本免费| 男女下面进入的视频免费午夜 | 国产av一区在线观看免费| 男人舔奶头视频| av视频在线观看入口| 国产成人精品久久二区二区免费| 久久婷婷人人爽人人干人人爱| 日韩有码中文字幕| 曰老女人黄片| 19禁男女啪啪无遮挡网站| 熟女少妇亚洲综合色aaa.| 久久久久亚洲av毛片大全| 又大又爽又粗| 两性午夜刺激爽爽歪歪视频在线观看 | 国产伦在线观看视频一区| 深夜精品福利| 午夜久久久在线观看| 亚洲专区中文字幕在线| 午夜免费激情av| 美女国产高潮福利片在线看| 国产黄色小视频在线观看| 国产精品野战在线观看| 久久天堂一区二区三区四区| 欧美成人免费av一区二区三区| 午夜福利在线在线| 亚洲一卡2卡3卡4卡5卡精品中文| 亚洲人成网站在线播放欧美日韩| av在线天堂中文字幕| 国内精品久久久久精免费| 国产免费av片在线观看野外av| 国产97色在线日韩免费| 亚洲成人久久性| 一本一本综合久久| 侵犯人妻中文字幕一二三四区| 天天添夜夜摸| 精品国内亚洲2022精品成人| 欧美黑人精品巨大| 久久久久国产一级毛片高清牌| 韩国精品一区二区三区| 最近在线观看免费完整版| 欧美不卡视频在线免费观看 | 国产三级黄色录像| 国产高清videossex| 韩国精品一区二区三区| 男人的好看免费观看在线视频 | 亚洲 欧美 日韩 在线 免费| 成人午夜高清在线视频 | 露出奶头的视频| 免费一级毛片在线播放高清视频| www.999成人在线观看| 成人18禁高潮啪啪吃奶动态图| 久久久国产欧美日韩av| 操出白浆在线播放| 夜夜看夜夜爽夜夜摸| 国产伦人伦偷精品视频| 真人做人爱边吃奶动态| 十八禁网站免费在线| 男女那种视频在线观看| 国产一区在线观看成人免费| 两人在一起打扑克的视频| 一进一出抽搐gif免费好疼| 欧美成狂野欧美在线观看| 成年版毛片免费区| 18禁美女被吸乳视频| 精品久久久久久久人妻蜜臀av| АⅤ资源中文在线天堂| 夜夜躁狠狠躁天天躁| 国产精品,欧美在线| 欧美另类亚洲清纯唯美| 亚洲自拍偷在线| 好男人在线观看高清免费视频 | 午夜福利免费观看在线| 怎么达到女性高潮| 欧美午夜高清在线| 法律面前人人平等表现在哪些方面| 精品久久久久久,| 亚洲成人久久爱视频| 国产午夜福利久久久久久| 一本久久中文字幕| 亚洲午夜精品一区,二区,三区| 免费观看人在逋| 在线观看舔阴道视频| 久久久国产精品麻豆| 成人精品一区二区免费| 久久精品影院6| 亚洲五月婷婷丁香| 亚洲欧美精品综合一区二区三区| 国产亚洲精品久久久久5区| 精品高清国产在线一区| 亚洲精品美女久久久久99蜜臀| 50天的宝宝边吃奶边哭怎么回事| 久久中文看片网| 成人18禁在线播放| 国产欧美日韩一区二区三| 成熟少妇高潮喷水视频| 亚洲成人精品中文字幕电影| 一区二区三区精品91| 黄网站色视频无遮挡免费观看| 制服诱惑二区| 成人av一区二区三区在线看| 午夜老司机福利片| 999久久久精品免费观看国产| 这个男人来自地球电影免费观看| 黑丝袜美女国产一区| 中文字幕高清在线视频| 国产一区二区在线av高清观看| 中文字幕高清在线视频| 黄频高清免费视频| www日本在线高清视频| 99久久无色码亚洲精品果冻| 国产亚洲精品久久久久久毛片| 色播亚洲综合网| 黑人巨大精品欧美一区二区mp4| 精品久久久久久久末码| 国产一级毛片七仙女欲春2 | 精品福利观看| 日韩av在线大香蕉| 欧美性长视频在线观看|