DFA-ODENets：面向周期多階段復(fù)雜系統(tǒng)的預(yù)測仿真框架

李瀟睿，寧春宇，袁兆麟，班曉娟?

1) 北京科技大學(xué)北京材料基因工程高精尖創(chuàng)新中心，北京 100083 2) 北京科技大學(xué)智能科學(xué)與技術(shù)學(xué)院，北京 100083 3) 北京科技大學(xué)材料領(lǐng)域知識工程北京市重點實驗室，北京 100083 4) 遼寧材料實驗室，材料智能技術(shù)研究所，沈陽 110004

實際生活中存在許多具有周期多階段特性的系統(tǒng)，有規(guī)律地在各階段循環(huán)運行且在不同運行階段會表現(xiàn)出不同的動態(tài)特性. 例如，全自動洗衣機在進水、洗滌、排水、進水、洗滌各個階段周期性地循環(huán)運行，直至甩干并關(guān)機. 冰箱和空調(diào)在工作期間會在運行（壓縮機開啟）和待機（壓縮機關(guān)閉）兩種狀態(tài)之間不斷轉(zhuǎn)換. 在對具有周期多階段特性的系統(tǒng)進行預(yù)測時，我們希望模型能夠自動地識別出系統(tǒng)所在的階段. 例如，城市交通流量或某產(chǎn)品銷量伴隨著特定的日期或季節(jié)周期性變化，此類過程的階段周期長度相對穩(wěn)定，模型能夠較容易地識別各時刻被預(yù)測對象所處的階段. 但是，對于一些復(fù)雜系統(tǒng)，其周期長度可能受到系統(tǒng)內(nèi)部和外部多個變量的影響，難以直接根據(jù)歷史經(jīng)驗預(yù)估階段的持續(xù)時間.

另一方面，在具有周期性的多階段系統(tǒng)中，各個階段可能呈現(xiàn)完全不同的動態(tài)特性，使用單一網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建的模型可能無法準(zhǔn)確地建模此類系統(tǒng).針對上述挑戰(zhàn)和問題，本研究基于神經(jīng)常微分方程網(wǎng) 絡(luò)[1]（Ordinary differential equation net, ODENets）提出了確定性有限狀態(tài)機–常微分方程網(wǎng)絡(luò)（Deterministic finite state ordinary differential equation net, DFA-ODENets）的預(yù)測仿真框架. 其能夠用于建模具有周期多階段轉(zhuǎn)換特性的多輸入輸出系統(tǒng)，利用數(shù)據(jù)驅(qū)動的方式從不規(guī)則的采樣序列中學(xué)習(xí)到連續(xù)時間非線性動態(tài)特性. 訓(xùn)練完成后，模型能夠?qū)τ诮o定的系統(tǒng)輸入實現(xiàn)實時在線預(yù)測.為了實現(xiàn)上述目標(biāo)，模型分別引入了動態(tài)特性預(yù)測和階段轉(zhuǎn)換預(yù)測兩部分功能. 該框架包含多個常微分方程網(wǎng)絡(luò)，其數(shù)量等于建模系統(tǒng)的階段數(shù)，用來學(xué)習(xí)不同階段各自的動態(tài)特性. 并能根據(jù)系統(tǒng)的先驗知識對觀測數(shù)據(jù)進行階段標(biāo)記. 同時框架也包括階段轉(zhuǎn)換預(yù)測器用來學(xué)習(xí)系統(tǒng)的階段轉(zhuǎn)換，在預(yù)測過程中，階段轉(zhuǎn)換預(yù)測器將作為多個ODENet 的切換器，用于在任意預(yù)測時間點指派合適的 ODENet 進行預(yù)測. 最后我們將框架應(yīng)用在實際的數(shù)據(jù)中心制冷系統(tǒng)中，進一步驗證了DFAODENets 的可行性和有效性.

本研究主要包含兩方面貢獻，概括如下：(1)本文針對具有周期多階段特性的動態(tài)系統(tǒng)，開創(chuàng)性地提出了DFA-ODENets 模型，該模型通過引入階段轉(zhuǎn)換預(yù)測器學(xué)習(xí)系統(tǒng)的周期性階段轉(zhuǎn)換以及采用多個ODENet 學(xué)習(xí)不同階段內(nèi)的系統(tǒng)動態(tài)特性.(2)本文模型成功應(yīng)用于某一數(shù)據(jù)中心制冷系統(tǒng)的仿真與優(yōu)化問題中，該模型能夠在給定服務(wù)器負(fù)載功率下，準(zhǔn)確地預(yù)測制冷系統(tǒng)的能耗. 同時，利用仿真模型能夠優(yōu)化系統(tǒng)的設(shè)定溫度設(shè)定配置，進而降低制冷系統(tǒng)的整體能耗.

1 相關(guān)工作

本章主要研究了周期性多階段系統(tǒng)建模時涉及到的兩個主要問題：基于先驗知識的擬合模型設(shè)計和階段識別模型.

1.1 基于先驗知識的擬合模型設(shè)計

復(fù)雜的動態(tài)系統(tǒng)中同時存在空間和時間動態(tài)特性，而傳統(tǒng)的機器學(xué)習(xí)方法[2]往往只適用于簡單的觀測，無法捕捉識別到高階變化下的潛在動態(tài)特性. 為了增強數(shù)據(jù)驅(qū)動方法中學(xué)習(xí)非線性動態(tài)的能力，最近，人們提出了基于物理特性的神經(jīng)網(wǎng)絡(luò)，以提高模型的可解釋性[3]、魯棒性[4]和擬合精度，這些方法根據(jù)物理定律來強制約束模型的計算過程與輸出特性[5-6]. 一些研究關(guān)注于灰盒模型的設(shè)計，這些方法設(shè)計通過將先驗知識整合到深度網(wǎng)絡(luò)中，從而有效推測復(fù)雜系統(tǒng)在隱空間的動態(tài)特征[7-9]. 部分研究通過分析系統(tǒng)固有特性，基于通用物理系統(tǒng)形式，如哈密爾頓系統(tǒng)、拉格朗日系統(tǒng)[10]等，對神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進行改造[11-12],從而對具有穩(wěn)定動態(tài)變量的系統(tǒng)進行建模. Greydanus 等[12]提出了哈密頓神經(jīng)網(wǎng)絡(luò)（HNN），將哈密頓神經(jīng)網(wǎng)絡(luò)參數(shù)化，作為物理先驗以無監(jiān)督的方式從數(shù)據(jù)中學(xué)習(xí)規(guī)律. Lutter 等[11]將二階常微分方程（ODE）形式的拉格朗日力學(xué)應(yīng)用到深度學(xué)習(xí)框架中，作為物理學(xué)的先驗知識以學(xué)習(xí)機械系統(tǒng)的動態(tài)特性.

神經(jīng)微分方程網(wǎng)絡(luò)[1,13]是另一種很有前景的非線性動態(tài)系統(tǒng)學(xué)習(xí)方法，它用連續(xù)深度殘差網(wǎng)絡(luò)代替了離散隱層，為微分方程與深度神經(jīng)網(wǎng)絡(luò)之間的結(jié)合搭建了一座橋梁[14]. 目前，已經(jīng)有很多基于ODENet 的系統(tǒng)建模和控制工作被提出[14-16]，以解決基于先驗知識的動態(tài)系統(tǒng)建模設(shè)計問題.

1.2 階段識別模型

為了對復(fù)雜的多階段動態(tài)系統(tǒng)進行建模與預(yù)測，以往的研究大多采用不同的自適應(yīng)子模塊識別多階段系統(tǒng)，并通過特定的參數(shù)或子模塊來預(yù)測系統(tǒng)的輸出. 深度狀態(tài)空間[17]利用遞歸神經(jīng)網(wǎng)絡(luò)(RNN)預(yù)測某一動態(tài)線性狀態(tài)空間模型的參數(shù)，并利用線性狀態(tài)空間模型建模時間序列. 其他如Embed to control (E2C)[18]、Kalman 變分自編碼器[19]和深度變分貝葉斯濾波器[20]等都采用多個時不變隱線性狀態(tài)空間模型對系統(tǒng)中存在的不同動態(tài)組分進行建模. 在這些方法中，利用自適應(yīng)模塊推導(dǎo)出的時變權(quán)值 α(t)能夠?qū)Ω鱾€狀態(tài)空間模型的使用權(quán)重進行動態(tài)分配，采用子模型組合的方式對系統(tǒng)的預(yù)測輸出進行求解，挖掘出系統(tǒng)不同階段的動態(tài)特征，從而識別出各階段. 還有利用時間序列聚類算法來解決多階段系統(tǒng)的階段識別問題的方法. Qiao 等[21]提出了一種端到端混合深度學(xué)習(xí)框架TDConvLSTM，對用于健康監(jiān)測的子序列進行分割和特征提取，沿時間維度的滑動窗口將多傳感器數(shù)據(jù)分割為一系列子序列，將時間分布的局部特征抽取器同時應(yīng)用于每個子序列以提取局部時空特征. TICC[22]通過相關(guān)網(wǎng)絡(luò)或馬爾科夫隨機場定義時間序列中的每個簇，表征每個簇中典型子序列的相互依賴性，從而實現(xiàn)時間序列的同時分段和聚類，最終實現(xiàn)汽車的各行駛階段的識別.

2 預(yù)備知識

2.1 確定有限狀態(tài)自動機

確定有限狀態(tài)自動機（Deterministic finite automaton, DFA）能根據(jù)事先給定的轉(zhuǎn)移函數(shù)集，在給定輸入下不斷轉(zhuǎn)移到下一個狀態(tài)[23]. 在本研究中利用DFA 的狀態(tài)轉(zhuǎn)換思想實現(xiàn)周期性系統(tǒng)多個階段之間的轉(zhuǎn)換. 系統(tǒng)運行的多個階段被定義為DFA中的狀態(tài)，它們按周期順序轉(zhuǎn)換，表示為{q1,q2,···,q|Q|,q1,···}. 其中階段之間的轉(zhuǎn)移規(guī)則是根據(jù)系統(tǒng)的先驗知識得出的.

2.2 神經(jīng)常微分方程

神經(jīng)常微分方程（Neural ordinary differential equations，NODE）[1]是可學(xué)習(xí)的常微分方程，變量的導(dǎo)數(shù)部分被神經(jīng)網(wǎng)絡(luò)參數(shù)化. 將動態(tài)系統(tǒng)的受控輸入作為已知的常微分方程過程，可以將具有輸出變量和受控輸入的動態(tài)系統(tǒng)建模為常微分方程：

3 確定性有限狀態(tài)機–常微分方程網(wǎng)絡(luò)

在本文中，我們開創(chuàng)性地提出了DFA-ODENets模型，此模型可以從歷史數(shù)據(jù)中學(xué)習(xí)多階段系統(tǒng)的動態(tài)特性. 然后通過基于DFA-ODENets 的編碼器–解碼器框架生成ODENet 的初始狀態(tài)，并預(yù)測系統(tǒng)的長期輸出. 針對多輸入多輸出系統(tǒng)的長時預(yù)測問題，本文研究解決了以下技術(shù)挑戰(zhàn)：

(1)多階段預(yù)測：統(tǒng)一的模型架構(gòu)難以學(xué)習(xí)系統(tǒng)在不同階段的動態(tài)特性.

(2)轉(zhuǎn)換階段的預(yù)測：在各種內(nèi)外因素影響下，模型難以確定系統(tǒng)階段的轉(zhuǎn)換時刻.

圖1 展示了該框架的數(shù)據(jù)流. 我們將離散輸入序列插值為連續(xù)時間序列后，用編碼器在編碼階段求解初始狀態(tài) S(tI). 然后，該框架根據(jù)求解的初始狀態(tài)，用預(yù)測范圍的輸入預(yù)測未來系統(tǒng)輸出. 接下來，我們將給出本文中使用的符號定義和問題表述，然后詳細(xì)說明每個模塊的設(shè)計細(xì)節(jié).

圖1 DFA-ODENets 中的數(shù)據(jù)流Fig.1 Data flow in the DFA-ODENet framework

3.1 符號定義

在本文，標(biāo)量和向量分別用小寫字母和粗體小寫字母表示，例如y,y. 假設(shè)輸入輸出數(shù)據(jù)由傳感器監(jiān)測得到，并帶有時間戳ti∈R . 對于時間范圍[t1:tI+L]，從系統(tǒng)中采集的帶有非均勻間隔的離散輸入序列和輸出序列可表示為：X1：I+L,Y1：I+L=((t1,x1,y1),(t2,x2,y2),···,(tI,xI+L,yI+L)). 相應(yīng)的，定義其連續(xù)時間過程為x：[t1：tI+L]→RM和y：[t1：tI+L]→RN，其中x(ti)=xi和y(ti)=yi. 將時間范圍 [t1：tI+L]分為條件范圍 [t1：tI] 和 預(yù)測范圍 [tI：tI+L]兩部分. 模型通過給定條件范圍 [t1：tI]下的系統(tǒng)輸入輸出生成初始狀態(tài)，然后根據(jù)預(yù)測范圍 [tI：tI+L]下的未來系統(tǒng)輸入，對系統(tǒng)輸出進行預(yù)測，如式(3)所示：

3.2 有限狀態(tài)機–常微分方程網(wǎng)絡(luò)模塊

在長期預(yù)測中，采用單一模型對多階段系統(tǒng)建模會存在擬合不充分的問題. 而將DFA-ODENets模型設(shè)計為包含多個子模型的混合結(jié)構(gòu)，就能選擇不同子模型識別每個階段的動態(tài)特性. 模型集成了基于DFA 的階段轉(zhuǎn)換預(yù)測器. 在訓(xùn)練階段，階段轉(zhuǎn)換預(yù)測器能夠利用從系統(tǒng)先驗知識提取的轉(zhuǎn)換規(guī)則，學(xué)習(xí)DFA 的階段轉(zhuǎn)換. 在測試階段，階段轉(zhuǎn)換預(yù)測器可以識別當(dāng)前時刻系統(tǒng)所處的階段，進而實現(xiàn)模型在不同階段之間的自動轉(zhuǎn)移.

圖2 介紹了DFA-ODENets 的主要結(jié)構(gòu)及內(nèi)部模塊的連接關(guān)系，其主要包括N個ODENet 模型，根據(jù)狀態(tài)變量s(t)，在同一時刻只激活其中一個ODENet 模塊用于系統(tǒng)預(yù)測. DFA-ODENets 也可以看作是ODENet 的擴展版本，相比于普通的ODENet僅預(yù)測隱狀態(tài)的導(dǎo)數(shù)，DFA-ODENets 將隱狀態(tài)擴展為三個參數(shù)，從而覆蓋系統(tǒng)中輸出變量變化以及階段變量的變化. 其中，隱狀態(tài)的計算和更新是連續(xù)時間域下的，表示為 σ(t)=[h(t),s(t),T(t)]T其中三項分別為預(yù)測的隱變量、系統(tǒng)所處的當(dāng)前階段和已經(jīng)處于當(dāng)前階段所持續(xù)的時間. 求解過程可以視為給定時間點t和無窮小時間步長 dt計算微分方程的解，如式(4)所示：

其中 μ(t)表示原始數(shù)據(jù)集的采樣間隔值，通過求解式(4)所定義的常微分方程，求解任意時刻系統(tǒng)隱狀態(tài)h(t)，然后將其作為全連接神經(jīng)網(wǎng)絡(luò)的輸入，即可預(yù)測當(dāng)前時刻的系統(tǒng)輸出：

式(5)和(6)均利用系統(tǒng)處于當(dāng)前階段的持續(xù)時間T(t) 和 系統(tǒng)輸入x(t) 為 特征輸入，輔助計算h(t)的導(dǎo)數(shù)以及預(yù)測是模型中的可學(xué)習(xí)參數(shù). 由于訓(xùn)練集和測試集中的輸入數(shù)據(jù)為離散序列，因此本文采用樣條插值法將離散的且采樣不規(guī)則的輸入序列插值為連續(xù)時間信號x(t)，并作為ODENet 的輸入x(t)以求解常微分方程.

由于系統(tǒng)中各階段持續(xù)時間不穩(wěn)定，我們在階段轉(zhuǎn)換預(yù)測器中引入了可學(xué)習(xí)的持續(xù)時間預(yù)測器在預(yù)測系統(tǒng)輸出時預(yù)估當(dāng)前階段的持續(xù)時間，并輔助模型判斷是否應(yīng)轉(zhuǎn)換到下一階段.持續(xù)時間預(yù)測器被構(gòu)建為一個普通的多層感知器，利用當(dāng)前隱狀態(tài)h(t)和x(t)作為輸入：

其中 ?s(t)為可學(xué)習(xí)參數(shù)，當(dāng)滿足x(t)) 時，模型將轉(zhuǎn)換到下一階段 (s(t)+1)modN并將T(t)復(fù)位為0.

3.3 基于編碼器解碼器結(jié)構(gòu)的微分方程網(wǎng)絡(luò)初始狀態(tài)估計與序列預(yù)測

由于周期多階段系統(tǒng)的觀測空間通常不完備，對其進行長期預(yù)測時模型需要在初始狀態(tài)中嵌入歷史軌跡的特征來推測不確定信息，進而準(zhǔn)確地估計系統(tǒng)的當(dāng)前階段和當(dāng)前階段的持續(xù)時間.為此，我們參考以往工作[24]，引入編碼器–解碼器框架，使用兩個DFA-ODENets 分別構(gòu)建編碼器和解碼器. 如圖1，模型輸入的時間序列數(shù)據(jù)包括條件范圍 {Yt1：tI,Xt1：tI} 和 預(yù)測范圍 {XtI+1：tL}. 首先將所有范圍的數(shù)據(jù)都預(yù)處理轉(zhuǎn)換為連續(xù)時間序列，并利用編碼器對條件范圍 [t1,tI]內(nèi)的數(shù)據(jù)進行編碼，以獲取DFA-ODENets 解碼器(Decoder)所需的初始狀態(tài)，即tI時刻的狀態(tài) σ(tI)=[h(tI),s(tI),T(tI)]T.然后在預(yù)測階段，基于DFA-ODENets 的解碼器將會根據(jù)初始狀態(tài) σ(tI)和系統(tǒng)外部輸入預(yù)測系統(tǒng)在范圍 [tI,tI+L]的輸出.

具體來說，在條件范圍 [t1,tI]的編碼階段，我們將連續(xù)時間信號y(t)和x(t)合并起來作為 DFAODENets 編碼器的輸入，生成(tI)，如式(8)所示：

其中t1時刻的初始狀態(tài)定義為：σ(t1)=[h(t1)=0,T(t1)=0,s(t1)]T. 根據(jù)求解得到的(tI)]T，可以獲得狀態(tài)其中，h(tI) 是從分布均值為(tI) ， 協(xié)方差I(lǐng)的對角多元高斯分布中采樣得到的，采樣過程使用了重參數(shù)化法[25]構(gòu)建用于梯度傳導(dǎo)的計算圖以及減小訓(xùn)練時梯度估計的方差.

從概率分布采樣的方式等價于將h(t)視為從條件序列中生成模型中的隱變量，利用系統(tǒng)輸出和輸入序列推測隱變量的近似后驗分布. 接下來，通過給定解碼階段的初始狀態(tài) σ(tI)和預(yù)測范圍[tI,tI+L] 內(nèi) 連續(xù)時間系統(tǒng)輸入x([tI,tI+L])，使用DFAODENets 解碼器(Decoder)求解得到預(yù)測范圍內(nèi)的預(yù)測狀態(tài):

進而使用式(6)求解任意時刻ti的系統(tǒng)輸出(ti).

在編碼階段求解初始狀態(tài)的過程中，編碼器不引入階段轉(zhuǎn)換預(yù)測器，而是根據(jù)實際的系統(tǒng)輸出和表1 中的階段轉(zhuǎn)換規(guī)則實現(xiàn)準(zhǔn)確的階段轉(zhuǎn)換，而在解碼階段是由階段持續(xù)時間預(yù)測器決定系統(tǒng)階段的持續(xù)時間及轉(zhuǎn)換.

表1 系統(tǒng)輸入輸出和不同負(fù)載下的數(shù)據(jù)集說明Table 1 System inputs and outputs and datasets with different loads

3.4 編碼器和解碼器的訓(xùn)練

為了能以端到端的方式對上述參數(shù)進行訓(xùn)練.需要優(yōu)化的模型損失函數(shù)包括兩部分，分別為預(yù)測系統(tǒng)輸出的誤差損失 LP和持續(xù)時間預(yù)測器估計的各階段持續(xù)時間的誤差損失 LDT：

其中 λ 是平衡 LP和 LDT的權(quán)重參數(shù)，對于 LP，由于模型將h(tI)作為隱變量進行后驗推斷，因此可以采用變分貝葉斯優(yōu)化(Variational Bayes)方法，將最大化系統(tǒng)觀測輸出的證據(jù)下界(Evidence lower bound, ELBO)作為模型訓(xùn)練的目標(biāo)，以最大化系統(tǒng)輸出的似然[26].

在本研究中，我們參考前人的工作[1,26–27]，對隱變量的先驗分布和后驗分布做出了如下假設(shè). 定義隱變量p(h(tI)) 的 先驗分布服從正態(tài)分布Normal(h(tI);0,I) ， 模型估計的后驗分布為對角多元高斯分布. 由此，KL 散度項可以簡化為對于h(tI)的正則項. 對于解碼器部分，我們定義生成模型pΘd(YI+1：I+L|htl,Xtl：tl+L)為具有固定協(xié)方差矩陣的正態(tài)分布，分布的均值定義為DFA-ODENet解碼器預(yù)測出的系統(tǒng)輸出，最大化重構(gòu)似然的期望.可以簡化為最小化系統(tǒng)輸出預(yù)測值與實際系統(tǒng)輸出I+1：I+L之間的L2距離. 綜上所述，預(yù)測系統(tǒng)輸出的損失和隱變量后驗估計的損失表示為：

對于階段持續(xù)時間預(yù)測器的誤差損失LDT，定義為訓(xùn)練時每個階段下預(yù)測器估計的持續(xù)時間與該階段實際持續(xù)時間之間的平方誤差：

4 實驗

本章將DFA-ODENets 模型及預(yù)測框架應(yīng)用于某數(shù)據(jù)中心制冷系統(tǒng)的建模及預(yù)測問題中，并通過實驗探究模型的預(yù)測效果，進一步地使用該模型優(yōu)化制冷系統(tǒng)能耗.

4.1 制冷系統(tǒng)

實驗中所用的是由施耐德電氣公司設(shè)計的為計算中心集群提供制冷的“行間”制冷系統(tǒng)，通過調(diào)用Seduce 平臺的API 獲取制冷系統(tǒng)的運行數(shù)據(jù). Seduce 平臺是用于電源和溫度管理的物聯(lián)網(wǎng)平臺，能以1 Hz 的頻率采集包括功率和溫度的傳感器監(jiān)測數(shù)據(jù).

“行間”制冷系統(tǒng)可被表示為周期多階段MIMO系統(tǒng)，其輸入包括服務(wù)器功率x1(t) 和 室溫x2(t)，輸出包括制冷功率y1(t) 、制冷量y2(t)和進氣口溫度y3(t)，工作模式如圖3 所示. 數(shù)據(jù)中心負(fù)載（服務(wù)器運行總功率x1(t)）的升高會導(dǎo)致制冷系統(tǒng)進氣口溫度y3(t)升高. 另外，由于制冷系統(tǒng)和環(huán)境之間存在熱交換，系統(tǒng)所處環(huán)境的溫度x2(t)也會影響制冷系統(tǒng)的運行. 為了保持服務(wù)器CPU 安全地運行，制冷系統(tǒng)設(shè)置了進氣口溫度的上下限. 當(dāng)進氣口空氣溫度達到上限時，制冷系統(tǒng)會開啟壓縮機，制冷功率y1(t) 和制冷量y2(t)增大，以降低進氣口溫度. 當(dāng)進氣口溫度低于下限時，壓縮機關(guān)閉，制冷系統(tǒng)變?yōu)榇龣C狀態(tài). 其階段轉(zhuǎn)換如圖3 所示.

圖3 制冷系統(tǒng)運行原理Fig.3 Operation principle of cooling system

4.2 數(shù)據(jù)預(yù)處理與模型訓(xùn)練

我們在不同的服務(wù)器負(fù)載功率下采集了四組數(shù)據(jù)集用于模型的訓(xùn)練與評價，負(fù)載分布從1.7 kW左右到6.3 kW 左右. 服務(wù)器運行功率x1(t)越大，說明集群當(dāng)前的計算負(fù)載較大，機器產(chǎn)熱量越多. 表1中匯總了對于數(shù)據(jù)集和系統(tǒng)輸入輸出的介紹.

我們拿到的數(shù)據(jù)集的系統(tǒng)輸入X[1：I+L]和輸出Y[1：I]是離散時間序列，對其進行三次樣條插值后構(gòu)成連續(xù)時間序列X:[t1,tI+L]和Y:[t1,tI+L]. 我們需要為序列數(shù)據(jù)標(biāo)注各時間點所屬的階段來訓(xùn)練階段轉(zhuǎn)換預(yù)測器. 可知的系統(tǒng)先驗知識如下：

系統(tǒng)周期循環(huán)運行，一個周期內(nèi)包含四個運行階段，且具有不同的動態(tài)特性. 根據(jù)進氣口溫度，系統(tǒng)在壓縮機開/關(guān)兩種模式之間交替工作.

根據(jù)上述先驗知識，我們定義系統(tǒng)的各個階段并給出階段之間的轉(zhuǎn)換規(guī)則（表2）. 并構(gòu)建了描述系統(tǒng)階段轉(zhuǎn)換的DFA，按照DFA 模型標(biāo)記數(shù)據(jù)所屬階段，制冷系統(tǒng)在N個階段之間周期性地循環(huán)轉(zhuǎn)換，每個時刻ti的階段變量定義為s(ti)∈{0,···,N-1}，其中N=4.

表2 將DFA 設(shè)計為可循環(huán)的四種狀態(tài)，且每種狀態(tài)對應(yīng)制冷系統(tǒng)的一個階段Table 2 Four circular states of DFA, each corresponding to one stage in the cooling system

數(shù)據(jù)預(yù)處理完畢后，我們設(shè)計每個數(shù)據(jù)集的前50%、中間25%和最后25%的數(shù)據(jù)分別用于模型的訓(xùn)練、驗證以及測試. 對于訓(xùn)練數(shù)據(jù)集，我們使用大小為1600 s 的滑動窗口進行遍歷并生成訓(xùn)練樣本. 訓(xùn)練樣本的前800 s 為條件范圍，用于生成DFA-ODENets 解碼器求解所需的初始狀態(tài)，后800 s 為預(yù)測范圍，模型在該范圍內(nèi)預(yù)測系統(tǒng)輸出，并與該范圍實際系統(tǒng)輸出做比較，從而優(yōu)化模型誤差損失，訓(xùn)練模型參數(shù). 隱狀態(tài)變量的h(t)的維度是20，學(xué)習(xí)率設(shè)置為0.005. 我們選擇了較大批量（Batch size=4096）以加速訓(xùn)練，所有數(shù)據(jù)集的訓(xùn)練樣本被隨機排序并分批輸入到模型訓(xùn)練. 訓(xùn)練過程使用了顯存為24G 的NVIDIA TITAN RTX 型號的單塊并行計算設(shè)備（GPU）.

模型訓(xùn)練完畢后可以根據(jù)制冷系統(tǒng)一段時間的運行數(shù)據(jù)，來預(yù)測未來一段時間制冷系統(tǒng)的運行走向. 對于本文中的模型，輸入制冷系統(tǒng)前800 s的輸入輸出的數(shù)據(jù)，以及未來一段時間范圍的系統(tǒng)輸入，即可預(yù)測制冷系統(tǒng)未來這段時間范圍內(nèi)的系統(tǒng)輸出和階段轉(zhuǎn)換過程.

在圖4 中，我們統(tǒng)計了不同服務(wù)器負(fù)載下On階段和Off 階段的持續(xù)時間. 結(jié)果表明，階段持續(xù)時間 DTi與服務(wù)器負(fù)載相關(guān)性較強，相同負(fù)載下階段持續(xù)時間 DTi的分布相對穩(wěn)定.

圖4 在服務(wù)器不同平均負(fù)載下開關(guān)階段的持續(xù)時間的分布圖. (a)關(guān)閉階段； (b)開啟階段Fig.4 Duration distribution of stage on/off based on different average server loads: (a) state-off; (b) state-on

4.3 應(yīng)用研究1：系統(tǒng)運行變量仿真

首先，利用該框架對制冷系統(tǒng)運行時的輸出變量y(t)（進氣口溫度，制冷量和制冷機功率）進行預(yù)測仿真，結(jié)果如圖5 所示. 其中圖5 各子圖黑色實線為測試數(shù)據(jù)集一定時間范圍內(nèi)的系統(tǒng)實際輸出值，帶顏色虛線為對應(yīng)范圍模型預(yù)測的系統(tǒng)輸出值，范圍是測試數(shù)據(jù)集的前1000 s，圖5(c)為采用DFA-ODENets 模型的預(yù)測結(jié)果與系統(tǒng)實際輸出的對比. 本文為了說明模型在多階段系統(tǒng)預(yù)測問題中的優(yōu)勢，進行了對比實驗. 圖5(a)中，采用單個ODENet 進行預(yù)測，通過對比發(fā)現(xiàn)，由于單個ODENet模型缺少階段轉(zhuǎn)換預(yù)測器，無法對各個階段進行獨立擬合. 在圖5(b) 中，是將DFA-ODENets 中ODE模塊替換為另一種廣泛使用的模型ODE-RNN[26]后生成的結(jié)果，但這種結(jié)構(gòu)生成的結(jié)果很難擬合平滑的物理過程，且難以有效地對系統(tǒng)的進氣口溫度變量進行學(xué)習(xí)，兩種結(jié)構(gòu)在階段轉(zhuǎn)換點附近對于制冷量和制冷機功率突變的預(yù)測效果均較差.

圖5 使用不同模型預(yù)測的系統(tǒng)的制冷機功率，制冷量和進氣口溫度的輸出值和系統(tǒng)實際的輸出值的對比. (a)一個神經(jīng)ODE 單元；(b) DFA 嵌入ODE-RNN 單元；(c) DFA 嵌入多個ODE 單元(黑色實線—系統(tǒng)實際輸出值;虛線—模型預(yù)測值;綠色—運行中；紅色—關(guān)機；紫色—開啟階段1；黃色—開啟階段2)Fig.5 Comparison of the output values for the cooling system, including power consumption, cooling production, and inlet temperature, as predicted by different models alongside the actual output values of the system: (a) one neural ODE; (b) DFA with ODE-RNN cell; (c) DFA with ODE cells (Solid black line—Actual output value of the system; Dotted line—Predicted value of the model; Green—On, Red—Off, Purple—Start up stage 1;Yellow—Start stage 2)

在預(yù)測精度量化評估方面，我們主要檢驗了不同模型對于系統(tǒng)在一段時間范圍內(nèi)的累計功耗和階段持續(xù)時間的預(yù)測能力. 首先，采用訓(xùn)練好的模型在不同負(fù)載x1(t) 下 預(yù)測系統(tǒng)在范圍 [tI,tI+L]的制冷機功率，共計120 min. 然后定義評估窗口T，將 [tI,tI+L] 按 照大小T劃分為個子區(qū)間，對每個區(qū)間計算功耗預(yù)測結(jié)果的絕對百分比誤差(APE(T))，然后對所有區(qū)間評估結(jié)果取平均得到平均絕對百分比誤差( MAPE(T))：

其中，絕對百分比誤差(APE)為一段時間 [t1,t2]內(nèi)瞬時功率的積分與真實功耗之間的相對誤差.

表3 展示了T等于30 min 時DFA-ODENets 與其他模型的功耗預(yù)測誤差（MAPE）對比結(jié)果. 結(jié)果表明，在長時預(yù)測時，本文模型在所有數(shù)據(jù)集上的MAPE 均穩(wěn)定在5%以下，且精度優(yōu)于單個ODENet單元模型、DFA 嵌入ODE-RNN 單元模型和DFA嵌入Neural CDE 單元模型[14].

表3 在不同負(fù)載下系統(tǒng)在30 min 的功耗預(yù)測值與真實值的MAPETable 3 MAPE between the predicted and real energy consumptions of the system in 30 min under different loads

另外，在服務(wù)器平均負(fù)載為3.8k 下，我們采用訓(xùn)練好的模型預(yù)測系統(tǒng)在范圍 [tI,tI+L]（時間范圍共120 min）的制冷機開啟階段和關(guān)閉階段的持續(xù)時間. 系統(tǒng)在這段時間范圍內(nèi)共有n個開啟階段和n個關(guān)閉階段，階段的平均持續(xù)時間計算公式為經(jīng)計算平均負(fù)載為3.8k 時，模型預(yù)測的系統(tǒng)開啟和關(guān)閉階段的平均持續(xù)時間分別為162.30 s，243.04 s，與系統(tǒng)兩階段實際平均持續(xù)時間161.41 s，248.13 s 相比，誤差在5%以內(nèi).

4.4 應(yīng)用研究2：制冷系統(tǒng)進氣口溫度設(shè)定點優(yōu)化

如圖3 所示，制冷系統(tǒng)運行時，進氣口溫度在上下限設(shè)定點之間周期性變化，以保證服務(wù)器運行安全. 設(shè)定范圍的溫度下限是影響制冷系統(tǒng)功耗的關(guān)鍵參數(shù)，設(shè)置過低，會因過度制冷而浪費電能,設(shè)置過高，盡管縮短了每個周期內(nèi)的制冷時間，但會導(dǎo)致壓縮機頻繁停機和啟動. 如圖5 所示，系統(tǒng)在啟動時功率峰值很高，說明開機時耗能極大，頻繁地開機會浪費額外的電能. 相較于《數(shù)據(jù)中心電源設(shè)備熱指南和最佳實踐 (ASHRAE TC9.9)》[28]中推薦的溫度范圍，本文所探究的制冷系統(tǒng)的進氣口溫度下限設(shè)定值較低，未考慮實際的制冷需求. 本實驗中，擬使用基于DFA-ODENets 的預(yù)測仿真模型，輔助求解不同負(fù)載下的最佳溫度設(shè)定點，以實現(xiàn)優(yōu)化制冷系統(tǒng)功耗的目的.

我們利用研究4.3 中訓(xùn)練的DFA-ODENets 模型，在輸入變量服務(wù)器功率x1(t) 和 室溫x2(t)保持不變的情況下，對不同溫度下限值設(shè)定下的系統(tǒng)制冷過程進行仿真，分別計算平均負(fù)載為1.7k、3.8k和6.3k 三種情況下制冷系統(tǒng)在2 h 的累計能耗. 本實驗中，我們采用溫度判斷的方式代替預(yù)測階段時間的方式實現(xiàn)從On 階段到Off 階段的轉(zhuǎn)換過程，即制冷系統(tǒng)進氣口溫度降低到給定溫度下限值時，系統(tǒng)將由階段On 轉(zhuǎn)換到階段Off. 圖6 展示了在3.8k 負(fù)載下不同進氣口溫度下限設(shè)定對制冷系統(tǒng)運行過程的影響. 隨著溫度設(shè)置點從12 ℃增加到18 ℃，在相同的時間區(qū)間內(nèi)，制冷系統(tǒng)啟動次數(shù)明顯增加，由壓縮機頻繁開機帶來的系統(tǒng)功耗不斷增大. 在圖7 中，我們繪制了不同溫度設(shè)定點以及不同負(fù)載下制冷系統(tǒng)2 h 內(nèi)的累計功耗，包括系統(tǒng)開機功耗和制冷降溫功耗. 曲線中同時標(biāo)出了系統(tǒng)達到最小功耗時的最優(yōu)溫度下限設(shè)定值. 可以發(fā)現(xiàn)，最優(yōu)溫度設(shè)定點隨負(fù)載的增大而減小. 表4展示了相比于系統(tǒng)原始溫度下限設(shè)定值，采用最優(yōu)溫度設(shè)置點可以節(jié)省的功耗百分比. 在負(fù)載功率為6.3k 時，甚至可節(jié)省18%的能耗.

表4 功耗優(yōu)化表Table 4 Optimized power

圖6 在不同溫度下限設(shè)定值下的系統(tǒng)瞬時制冷功率的仿真值. (a) 12 ℃; (b) 14 ℃; (c) 16 ℃Fig.6 Simulations of instant cooling power under different lower boundaries of temperature set points: (a)12 ℃; (b)14 ℃; (c)16 ℃

圖7 在不同負(fù)載下改變溫度下限設(shè)定值對功耗的仿真結(jié)果和系統(tǒng)達到最小功耗時的最優(yōu)溫度下限設(shè)定值Fig.7 Simulation results of energy consumption by changing the lower temperature boundary setting value under different loads and optimal lower temperature boundary setting value at which the system reaches the minimum energy consumption

5 總結(jié)

本文提出了一種基于深度學(xué)習(xí)的DFA-ODENets框架，用于建模具有周期多階段特性的MIMO 系統(tǒng). 模型能夠?qū)ο到y(tǒng)歷史數(shù)據(jù)進行編碼，在給定新的系統(tǒng)輸入下預(yù)測系統(tǒng)未來輸出. DFA-ODENets中包含多個常微分神經(jīng)網(wǎng)絡(luò)（ODENet），每個ODENet能夠獨立學(xué)習(xí)系統(tǒng)不同階段內(nèi)的動態(tài)特性. 同時，本文根據(jù)DFA 狀態(tài)轉(zhuǎn)換的思想，以及系統(tǒng)的先驗知識，在DFA-ODENets 中構(gòu)建了階段轉(zhuǎn)換預(yù)測器，該模塊能對系統(tǒng)所處階段進行自識別與自轉(zhuǎn)移，并選擇相應(yīng)的ODENet 進行預(yù)測. 最后，本文利用所提出的DFA-ODENets 框架構(gòu)建了數(shù)據(jù)中心制冷系統(tǒng)的能耗仿真模型，并通過兩組實驗對模型進行驗證. 第一個實驗用來估計實時能源消耗，結(jié)果表明，相比于其他模型，本文方法可以準(zhǔn)確地預(yù)測系統(tǒng)階段轉(zhuǎn)換點以及各時刻的系統(tǒng)輸出量，將其用于預(yù)測制冷系統(tǒng)30 min 內(nèi)的累計能耗，預(yù)測結(jié)果的MAPE 小于5%. 在第二個實驗中，通過模擬制冷系統(tǒng)在不同負(fù)載、不同溫度設(shè)定點時的運行過程，發(fā)現(xiàn)調(diào)整溫度下限設(shè)定值會影響制冷系統(tǒng)的啟停頻率，進而影響系統(tǒng)能耗，且最優(yōu)溫度下限設(shè)定值隨負(fù)載的增大而減小. 仿真結(jié)果表明，采用經(jīng)優(yōu)化的溫度下限設(shè)定值最高可節(jié)省18%的制冷能耗.