基于時(shí)序分解與CNN的車間能耗預(yù)測(cè)方法

陸應(yīng)康 盛步云 張志瀚 張燕強(qiáng)

1(武漢理工大學(xué)機(jī)電工程學(xué)院 湖北 武漢 430070)2(東風(fēng)設(shè)計(jì)研究院有限公司智慧技術(shù)研究院 湖北 武漢 430056)

0 引 言

隨著制造業(yè)發(fā)展突飛猛進(jìn)，制造業(yè)對(duì)能源的消耗也越來(lái)越大，據(jù)統(tǒng)計(jì)2000年-2016年中國(guó)工業(yè)能源消耗總量年均增長(zhǎng)率為6.69%, 同期制造業(yè)能源消耗量占中國(guó)工業(yè)部門能源消耗量的比例平均達(dá)到82.8%[1]。在裝備制造業(yè)中，涂裝車間是制造企業(yè)中工藝最復(fù)雜，也是高能耗和高排放的車間之一[2]。在涂裝車間內(nèi)，最主要的能耗集中在空調(diào)和照明等系統(tǒng)，其能耗比例達(dá)到涂裝車間總能耗的60%～70%[3]，具有很大的節(jié)能潛力，因此，對(duì)涂裝車間的能耗進(jìn)行分析，從而挖掘節(jié)能潛力對(duì)整個(gè)汽車制造業(yè)的節(jié)能減排具有重要意義。Azadeh等[4]利用遺傳算法對(duì)人工神經(jīng)網(wǎng)絡(luò)模型的參數(shù)進(jìn)行了優(yōu)化，從而得到對(duì)某企業(yè)電能耗的預(yù)測(cè)模型，并與時(shí)間序列法的預(yù)測(cè)結(jié)果進(jìn)行了對(duì)比分析，表明優(yōu)化后的神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)能力更優(yōu)。張宗華等[5]提出一種基于遺傳算法的反向傳播神經(jīng)網(wǎng)絡(luò)模型，在對(duì)電力負(fù)載的預(yù)測(cè)中有較高的預(yù)測(cè)精度。李曼潔等[6]基于XGBoost的用能預(yù)測(cè)模型對(duì)某汽車制造企業(yè)油漆車間的日能耗進(jìn)行預(yù)測(cè)，達(dá)到了良好預(yù)測(cè)效果。文獻(xiàn)[7]利用優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的模擬退火粒子群混合算法對(duì)鋼鐵企業(yè)的生產(chǎn)能耗進(jìn)行預(yù)測(cè)，實(shí)現(xiàn)較高的精度預(yù)測(cè)。趙超等[8]提出了自適應(yīng)加權(quán)最小二乘支持向量機(jī)(AWLS-SVM)回歸方法的短期電力負(fù)荷預(yù)測(cè)模型，計(jì)算結(jié)果表明,AWLS-SVM模型在預(yù)測(cè)精度和泛化能力方面均有所提高。廖文強(qiáng)等[9]基于長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)對(duì)暖通空調(diào)未來(lái)短期能耗進(jìn)行預(yù)測(cè)，實(shí)驗(yàn)表明，LSTM預(yù)測(cè)比傳統(tǒng)方法效果更好。以上預(yù)測(cè)模型都是利用人工智能算法建立模型，但是這些人工智能算法對(duì)于數(shù)據(jù)的依賴性太強(qiáng)，模型訓(xùn)練需要大量的數(shù)據(jù)，難以解決數(shù)量較少的車間能耗預(yù)測(cè)的問(wèn)題。

綜上，針對(duì)神經(jīng)網(wǎng)絡(luò)模型對(duì)數(shù)據(jù)依賴性強(qiáng)以及能耗數(shù)據(jù)的動(dòng)態(tài)性和不確定性的問(wèn)題，本文提出基于時(shí)序分解與CNN的預(yù)測(cè)模型，最后利用某汽車制造企業(yè)涂裝車間能耗數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，驗(yàn)證模型的有效性。

1 概 述

本文的模型結(jié)構(gòu)如圖1所示，其中包括車間能耗數(shù)據(jù)的時(shí)序分解、貝葉斯參數(shù)估計(jì)[10]、卷積神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘部分。

圖1 車間能耗預(yù)測(cè)模型結(jié)構(gòu)

首先通過(guò)具有周期特征的傅里葉變換基函數(shù)和分段函數(shù)分別對(duì)動(dòng)態(tài)的能耗數(shù)據(jù)的周期成分和趨勢(shì)成分進(jìn)行擬合，建立時(shí)序分解模型。然后基于貝葉斯理論，將車間能耗的歷史數(shù)據(jù)作為先驗(yàn)信息，并利用馬爾可夫鏈蒙特卡洛(MCMC)模擬方法[11]對(duì)周期成分模型和趨勢(shì)成分模型進(jìn)行參數(shù)估計(jì)。最后將得到的周期和趨勢(shì)特征數(shù)據(jù)以及環(huán)境變量等隨機(jī)因素作為卷積神經(jīng)網(wǎng)絡(luò)的輸入，進(jìn)行卷積運(yùn)算，最終得到車間能耗預(yù)測(cè)值。

2 車間能耗預(yù)測(cè)模型

2.1 周期成分模型

對(duì)于能耗數(shù)據(jù)的周期性，主要是季節(jié)以及節(jié)假日等因素造成的，本文考慮工作日與周末車間能耗的差異導(dǎo)致能耗數(shù)據(jù)呈現(xiàn)周期性的問(wèn)題，選取擬合數(shù)據(jù)周期性應(yīng)用最廣泛的傅里葉變換分析方法[12]。傅里葉變換一般在信號(hào)處理上應(yīng)用比較廣泛，根據(jù)不同周期的數(shù)據(jù)的頻譜篩選出振幅最大的頻率，高效地?cái)M合數(shù)據(jù)。如果將能耗數(shù)據(jù)也看作一種信號(hào)的話，經(jīng)過(guò)傅里葉變換可以得到能耗數(shù)據(jù)的頻譜，一般的傅里葉變換基函數(shù)為：

(1)

本文對(duì)于車間能耗數(shù)據(jù)，在傅里葉變換基函數(shù)中加入?yún)?shù)T，通過(guò)調(diào)整T的值來(lái)擬合能耗數(shù)據(jù)，最大限度地減小數(shù)據(jù)方差，最終獲得能耗數(shù)據(jù)的周期成分。其表達(dá)式如下：

(2)

設(shè)α=[a0,b0,a1,b1,…,an,bn]T為傅里葉系數(shù)，車間能耗數(shù)據(jù)的周期成分可以表示為:

S(t)=W(t)α

(3)

2.2 趨勢(shì)成分模型

考慮到車間能耗數(shù)據(jù)受到車間生產(chǎn)任務(wù)等因素影響，呈現(xiàn)出不同趨勢(shì)，能耗的增長(zhǎng)率不斷變化。采用單一的趨勢(shì)擬合，將淹沒(méi)這些特征，本文采取分段函數(shù)[13]來(lái)擬合車間能耗數(shù)據(jù)的趨勢(shì)成分，以此顯現(xiàn)不同時(shí)段能耗的特征信息，提高趨勢(shì)擬合精度，將能耗數(shù)據(jù)分為N段的線性模型表示：

X={(X1L,X1R),…,(XiL,XiR),…,(XNL,XNR)}

(4)

式中：(XiL,XiR)表示為第i段的線性模型,XiL、XiR是第i段線段的起始值和終止值；N表示為整個(gè)能耗數(shù)據(jù)劃分的線段數(shù)目。

本文設(shè)置N-1個(gè)趨勢(shì)轉(zhuǎn)折點(diǎn)SN，當(dāng)時(shí)間t大于趨勢(shì)分段點(diǎn)SK時(shí)，修正趨勢(shì)函數(shù)，其表達(dá)式為:

T(ti)=(XiL,XiR)=(k+a(t)kδi)t+(b-ka(t)θi)

(5)

式中：k為斜率；a(t)為本文設(shè)置的指示函數(shù),當(dāng)時(shí)間ti大于趨勢(shì)分段點(diǎn)Si時(shí)，a(t)取1，否則取0；δi表示第i段線段斜率的變化率系數(shù)；θi為偏移量系數(shù)，θi=Siδi；b為偏移參數(shù)。

2.3 基于貝葉斯推理時(shí)序分解模型求解

車間能耗受人的行為、環(huán)境等諸多外部因素的影響，能耗數(shù)據(jù)呈現(xiàn)出動(dòng)態(tài)性、隨機(jī)性、不確定性等特征。貝葉斯?fàn)顟B(tài)估計(jì)方法能準(zhǔn)確度量時(shí)序數(shù)列的不確定性，并能根據(jù)更新的觀測(cè)數(shù)據(jù)對(duì)參數(shù)進(jìn)行更新，借助貝葉斯方法，根據(jù)先驗(yàn)信息對(duì)時(shí)序模型進(jìn)行求解，估計(jì)模型參數(shù)，提高擬合的準(zhǔn)確性。

分別對(duì)周期和趨勢(shì)函數(shù)參數(shù)估計(jì)，如果將周期函數(shù)的未知參數(shù)ω={α,T}看作隨機(jī)變量，根據(jù)能耗的先驗(yàn)信息，可以確定未知參數(shù)的先驗(yàn)分布為π(ω)，概率密度函數(shù)也可以看作是隨機(jī)樣本序列，則能耗數(shù)據(jù)集序列D和參數(shù)ω的聯(lián)合分布為：

h(D,ω)=P(D|ω)π(ω)

(6)

式中：P(D|ω)為在參數(shù)ω的條件下，能耗數(shù)據(jù)集的概率，本文的能耗數(shù)據(jù)集已知，則P(D|ω)為參數(shù)ω的似然函數(shù)。因此，式(6)也可以寫(xiě)為：

h(D,ω)=L(D|ω)π(ω)

(7)

我們的任務(wù)是得到周期模型的參數(shù)，確定準(zhǔn)確模型，即確定參數(shù)ω在能耗數(shù)據(jù)集的條件下的分布：

cL(D|ω)π(ω)

(8)

式中：m(x)為能耗數(shù)據(jù)的邊緣密度，一般為常數(shù)c。則式(8)中未知參數(shù)ω的后驗(yàn)分布，它其中包括了能耗數(shù)據(jù)和有關(guān)參數(shù)ω的先驗(yàn)信息，本文取參數(shù)ω的估計(jì)由后驗(yàn)均值給出，即：

(9)

在實(shí)際應(yīng)用中，式(9)的后驗(yàn)分布很難通過(guò)求解得到，一般采用抽樣的方法來(lái)估計(jì)參數(shù)值，馬爾可夫鏈蒙特卡洛(MCMC)的方法是計(jì)算貝葉斯后驗(yàn)分布的有效的方法。通過(guò)MCMC算法對(duì)模型參數(shù)進(jìn)行后驗(yàn)?zāi)M，取后驗(yàn)均值作為模型參數(shù)的估計(jì)值。

Gibbs抽樣[14]是一種重要的MCMC抽樣算法, 計(jì)算方法可以表示如下：

2) Gibbs抽樣的i次迭代過(guò)程：

?

?

2.4 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(CNN)是一種用于處理視覺(jué)圖像的深度神經(jīng)網(wǎng)絡(luò)[15]，CNN由輸入層、輸出層和多個(gè)隱藏層組成，其中隱藏層由多個(gè)卷積層、池化層和全連接層組成。本文將CNN用于能耗預(yù)測(cè)，因CNN具有極強(qiáng)的局部特征捕捉能力，可以處理能耗數(shù)據(jù)多維度的耦合關(guān)系，同一層神經(jīng)元之間共享權(quán)值，不僅可以降低網(wǎng)絡(luò)的復(fù)雜度、提高預(yù)測(cè)效率，而且具有較好的擬合度。因此通過(guò)對(duì)能耗數(shù)據(jù)時(shí)間序列分解得到多維度因素，再利用CNN對(duì)能耗數(shù)據(jù)進(jìn)行預(yù)測(cè)，相比傳統(tǒng)的將時(shí)序分解的多維度因素疊加(TSD)的預(yù)測(cè)方法[16]，是一種更有效的預(yù)測(cè)方法。

本文所采用的卷積神經(jīng)網(wǎng)絡(luò)模型參考Alex Net模型[15]，由兩層卷積層和兩層池化層組成，本文在每個(gè)卷積層加入ReLU激活函數(shù)，為了防止梯度消失或梯度爆炸，并加入Dropout層消弱過(guò)擬合。網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，其中p和q為池化層的尺寸。

圖2 卷積神經(jīng)網(wǎng)絡(luò)模型

在卷積層中，從能耗數(shù)據(jù)序列中提取出局部的節(jié)點(diǎn)組合信息。通過(guò)每一個(gè)卷積核在所有數(shù)據(jù)上的重復(fù)滑動(dòng)得到多組輸出數(shù)據(jù),當(dāng)輸入信號(hào)為xi=(x1,x2,…,xn)時(shí),卷積層的計(jì)算公式為：

(10)

池化層主要用于保留主要特征，降低維度，減小過(guò)擬合。本文采用平均池化方式，對(duì)能耗數(shù)據(jù)的特征進(jìn)行下采樣處理。則池化層計(jì)算公式為：

(11)

式中:h(·)表示求平均值函數(shù)；kp為池化層權(quán)值；bj為偏置矩陣。

經(jīng)過(guò)池化層后得到一系列特征，全連接層通過(guò)全連接方式將每一個(gè)神經(jīng)元與池化層的所有輸入出連接，將所有的特征集合起來(lái)，最終輸出能耗預(yù)測(cè)值。

3 實(shí)例分析

3.1 數(shù)據(jù)集和數(shù)據(jù)預(yù)處理

本文以某企業(yè)的車間能耗數(shù)據(jù)作為研究對(duì)象，用于驗(yàn)證基于貝葉斯估計(jì)的時(shí)序分解與卷積神經(jīng)網(wǎng)絡(luò)組合預(yù)測(cè)方法的預(yù)測(cè)效果，數(shù)據(jù)的步長(zhǎng)為1天，共有317個(gè)樣本。圖3顯示了車間在一年內(nèi)的能耗值變化，其中節(jié)假日等因素對(duì)于能耗值的影響很顯著。

圖3 車間日能耗數(shù)據(jù)

由于電表等讀取誤差以及停電等突發(fā)狀況，原始數(shù)據(jù)中有很多異常值和缺失值，為了降低異常值和缺失值對(duì)模型訓(xùn)練造成的誤差，本文采用臨近值求平均值來(lái)填補(bǔ)缺失值和替換異常值。

3.2 基于貝葉斯估計(jì)的時(shí)間序列分解

對(duì)車間能耗數(shù)據(jù)的317個(gè)樣本通過(guò)貝葉斯參數(shù)估計(jì)方法進(jìn)行時(shí)序分解，在Gibbs抽樣中，設(shè)置迭代次數(shù)為5 000次，并將前1 000次不平穩(wěn)的數(shù)據(jù)刪除，模擬實(shí)驗(yàn)的主要參數(shù)結(jié)果如表1所示，通過(guò)所得參數(shù)繪制數(shù)據(jù)的周期成分和趨勢(shì)成分。時(shí)序分解結(jié)果如圖4-圖5所示。

表1 模型參數(shù)的估計(jì)結(jié)果

圖4 周期成分

圖5 趨勢(shì)成分

分析可知：能耗數(shù)據(jù)的周期規(guī)律很強(qiáng)，有利于對(duì)神經(jīng)網(wǎng)絡(luò)的分析和預(yù)測(cè)，能耗的趨勢(shì)成分的波動(dòng)較大，需要通過(guò)分析環(huán)境因素等數(shù)據(jù)與其關(guān)系，進(jìn)行預(yù)測(cè)。

3.3 評(píng)價(jià)模型設(shè)置

1) 對(duì)比設(shè)置。為驗(yàn)證本文方法的有效性, 本文選取了自回歸移動(dòng)平均模型(ARIMA)、長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)、支持向量機(jī)(SVM)，以及時(shí)序分解算法作為對(duì)比。

2) 模型評(píng)估。本次研究采用R2與RMSE評(píng)估模型預(yù)測(cè)效果。

(12)

(13)

3.4 模型結(jié)構(gòu)參數(shù)設(shè)置

本文通過(guò)反復(fù)實(shí)驗(yàn)得知，選取步長(zhǎng)為50，卷積核大小為3×3，數(shù)量分別為2和4，池化層尺度為2×1時(shí)，預(yù)測(cè)效果較好，具體結(jié)構(gòu)如圖6所示。

圖6 能耗卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)圖

在訓(xùn)練CNN時(shí), 本文選取Euclidean Loss作為CNN的損失函數(shù), 即：

(14)

圖7 CNN模型訓(xùn)練過(guò)程的損失函數(shù)

3.5 結(jié)果與討論

本文分別使用SVM、ARIMA、LSTM、時(shí)序分解，以及本文方法對(duì)2019年1月10日至2019年1月25日的15天車間能耗數(shù)據(jù)進(jìn)行預(yù)測(cè)，對(duì)比實(shí)驗(yàn)中各類的預(yù)測(cè)方法能耗預(yù)測(cè)結(jié)果如表2、表3和圖8所示。

表2 其他模型和TSDCNN模型的預(yù)測(cè)結(jié)果對(duì)比

表3 其他模型和TSDCNN模型的評(píng)價(jià)對(duì)比

圖8 能耗預(yù)測(cè)結(jié)果

可以看出，對(duì)于正常日期的車間能耗數(shù)據(jù)，五種方法的預(yù)測(cè)效果都很相近，但是對(duì)于節(jié)假日這樣的突發(fā)情況，SVM的預(yù)測(cè)效果最差，因?yàn)镾VM無(wú)法擬合到節(jié)假日這種與正常數(shù)據(jù)懸殊的數(shù)據(jù)。相比SVM的預(yù)測(cè)效果，ARIMA和LSTM對(duì)突發(fā)事件能夠有一定程度的預(yù)測(cè)。TSD和本文方法對(duì)突發(fā)事件的預(yù)測(cè)效果最好。通過(guò)表3可以看出，本文的組合方法在預(yù)測(cè)值與實(shí)際能耗值的吻合度(R2)最高，比TSD的吻合度提高了0.09， RMSE降低了523.7。所以本文方法的預(yù)測(cè)效果明顯優(yōu)于SVM、ARIMA、LSTM、TSD算法。

綜上所述，本文方法在五種方法中表現(xiàn)最好，不管在正常日還是特殊日期都能完成較高精度的預(yù)測(cè)，可以很好地預(yù)測(cè)車間能耗情況。

4 結(jié) 語(yǔ)

涂裝車間能耗預(yù)測(cè)對(duì)于降低車間的能源消耗以及節(jié)能減排具有重要意義。本文通過(guò)基于貝葉斯的時(shí)序分解與卷積神經(jīng)網(wǎng)絡(luò)組合模型對(duì)能耗進(jìn)行預(yù)測(cè)，通過(guò)時(shí)序分解將歷史能耗數(shù)據(jù)分解為周期因素和趨勢(shì)因素，為CNN模型提供基礎(chǔ)，采用貝葉斯估計(jì)方法，可以很好地描述實(shí)際問(wèn)題的內(nèi)在規(guī)律。CNN模型可以對(duì)于局部的特征進(jìn)行提取，提高模型的預(yù)測(cè)精度。本文研究為涂裝車間能耗節(jié)能決策以及能耗異常診斷提供一定的參考。