基于煙花算法與長短時記憶網(wǎng)絡的模溫預測方法研究

張典范，栗子豪，程淑紅

(1.燕山大學 車輛與能源學院，河北 秦皇島 066004；2.燕山大學 電氣工程學院，河北 秦皇島 066004)

1 引 言

近年來，汽車輕量化的發(fā)展帶動了低壓鑄造行業(yè)，低壓鑄造工藝中鑄件液固成型溫度場控制和利用計算機軟件模擬分析模具關(guān)鍵部位的溫度曲線是其核心[1，2]。模具溫度在鑄件成型過程中起著關(guān)鍵作用，以鑄造生產(chǎn)中模具溫度建立模型[3]，精準預測模溫，可優(yōu)化溫度控制系統(tǒng)，提高鑄件質(zhì)量[4]，并可為鑄造成型模溫自動控制提供保障。

隨著神經(jīng)網(wǎng)絡的出現(xiàn)，傳統(tǒng)的大數(shù)據(jù)預測方法幾乎均采用了BP神經(jīng)網(wǎng)絡[5～7]，其對模具溫度預測模型的應用也較為廣泛[8]，然而，BP模型更適合小規(guī)模的樣本數(shù)據(jù)，難以尋找大規(guī)模數(shù)據(jù)中變量的變化規(guī)律，從而導致大規(guī)模數(shù)據(jù)預測準確度低。長短時記憶網(wǎng)絡(long and short term memory network，LSTM)具有獨特的記憶性能特點[9]，該模型在語義分割[10，11]、目標識別[12]、機器翻譯[13]等領(lǐng)域應用前景廣泛。

模具溫度是低壓鑄造生產(chǎn)中影響鑄件質(zhì)量的一個重要指標，針對BP神經(jīng)網(wǎng)絡對模具溫度預測準確度低的問題，本文結(jié)合鑄造工藝生產(chǎn)方式和灰度關(guān)聯(lián)分析方法(grey relation analysis，GRA)[14，15]，分析出影響模具溫度關(guān)聯(lián)度高的變量，建立了低壓鑄造模溫預測的影響因子變量集合，采用煙花算法(fireworks algorithm，F(xiàn)WA)[16]優(yōu)化LSTM模型的超參數(shù)，將建立的FWA-LSTM模型應用于模具溫度預測建模中，并進行了仿真實驗。

2 模具溫度的影響因子變量選取

低壓鑄造中模具溫度主要取決于合金液液固成型和冷卻系統(tǒng)的冷卻狀況。在低壓鑄造鑄件成型過程中，合金液進入模具型腔前，經(jīng)過在保溫爐中靜置，并在壓力的作用下，使合金液由下而上勻速壓入鑄件模具型腔中進行澆注，澆注完成后，通過冷卻系統(tǒng)將模具中的熱量傳走，從而使合金液凝固形成鑄件。初步確定模具溫度的影響因子變量集合為：冷卻水流量、冷卻水溫度、冷卻時間、冷卻管道與模具之間距離、冷卻管道個數(shù)、合金液壓力、擠壓速度。采用GRA對影響模溫因素的數(shù)據(jù)進行灰關(guān)聯(lián)計算，達到降維的目的；將獲得新的模溫影響因子數(shù)據(jù)集作為預測模型的輸入變量集合。

初始影響因子變量集合：

(1)

模具溫度集合：

Y={Yj|j=1,2,…,M}

(2)

式中：X是初始變量集合；Y是模具溫度集合；M是一組影響因素變量的數(shù)據(jù)量；N是初始變量的維度。

灰色關(guān)聯(lián)系數(shù)為：

(3)

式中：ρ為分辨系數(shù)，0<ρ<1，如果ρ越大，則相關(guān)系數(shù)之間的差越小，辨別能力越強，通常ρ取0.5。

對各個影響因素分別計算其關(guān)聯(lián)系數(shù)的均值，來反映各個影響因素與模具溫度的關(guān)聯(lián)關(guān)系，計算表達式為：

(4)

式中ξ代表灰色關(guān)聯(lián)系數(shù)。

低壓鑄造模溫的影響因子變量集合與模溫關(guān)聯(lián)度值見表1。

表1 低壓鑄造模溫相關(guān)影響因子變量灰關(guān)聯(lián)度

設定灰關(guān)聯(lián)閾值為0.85，根據(jù)表1可獲得模具溫度預測模型的輸入集合數(shù)據(jù)為：冷卻水溫度、冷卻時間、合金液壓力和擠壓速度。預測輸出變量為：模具溫度。

3 基于FWA-LSTM預測模型

由于遞歸神經(jīng)網(wǎng)絡可以在傳統(tǒng)的BP神經(jīng)網(wǎng)絡基礎(chǔ)上，增加隱藏層中神經(jīng)元之間的水平聯(lián)系，所以遞歸神經(jīng)網(wǎng)絡的最重要特征是下一個時間序列的神經(jīng)元可以獲取前一個時間序列的神經(jīng)元。因此，整個網(wǎng)絡具有記憶功能，遞歸神經(jīng)網(wǎng)絡可以在模溫影響因子數(shù)據(jù)集上學習時間序列的特征。然而，隨著模溫影響因子數(shù)據(jù)集的個數(shù)增加，遞歸神經(jīng)網(wǎng)絡易于發(fā)生梯度爆炸。針對這種現(xiàn)象采用LSTM模具溫度預測模型，利用其特有的輸入門、遺忘門、候選門和輸出門結(jié)構(gòu)的相互作用，提出FWA優(yōu)化LSTM的超參數(shù)，來提高預測精度。

3.1 LSTM結(jié)構(gòu)及算法

LSTM的內(nèi)部結(jié)構(gòu)中，重復的模塊比單一的神經(jīng)網(wǎng)絡層復雜的多。如圖1所示，每個神經(jīng)元(圖1中由3個神經(jīng)元組成)中內(nèi)部有4個以一種獨特的方式進行連接，圖中箭頭的方向表示信息傳遞的方向，標號A表示神經(jīng)元A，h(t-1)表示上一個神經(jīng)元的輸出，x(t)表示當前神經(jīng)元的輸出。圖中正中間內(nèi)部結(jié)構(gòu)里的圓圈表示向量的邏輯門運算，矩陣形狀表示學習到的神經(jīng)網(wǎng)絡層(由雙曲正切函數(shù)tanh和σ表示函數(shù)Sigmoid組成)；LSTM關(guān)鍵在于神經(jīng)元之間的主信息交互，主信息交互(穿過神經(jīng)元的水平線)類似于傳送帶，主信息在每個神經(jīng)元內(nèi)部通過邏輯門運算進行處理，如此重復形成了循環(huán)結(jié)構(gòu)。

圖1 LSTM的內(nèi)部結(jié)構(gòu)

信息在進入每個LSTM神經(jīng)元內(nèi)部后，第一步是通過遺忘門來控制是否遺忘上一次神經(jīng)元的狀態(tài)，通過激活函數(shù)Sigmoid，得到輸出f(t)，計算表達式為：

f(t)=σ(Wf×h(t-1)+Uf×x(t)+bf)

(5)

式中：Wf，Uf，bf為線性關(guān)系的系數(shù)和偏倚；σ為Sigmoid激活函數(shù)。

第二步控制哪些信息通過輸入門。輸入門由兩部分組成，該層的第一部分Sigmiod層控制更新哪些信息；第二部分為雙曲正切函數(shù)tanh層候選更新生產(chǎn)的向量。見式(6)和式(7)：

i(t)=σ(Wi×h(t-1)+Ui×x(t)+bi)

(6)

a(t)=tanh(Wa×h(t-1)+Ua×x(t)+ba)

(7)

式中：Wi,Wa,Ui,Ua,bi,ba為線性關(guān)系的系數(shù)和偏倚。

結(jié)合遺忘門和輸入門所得結(jié)果作用到隱藏神經(jīng)元狀態(tài)C(t)，數(shù)學表達式為：

C(t)=C(t-1)⊙f(t)+i(t)⊙a(t)

(8)

式中⊙為Hadamard積。

第三步控制是否通過輸出門輸出隱藏狀態(tài)h(t)。該輸出門也由兩部分組成，第一部分是前一個序列的隱藏狀態(tài)h(t-1)以及本序列數(shù)據(jù)x(t)和激活函數(shù)Sigmoid；第二部分由隱藏狀態(tài)C(t)和雙曲正切函數(shù)tanh。見式(9)和式(10)：

o(t)=σ(Wo×h(t-1)+Uo×x(t)+bo)

(9)

H(t)=o(t)⊙tanhC(t)

(10)

式中：Wo，Uo，bo為線性關(guān)系的系數(shù)和偏倚。

通過上述步驟，LSTM進行前向傳播算法，不斷迭代更新遺忘門輸出，輸入門輸出和輸出門輸出。

3.2 煙花算法建立

針對長短時記憶網(wǎng)絡誤差梯度下降算法全局尋優(yōu)能力差，尋優(yōu)準確度低等問題，提出采用煙花算法(FWA)對LSTM的參數(shù)進行優(yōu)化。采用煙花爆炸的搜索機理發(fā)現(xiàn)更優(yōu)解，提升算法的全局尋優(yōu)能力，增加了搜索的準確度。在FWA算法中[17]，假設有n個參數(shù)組合，其中Xi=x1,x2,…,xd是解空間中的1個解，根據(jù)適應度函數(shù)f(Xi)計算每個煙花的適應度值，計算適應度值獲得的火花個數(shù)Si為：

(11)

ymax=max(f(Xi))，i=1,2,…,n

(12)

式中：m是控制n個煙花產(chǎn)生火花總數(shù)的參數(shù)；ξ是接近0的小數(shù)；f(Xi)代表適應度函數(shù)。

為了避免絢麗煙花的影響，定義參數(shù)組火花的數(shù)量Si，如式：

(13)

式中：a，b是常量。

與設計的火花數(shù)相比，良好的煙花爆炸產(chǎn)生的火花數(shù)也接近爆炸中心，良好的煙花爆炸能量低于不良的煙花爆炸能量。爆炸位移范圍定義幅度Ai：

(14)

ymin=min(f(Xi))，i=1,2,…,n

(15)

式中A是預設的最大振幅。

根據(jù)爆炸效果，在煙花算法中，應使用更多的火花來搜索煙火周圍的局部區(qū)域，并且爆炸效果不良的煙火的最佳位置可能遠離煙火的位置，從而使搜索半徑變大；爆炸效果好的煙花比爆炸效果差的煙花產(chǎn)生更多的火花，爆炸幅度小。圖2為2種不同的煙花爆炸效果。

圖2 煙花算法爆炸效果

Xi被選擇進行下一次迭代的概率為：

(16)

式中R(Xi)代表當前個體到集合M的距離。

3.3 FWA優(yōu)化LSTM參數(shù)

LSTM的參數(shù)和結(jié)構(gòu)選取直接影響模型的預測精度，采用FWA優(yōu)化LSTM預測模型參數(shù)比傳統(tǒng)的神經(jīng)網(wǎng)絡訓練速度快，并且避免模型參數(shù)選取的不科學性，對模型結(jié)構(gòu)參數(shù)的優(yōu)化能更好地提高預測精度。根據(jù)FWA優(yōu)化LSTM模型的3個參數(shù)，分別為時間窗口大小，批處理大小和隱藏層單元的個數(shù)。以模具溫度預測模型當中訓練數(shù)據(jù)集的平均絕對“%”誤差作為FWA中的適應度函數(shù)，其表達式為：

(17)

原始數(shù)據(jù)經(jīng)過GRA處理后作為模溫訓練模型的輸入數(shù)據(jù)進行訓練，圖3為FWA-LSTM和LSTM算法的模溫偏差值隨迭代次數(shù)變化的曲線，損失函數(shù)均選擇平法差損失函數(shù)。由圖中可以看出：LSTM收斂速度慢，模溫預測精度較低；采用FWA優(yōu)化LSTM算法收斂速度更快，模溫預測誤差較小。從而證明了FWA全局尋優(yōu)能力強。

FWA-LSTM模溫預測模型的流程為：

1)將低壓鑄造生產(chǎn)線上的數(shù)據(jù)分為訓練數(shù)據(jù)和驗證數(shù)據(jù)。

圖3 對比FWA-LSTM與LSTM迭代誤差圖

2)初始化FWA的參數(shù)，初始煙花數(shù)量n，煙花種群大小M,預設的最大振幅A，常量a，b。

3)將FWA-LSTM模型的3個參數(shù)，時間窗口大小范圍[1,15]，批處理大小范圍[1,50]和隱藏層單元的個數(shù)范圍[10,20]作為優(yōu)化對象。

4)通過爆炸算子生產(chǎn)火花，計算煙花的適應度值，并進行訓練數(shù)據(jù)進行訓練。

5)根據(jù)煙花適應度值和煙花爆炸的效果，判斷煙花群體是否進行迭代更新。

6)判斷滿足終止條件，若滿足終止條件則輸出最優(yōu)參數(shù)值，否則返回第3步。

7)利用最優(yōu)參數(shù)構(gòu)建FWA-LSTM模具溫度模型。

4 實驗研究

從某低壓鑄造生產(chǎn)線數(shù)據(jù)采集存儲系統(tǒng)中獲取樣本數(shù)據(jù)600組，結(jié)合生成工藝，順序選取560組數(shù)據(jù)作為訓練數(shù)據(jù)，下一段時刻剩下的40組數(shù)據(jù)進行預測數(shù)據(jù)。部分原始數(shù)據(jù)見表2。

表2 部分原始數(shù)據(jù)

為了充分驗證原始數(shù)據(jù)經(jīng)過GRA處理是否會降低網(wǎng)絡的預測能力和FWA-LSTM模溫預測算法的有效性，分別將原始數(shù)據(jù)經(jīng)過GRA處理和未經(jīng)過GRA處理后的數(shù)據(jù)作為模溫預測模型的輸入數(shù)據(jù)進行預測。采用BP神經(jīng)算法、LSTM算法和FWA-LSTM算法進行比較，煙花算法中，初始煙花數(shù)量n=5，煙花種群大小M=50，預設最大振幅A=40，常量a=0.04，b=0.8，最大迭代次數(shù)設為100。獲得的FWA-LSTM模溫預測模型的最優(yōu)超參數(shù)：時間窗口大小為10，批處理大小為50，隱藏層單元個數(shù)為12。經(jīng)過仿真實驗測得以原始數(shù)據(jù)經(jīng)過GRA處理和未經(jīng)過GRA處理的3種方法的預測模具溫度結(jié)果見圖4所示。

圖4 3種方法預測結(jié)果圖

整個實驗過程采用平均絕對百分比誤差MAPE和絕對誤差ε兩個指標作為衡量模型預測精度的標準，結(jié)果見圖5和表3所示。

圖5 3種方法預測絕對誤差圖

其中，MAPE和ε的計算表達式分別為：

(18)

(19)

由圖4和圖5所示的模溫預測結(jié)果可得，原始數(shù)據(jù)經(jīng)過GRA篩選處理后的模型預測精度有所提升，并不會降低網(wǎng)絡的預測精度，當原始數(shù)據(jù)經(jīng)過GRA處理后，相比于BP神經(jīng)網(wǎng)絡預測算法、LSTM預測算法，采用FWA-LSTM預測算法得到的模溫預測值更加準確，具有更好的實驗效果。

表3 經(jīng)GRA處理后各方法泛化能力比較

由表3所示，BP神經(jīng)網(wǎng)絡的結(jié)構(gòu)簡單，因此運算時間最短，但BP算法的預測效果相對較差；LSTM預測算法和FWA-LSTM預測算法計算時間相差很小，并且FWA-LSTM預測算法平均絕對誤差更低。從而，證明基于FWA-LSTM的低壓鑄造模溫預測模型預測絕對誤差小于2.4 ℃，平均絕對百分比誤差小于0.12，泛化能力更強。

5 結(jié) 論

本文提出了基于FWA-LSTM的模溫預測方法，通過低壓鑄造生產(chǎn)工藝和GRA的結(jié)合，得出模溫預測影響因素的集合，降低了預測模型的輸入維度，推導了FWA-LSTM建模算法，并根據(jù)實際數(shù)據(jù)進行訓練和驗證。實驗結(jié)果表明，基于FWA-LSTM的模溫預測模型精度更高。準確的預測鑄造模具溫度，不僅可以使操作人員根據(jù)模具溫度調(diào)節(jié)鑄造工藝生產(chǎn)參數(shù)，同時也為低壓鑄造自動控制提供基礎(chǔ)，從而達到提高鑄造生產(chǎn)效率和降低生產(chǎn)能耗有重要的指導作用。