應(yīng)用LSTM網(wǎng)絡(luò)的缸體壓鑄質(zhì)量預(yù)測

趙圓方，高 媛，錢 峰，亢欣欣

（大連理工大學(xué)機(jī)械工程學(xué)院，遼寧 大連 116024）

1 引言

汽車的發(fā)動機(jī)缸體是發(fā)動機(jī)里最重要的零件，采用鋁合金壓鑄法制造。發(fā)動機(jī)缸體壓鑄工藝包括鋁合金熔煉、鋁合金熔融液貯存與運(yùn)輸、壓力鑄造等，具有數(shù)據(jù)高維非線性、生產(chǎn)過程不確定性、子過程相互耦合、控制要求性能指標(biāo)要求高等復(fù)雜生產(chǎn)過程特點(diǎn)[1]。針對復(fù)雜生產(chǎn)過程，質(zhì)量控制問題是普遍的又是難以解決的問題。傳統(tǒng)上所使用的統(tǒng)計過程控制是一種滯后控制，質(zhì)量預(yù)測能夠提早發(fā)現(xiàn)問題，成為人們關(guān)注焦點(diǎn)。

產(chǎn)品質(zhì)量預(yù)測通常有基于數(shù)學(xué)模型方法、基于知識方法和基于統(tǒng)計方法[2]。由于壓鑄生產(chǎn)過程復(fù)雜，難以對其進(jìn)行數(shù)學(xué)建?；驊?yīng)用先驗知識。隨著智能制造的發(fā)展，基于數(shù)據(jù)統(tǒng)計的數(shù)據(jù)挖掘方法常常被用于生產(chǎn)過程的質(zhì)量預(yù)測。文獻(xiàn)[3]基于CART決策樹對復(fù)雜生產(chǎn)過程構(gòu)建質(zhì)量預(yù)測模型，證明CART決策樹方法能較為準(zhǔn)確地預(yù)測陶瓷管生產(chǎn)質(zhì)量。當(dāng)生產(chǎn)數(shù)據(jù)量變大時，CART決策樹和支持向量回歸等數(shù)據(jù)挖掘方法，將面臨較大的時間復(fù)雜度壓力[4]，而復(fù)雜生產(chǎn)過程的連續(xù)性需要應(yīng)用適應(yīng)大數(shù)據(jù)的數(shù)據(jù)挖掘方法。文獻(xiàn)[5]應(yīng)用神經(jīng)網(wǎng)絡(luò)方法預(yù)測磨削力，并基于遺傳算法對方法進(jìn)行優(yōu)化，克服傳統(tǒng)BP算法進(jìn)化速度慢等缺點(diǎn)，證明神經(jīng)網(wǎng)絡(luò)在預(yù)測任務(wù)中的有效性。

壓鑄過程中，很多工藝參數(shù)具有時序性，屬于時間序列。前述方法沒有考慮輸入的時間序列特性。建立質(zhì)量特征參數(shù)序列的主要方法主要有兩種，時間序列法和神經(jīng)網(wǎng)絡(luò)法。時間序列法主要采用Holt-Winter、多元線性回歸等預(yù)測模型，針對質(zhì)量特征序列建模[6-7]；神經(jīng)網(wǎng)絡(luò)方法通常采用前饋網(wǎng)絡(luò)建立預(yù)測模型，離線學(xué)習(xí)質(zhì)量特征參數(shù)序列，然后對后續(xù)質(zhì)量特征進(jìn)行預(yù)測[8]。循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）在網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計時，引入時序概念，使其更加適應(yīng)時序數(shù)據(jù)分析。長短期記憶（long short-term memory，LSTM）模型是RNN 的一種變體，在神經(jīng)元設(shè)計時引入記憶單元，解決了以往RNN的梯度消失與爆炸、長期記憶能力不足等問題，在眾多領(lǐng)域的時序研究中取得成功[9]。然而在壓鑄質(zhì)量預(yù)測領(lǐng)域，LSTM模型的應(yīng)用非常有限。

針對缸體壓鑄生產(chǎn)過程，提出一種基于LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)的缸體壓鑄質(zhì)量預(yù)測方法，包括網(wǎng)絡(luò)設(shè)計、質(zhì)量預(yù)測模型及其求解方法；通過與時間序列法對比，驗證了方法的有效性。

2 缸體壓鑄動態(tài)過程數(shù)學(xué)模型

2.1 壓鑄工藝分析

壓力鑄造簡稱壓鑄，是指將熔融或半熔融的金屬以高速壓射入金屬鑄型內(nèi)，并在壓力下結(jié)晶的快速成型方法。壓鑄工藝將壓鑄機(jī)、壓鑄合金和壓鑄模具，三大要素合理地結(jié)合。汽車發(fā)動機(jī)缸體的壓鑄生產(chǎn)工藝包括：鋁錠熔煉及除氣、鋁液運(yùn)輸與貯存、鋁液上料、缸套加熱并嵌入、鋁液壓射、保壓冷卻、開模取件下線等關(guān)鍵工序。影響壓鑄件質(zhì)量的工藝因素極多，且壓鑄生產(chǎn)過程子過程相互耦合、數(shù)據(jù)高維度非線性。在工藝流程分析過程中，應(yīng)用魚骨圖方法，全面考慮可能影響質(zhì)量的可測生產(chǎn)工藝參數(shù)。

圖1 壓鑄件質(zhì)量魚骨圖（局部）Fig.1 Fishbone Diagram of Die Casting Quality（Local）

2.2 缸體壓鑄過程建模

根據(jù)壓鑄件質(zhì)量魚骨圖可以得出，缸體壓鑄件孔徑y(tǒng)1、表面粗糙度y2等質(zhì)量指標(biāo)的影響因素極為復(fù)雜：人員方面，人員的操作水平將影響作業(yè)質(zhì)量，因此取工藝參數(shù)“工人編號”，記為x1；機(jī)器方面，壓鑄機(jī)模具的尺寸精度無法實時測量，但壓鑄機(jī)模具的維護(hù)狀態(tài)將影響模具精度，因此取工藝參數(shù)“距上次模具維護(hù)時間長度”，記為x2；物料方面，根據(jù)發(fā)動機(jī)缸體壓鑄材料要求，取鋁液中Fe、Al等11種成分含量，分別記為x3～x13；方法方面，鋁液除氣工序?qū)X液內(nèi)氣泡去除，保證壓鑄出的缸體無氣孔縮孔，因此取“噴吹時間”和“噴頭旋轉(zhuǎn)速度”，記為x14，x15，鋁液壓鑄是整個發(fā)動機(jī)缸體壓鑄過程中最重要的工序，將影響缸體壓鑄件的尺寸、表面粗糙度等重要質(zhì)量參數(shù)，因此取“鑄造壓力”和“沖頭高速速度”，記為x16，x17；環(huán)境方面取環(huán)境溫度，記為x18。同時，一些影響因素如模具溫度，距上次模具維護(hù)時間長度等，作為時間序列與時間有著密切關(guān)系，因此缸體壓鑄是一個多輸入、多輸出、存在嚴(yán)重非線性的動態(tài)系統(tǒng)，可用以下動態(tài)系統(tǒng)經(jīng)典形式表示：

Y(t)=F(Y(t-1)，X(t)；θ) （1）

F()為結(jié)構(gòu)與參數(shù)未知的非線性函數(shù)。由于神經(jīng)網(wǎng)絡(luò)可以擬合任意非線性函數(shù)，因此基于神經(jīng)網(wǎng)絡(luò)建模，預(yù)測缸體壓鑄質(zhì)量。

3 基于RNN的壓鑄質(zhì)量預(yù)測方法

3.1 LSTM神經(jīng)元結(jié)構(gòu)

對于標(biāo)準(zhǔn)RNN模型，如圖2所示。給定的輸入序列x=(x(1)，x(2)，…，x(t))，通過式（2）～式（3）計算隱藏層序列h=(h(1)，h(2)，…，h(t))和輸出序列y=(y(1)，y(2)，…，y(t))。

圖2 RNN網(wǎng)絡(luò)及神經(jīng)元結(jié)構(gòu)Fig.2 RNN Network and Neuron Structure

式中：W—權(quán)重矩陣；b—偏置矩陣；f—激活函數(shù)。

RNN能較為準(zhǔn)確地處理非線性高維時間序列，但是存在以下問題[10]：（1）權(quán)值更新時的梯度消失與爆炸問題使RNN 難以適應(yīng)壓鑄預(yù)測時較長的時間序列；（2）壓鑄生產(chǎn)過程無法確定延遲窗口長度的最優(yōu)值。用LSTM神經(jīng)元代替RNN網(wǎng)絡(luò)中隱藏層神經(jīng)元，可使其獲得長期記憶能力。LSTM 神經(jīng)元結(jié)構(gòu)，如圖3 所示。圖中i、f、c、o分別代表輸入門、遺忘門、細(xì)胞狀態(tài)、輸出門。其前向計算方法可表示為：

圖3 LSTM神經(jīng)元結(jié)構(gòu)Fig.3 LSTM Neuron Structure

在t時刻，隱藏層LSTM神經(jīng)元接受上一時刻輸出h(t-1)與當(dāng)前輸入x(t)對信息進(jìn)行篩選；式（5）根據(jù)上一時刻的細(xì)胞狀態(tài)c(t-1)更新當(dāng)前細(xì)胞遺忘門狀態(tài)f(t)，式（6）由當(dāng)前細(xì)胞遺忘門狀態(tài)更新當(dāng)前細(xì)胞狀態(tài)c(t)，最終根據(jù)式（7）、式（8）共同計算當(dāng)前細(xì)胞輸出y(t)、h(t)。LSTM模型處理序列數(shù)據(jù)時采用線性累加形式，避免梯度消失，同時具有學(xué)習(xí)長周期信息的能力，克服了RNN模型的缺點(diǎn)。

3.2 誤差反向傳播算法

逆誤差傳播（Back Propagation，BP）是迄今最成功的多層網(wǎng)絡(luò)學(xué)習(xí)算法[11]。對一條歷史數(shù)據(jù)(xk，yk)，假定神經(jīng)網(wǎng)絡(luò)輸出為則整個網(wǎng)絡(luò)的均方誤差為：

基于梯度下降策略，有：

類似的，可以得到其他參數(shù)的更新公式。

經(jīng)典的反向傳播算法可表示，如圖4所示。

圖4 誤差反向傳播算法Fig.4 Error Back Propagation Algorithms

更新網(wǎng)絡(luò)權(quán)值矩陣和閾值向量時，采用Adam 梯度優(yōu)化算法。Adam在實際中整體表現(xiàn)優(yōu)于其他隨機(jī)優(yōu)化方法。

3.3 基于LSTM的壓鑄質(zhì)量預(yù)測模型

壓鑄產(chǎn)品質(zhì)量預(yù)測問題可以描述為，根據(jù)壓鑄件的歷史數(shù)據(jù)求解式（1）中的非線性函數(shù)F()，采用以LSTM神經(jīng)元為隱藏層的循環(huán)神經(jīng)網(wǎng)絡(luò)逼近該非線性函數(shù)。將歷史數(shù)據(jù)作為輸入層以及理論輸出，經(jīng)過隱藏層逼近獲得輸出層的模型輸出，與理論輸出比較并采用Adam優(yōu)化更新網(wǎng)絡(luò)參數(shù)，最終獲得基于LSTM的壓鑄質(zhì)量預(yù)測模型，如圖5所示。

圖5 基于LSTM的壓鑄質(zhì)量預(yù)測模型Fig.5 Prediction Model of Die Casting Quality Based on LSTM

4 發(fā)動機(jī)缸體壓鑄質(zhì)量預(yù)測

4.1 對比模型

將LSTM與以下兩種模型進(jìn)行實驗對比。

Holt-Winter又稱三次指數(shù)平滑，能夠處理趨勢性和周期性的時間序列[6]。三次指數(shù)平滑有累加和累乘兩種版本，迭代公式，如式（11）、式（12）所示。

多元線性回歸（Multiple Linear Regression，MLR）廣泛應(yīng)用于預(yù)測任務(wù)，是一種多因素分析方法[7]。模型可以表示為：

k也稱為窗口長度。假定每件壓鑄缸體受前5件產(chǎn)品影響，即k=5。

4.2 預(yù)測結(jié)果

營口H公司生產(chǎn)4A9型號汽車發(fā)動機(jī)缸體，如圖6所示。

圖6 4A9汽車發(fā)動機(jī)缸體Fig.6 4A9 Automobile Engine Cylinder Block

取H公司2017年生產(chǎn)的發(fā)動機(jī)缸體壓鑄數(shù)據(jù)，如表1所示。應(yīng)用3.2節(jié)提出的方法訓(xùn)練LSTM網(wǎng)絡(luò)，并與4.1節(jié)提出的兩種模型進(jìn)行對比，缸體質(zhì)量預(yù)測結(jié)果，如表2所示?？梢钥闯?，LSTM網(wǎng)絡(luò)擬合精度優(yōu)于其他兩種模型，同時也取得了較高的預(yù)測精度。

表1 發(fā)動機(jī)缸體壓鑄歷史數(shù)據(jù)表（部分）Tab.1 Die Casting History Data Table for Engine Cylinder Block（Part）

表2 不同預(yù)測模型結(jié)果對比Tab.2 Comparison of the Results of Different Prediction Models

5 結(jié)語

研究了汽車發(fā)動機(jī)缸體壓鑄件質(zhì)量預(yù)測問題，對缸體壓鑄過程進(jìn)行動態(tài)建模，并應(yīng)用LSTM作為隱藏層的循環(huán)神經(jīng)網(wǎng)絡(luò)對動態(tài)模型進(jìn)行求解，將結(jié)果與其他兩種時間序列法相比較，結(jié)果表明，提出的基于LSTM的質(zhì)量預(yù)測方法具有良好的預(yù)測性能。

為壓鑄及其他復(fù)雜生產(chǎn)過程的質(zhì)量預(yù)測提出了新方法，考慮生產(chǎn)過程中工藝參數(shù)影響質(zhì)量的時序特性，提高了質(zhì)量預(yù)測的準(zhǔn)確度，對于復(fù)雜生產(chǎn)過程的質(zhì)量預(yù)測有一定的實用意義。基于研究內(nèi)容，后續(xù)可以開展進(jìn)一步研究工作：解決LSTM 循環(huán)神經(jīng)網(wǎng)絡(luò)的過擬合及其他參數(shù)優(yōu)化問題；基于LSTM網(wǎng)絡(luò)的預(yù)測結(jié)果進(jìn)行特征工程，尋找并優(yōu)化影響壓鑄件質(zhì)量的工藝參數(shù)組合；神經(jīng)網(wǎng)絡(luò)對過程描述近乎黑箱，尋找一種準(zhǔn)確且清晰的壓鑄及其他生產(chǎn)過程描述是新的挑戰(zhàn)。