基于BP神經(jīng)網(wǎng)絡(luò)與逐步回歸的ERW參數(shù)研究

李青龍,杜天蒼,韓寶云

(1.北京化工大學(xué)信息科學(xué)與技術(shù)學(xué)院，北京 100029；2.北京石油化工學(xué)院信息工程學(xué)院，北京 102617；3.中國鋼研新冶高科技集團(tuán)有限公司，北京 100081)

0 引言

焊管廠生產(chǎn)的每一根焊管，從帶卷進(jìn)入生產(chǎn)線到焊管出廠，每個環(huán)節(jié)經(jīng)過精細(xì)加工，會產(chǎn)生各種參數(shù)。每個參數(shù)都會由人工或制造執(zhí)行系統(tǒng) (manufacturing execution system,MES)記錄，以確保焊接質(zhì)量。精焊作為生產(chǎn)的重要環(huán)節(jié)，對焊管質(zhì)量起著重要作用。如果焊接參數(shù)稍有偏差，就會使焊管報(bào)廢。精焊焊接電流過小會引起焊接困難、熱量損失，進(jìn)而導(dǎo)致電弧不穩(wěn)定，造成未焊透和夾渣等缺陷、熔滴堆積在焊條表面，使焊縫成形不美觀。焊接電流過大使得熔深較大，不但容易產(chǎn)生燒穿和咬邊等缺陷，而且還會使金屬燒損過多，使焊縫過熱，造成接頭熱影響區(qū)晶粒粗大，影響焊縫機(jī)械性能。因此，控制焊接電流在某一小范圍內(nèi)的穩(wěn)定值，對焊接質(zhì)量至關(guān)重要。鑒于焊接電流對焊接質(zhì)量的重要影響，對于工廠技術(shù)人員來說，有必要獲取便于今后日常生產(chǎn)的有關(guān)焊接電流的數(shù)據(jù)，從而糾正生產(chǎn)過程中產(chǎn)生的異常數(shù)據(jù)，使得對機(jī)器的操縱更具有方向性和指導(dǎo)性，進(jìn)而提高產(chǎn)品質(zhì)量和生產(chǎn)效率。為此，本文提出采用逐步回歸法建立連接各個物理量之間相互關(guān)系的數(shù)學(xué)模型，用于生產(chǎn)經(jīng)驗(yàn)和生產(chǎn)數(shù)據(jù)的預(yù)測。同時，考慮到焊接參數(shù)的精確度對焊接質(zhì)量的影響，以及數(shù)學(xué)模型的局限性，采用改進(jìn)反向傳播(back propagation,BP)神經(jīng)網(wǎng)絡(luò)預(yù)測數(shù)據(jù)。

1 逐步回歸法

1.1 逐步回歸原理

逐步回歸法是數(shù)學(xué)統(tǒng)計(jì)模型的方法。其基本思路是將預(yù)報(bào)因子按其對預(yù)報(bào)對象的顯著程度，逐個引入回歸方程；每引入一個預(yù)報(bào)因子，都要對其進(jìn)行F檢驗(yàn)。當(dāng)后引入的因子變得不顯著時，就將當(dāng)前引入因子剔除，以確保每引入新的預(yù)報(bào)因子之前，回歸方程中只包含顯著性因子。反復(fù)進(jìn)行這樣的操作，直到既沒有顯著因子要引入回歸方程，也沒有要從回歸方程中剔除的不顯著因子為止[1]。

1.2 數(shù)據(jù)來源及分析

本文數(shù)據(jù)來源于某直縫電阻焊管(electric resistance welding,ERW)廠MES系統(tǒng)。該系統(tǒng)記錄并保存大量實(shí)時精焊數(shù)據(jù)。這些數(shù)據(jù)按每行16個數(shù)據(jù)的格式被保存在格式為XML的文件中。每列數(shù)據(jù)對應(yīng)一個物理量，經(jīng)C#程序處理讀取。在記錄的數(shù)據(jù)文件中，每一行記錄值為某一時間點(diǎn)各個物理量的顯示狀態(tài)。不同時間點(diǎn)對應(yīng)不同狀態(tài)，但綜合來看，一段時間內(nèi)各個物理量數(shù)值均在某一范圍內(nèi)，以確保焊管生產(chǎn)質(zhì)量。由于同一時間點(diǎn)對應(yīng)一組物理狀態(tài)，因此各個物理量之間存在隱函數(shù)關(guān)系。而對于同一根焊管或者同一批焊管，一天內(nèi)或者幾天內(nèi)的各個物理焊接參數(shù)均穩(wěn)定在某一范圍內(nèi)。因此，選取某一天數(shù)據(jù)經(jīng)程序處理后得出的數(shù)學(xué)模型，作為未來一段時間內(nèi)的數(shù)據(jù)經(jīng)驗(yàn)?zāi)Ｐ汀?/p>

1.3 預(yù)報(bào)因子及預(yù)報(bào)對象

本文選取1絲內(nèi)焊焊接電流為預(yù)報(bào)對象Y；選取2絲內(nèi)焊焊接電流、1絲內(nèi)焊焊弧電壓等15個物理量為預(yù)報(bào)因子[2]，預(yù)報(bào)對象如表1所示。

表1 預(yù)報(bào)對象Tab.1 Forecast objects

1.4 數(shù)學(xué)模型建立

選取MES系統(tǒng)某一天的精焊數(shù)據(jù)XML文件，經(jīng)C#程序按原格式提取500組數(shù)據(jù)。通過統(tǒng)計(jì)軟件IBM-SPSS22對數(shù)據(jù)作逐步回歸處理，得到數(shù)學(xué)模型：

Y=-20.57+2.12X3-1.096X4+20.24X5+0.64X1-10.84X13+0.007X6-0.186X7-1.25X2

(1)

2 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)是一種單向傳播的多層感知器[3-4]，其拓?fù)浣Y(jié)構(gòu)如圖1所示。每個輸入節(jié)點(diǎn)與隱節(jié)點(diǎn)、隱節(jié)點(diǎn)與輸出節(jié)點(diǎn)之間相互連接，每兩個連接點(diǎn)之間有權(quán)重Wij。

圖1 BP神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖Fig.1 Topologic structure of BP neural network

2.1 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程

BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程由如下2個過程組成。

①正向傳播階段。

輸入信號由輸入節(jié)點(diǎn)輸入，經(jīng)運(yùn)算之后經(jīng)過隱節(jié)點(diǎn)，最后由輸出節(jié)點(diǎn)輸出。在正向傳播過程中，各個連接點(diǎn)之間的權(quán)重Wij為固定值保持不變。由輸出節(jié)點(diǎn)輸出結(jié)果得到預(yù)測值Y，Y與實(shí)際值T之差為誤差E。

②反向傳播階段。

輸出值與實(shí)際值產(chǎn)生的誤差信號由輸出節(jié)點(diǎn)反向傳播，經(jīng)過隱節(jié)點(diǎn)后傳至輸入節(jié)點(diǎn)。在反向傳播過程中，根據(jù)理論計(jì)算，逐個修改各個連接點(diǎn)權(quán)重Wij。在標(biāo)準(zhǔn)BP反向傳播過程中，通過誤差信號不斷調(diào)節(jié)各個權(quán)重。標(biāo)準(zhǔn)BP算法又稱為梯度下降法。

采用BP神經(jīng)網(wǎng)絡(luò)對權(quán)值進(jìn)行修改，直到輸出值與實(shí)際值非常接近為止。

2.2 改進(jìn)BP算法

在實(shí)際應(yīng)用中，標(biāo)準(zhǔn)BP算法的缺點(diǎn)主要表現(xiàn)為以下三個方面。

其一，學(xué)習(xí)率η不變導(dǎo)致的學(xué)習(xí)時間過長，收斂速度慢。在誤差信號不斷修改權(quán)值的同時，學(xué)習(xí)率保持不變，即誤差的改變系數(shù)不變，這樣在應(yīng)對復(fù)雜情況(如需要多次迭代的網(wǎng)絡(luò))或者復(fù)雜的大型網(wǎng)絡(luò)時，誤差減小和收斂速度過慢，使網(wǎng)絡(luò)訓(xùn)練時間變長。

其二，容易陷入誤差局部最小解。對于復(fù)雜網(wǎng)絡(luò)，誤差函數(shù)很可能是一個多維曲面，而在收斂過程中，誤差函數(shù)可能陷入曲面的某個谷底。而該谷底卻不是整個誤差曲面的最低點(diǎn)，陷入局部谷底的誤差無法跳出，因而無法得到全局最優(yōu)解[5]。

其三，網(wǎng)絡(luò)不穩(wěn)定以及隱節(jié)點(diǎn)個數(shù)選擇困難。

針對標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)存在的收斂速度慢和易陷入局部最小值的問題，提出改進(jìn)的優(yōu)化算法。

①附加動量法。

標(biāo)準(zhǔn)BP算法在每次對權(quán)值Wij進(jìn)行修改時，沒有考慮上一次權(quán)值變化對本次變化的影響。權(quán)值變化是機(jī)械刻板的，因此容易出現(xiàn)局部誤差極小點(diǎn)的情況。附加動量法則考慮上一次權(quán)值變化對本次權(quán)值變化的影響，增加動量項(xiàng)后，其權(quán)值變化為：

W(K+1)=W(k)+η[(1-α)D(k)+

αD(k-1)]

(2)

即：

ΔW(k)=η[(1-α)D(k)+αD(k-1)]

(3)

當(dāng)α=0時，附加動量法則為標(biāo)準(zhǔn)BP梯度下降法；當(dāng)0<α<1時，后一次權(quán)值變化受到了前一次權(quán)值變化的影響。當(dāng)誤差曲面處于某個極小點(diǎn)時，附加動量法使權(quán)值向著底部平均方向調(diào)節(jié)。由于0<α<1，因此避免了ΔW(k)=0的情況。

②自適應(yīng)調(diào)整學(xué)習(xí)率。

標(biāo)準(zhǔn)BP算法收斂速度慢，在很大程度上受到學(xué)習(xí)率η的影響。當(dāng)η過小時，網(wǎng)絡(luò)權(quán)值變化速度慢，訓(xùn)練耗時長；當(dāng)η過大時，權(quán)值變化大，從而使得權(quán)值有可能超出權(quán)值區(qū)間，造成網(wǎng)絡(luò)不穩(wěn)定，或震蕩或發(fā)散，無法收斂并達(dá)到最優(yōu)解。為此，采用自適應(yīng)調(diào)整學(xué)習(xí)率算法。

W(k+1)=W(k)+β(k)D(k)

(4)

(5)

λ=sign[D(k)D(k-1)]

(6)

自適應(yīng)調(diào)整學(xué)習(xí)率算法，考慮了上一次權(quán)值變化梯度方向?qū)Ρ敬螜?quán)值的影響。當(dāng)上一次梯度變化和本次梯度方向一致時，說明權(quán)值變化在向同一方向變化，權(quán)值變化慢，此時應(yīng)該增加學(xué)習(xí)率，使學(xué)習(xí)率加快。反之，權(quán)值變化正在加快，則應(yīng)該使學(xué)習(xí)率減小。自適應(yīng)學(xué)習(xí)率使得權(quán)值變化智能化，使網(wǎng)絡(luò)權(quán)值變化在穩(wěn)定的基礎(chǔ)上又不失快速性。

本文采用附加動量法和自適應(yīng)調(diào)整學(xué)習(xí)率相結(jié)合的算法。

3 計(jì)算試驗(yàn)

3.1 試驗(yàn)過程及結(jié)果

為了獲取便于今后焊管生產(chǎn)的經(jīng)驗(yàn)數(shù)據(jù)，同時糾正生產(chǎn)過程中某一物理量的異常數(shù)據(jù)，采用MES系統(tǒng)產(chǎn)生的數(shù)據(jù)作為依據(jù)，利用逐步回歸法建立了關(guān)于1絲內(nèi)焊焊接電流數(shù)學(xué)模型。同時，為保證預(yù)測準(zhǔn)確性和穩(wěn)定性，采用連續(xù)4天內(nèi)某一時段的150組精焊數(shù)據(jù)作為預(yù)測檢驗(yàn)數(shù)據(jù)。為了使最終結(jié)果準(zhǔn)確、結(jié)論可靠，選擇同一天的500組精焊數(shù)據(jù)作為BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)，并用接下來連續(xù)4天內(nèi)同一時段的150組數(shù)據(jù)驗(yàn)證訓(xùn)練后的BP神經(jīng)網(wǎng)絡(luò)。最后對逐步回歸法和改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)果與實(shí)際值之差進(jìn)行對比研究。誤差評價指標(biāo)[6-8]如表2所示。

表2 誤差評價指標(biāo)Tab.2 Error evaluation indexes

3.2 試驗(yàn)分析

①表2具體列出了誤差評價指標(biāo)的誤差最大值、誤差最小值、平均誤差、誤差均方差。從誤差最大值和最小值看，BP神經(jīng)網(wǎng)絡(luò)誤差變化范圍明顯較逐步回歸?。粡钠骄`差看，第四天的逐步回歸誤差較BP神經(jīng)網(wǎng)絡(luò)?。粡恼`差均方差看，BP神經(jīng)網(wǎng)絡(luò)較逐步回歸預(yù)測小，BP神經(jīng)網(wǎng)絡(luò)對真實(shí)數(shù)據(jù)的擬合度[9-12]較逐步回歸穩(wěn)定性強(qiáng)。

②從誤差最大值、誤差最小值來看，為保證焊接質(zhì)量，焊管焊接過程中焊接參數(shù)應(yīng)保持不變，或者在某一小范圍內(nèi)波動。

3.3 試驗(yàn)結(jié)論

3.3.1 試驗(yàn)意義

本文提取了某ERW焊管廠MES系統(tǒng)精焊數(shù)據(jù)文件。數(shù)據(jù)分析表明，焊接電流、焊弧電壓和焊接速度之間存在數(shù)量上的相互關(guān)系，并且能夠根據(jù)這種數(shù)量關(guān)系，得出焊接過程中各個物理量之間的數(shù)學(xué)模型。利用這種經(jīng)驗(yàn)性的模型，便可以提前推測某些物理量在生產(chǎn)過程中的數(shù)值范圍，這對日常焊接工藝更具方向性和指導(dǎo)性。

3.3.2 試驗(yàn)結(jié)果

考慮到焊接參數(shù)的數(shù)值精度對焊接質(zhì)量的影響，采用改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)對同一物理量進(jìn)行預(yù)判。結(jié)果表明，改進(jìn)BP神經(jīng)網(wǎng)絡(luò)對同一物理量的預(yù)測精度要大于逐步回歸法，并且BP神經(jīng)網(wǎng)絡(luò)法產(chǎn)生的誤差波動范圍小。因此，如果考慮到焊接參數(shù)精確度對焊接質(zhì)量的影響，應(yīng)選擇BP神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測；如果要得出一般性的經(jīng)驗(yàn)公式，允許有可接受的誤差出現(xiàn)，則可以選擇逐步回歸法。

3.3.3 改進(jìn)算法效果

改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)較標(biāo)準(zhǔn)BP算法收斂速度快，標(biāo)準(zhǔn)BP算法在迭代次數(shù)10 000次內(nèi)，其均方誤差最低降至0.06，訓(xùn)練時間達(dá)100 s以上。而改進(jìn)BP算法的均方誤差為0.05，訓(xùn)練時間僅為3 s。由此可見改進(jìn)BP算法的優(yōu)越性。

4 結(jié)束語

通過對焊管廠MES精焊數(shù)據(jù)的分析，得出了焊接電流、焊弧電壓和焊接速度之間的預(yù)報(bào)模型。通過對BP神經(jīng)網(wǎng)絡(luò)權(quán)值修改和學(xué)習(xí)率的改進(jìn)，使得試驗(yàn)效率和精確度大為提高。

參考文獻(xiàn):

[1] 董夢思.基于BP神經(jīng)網(wǎng)絡(luò)的混凝土壩安全監(jiān)測統(tǒng)計(jì)模型研究[D].昆明:昆明理工大學(xué),2015.

[2] 崔寒,莊毅斌,曹茜,等.人工神經(jīng)網(wǎng)絡(luò)與逐步回歸法對大霧預(yù)報(bào)對比[J].環(huán)境科學(xué)與技術(shù),2015,38(S2):404-407.

[3] 喻寶祿,段迅,吳云.BP神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)預(yù)測模型的建立及應(yīng)用[J].計(jì)算機(jī)與數(shù)字工程,2016,44(3):482-486.

[4] 李東,周可法,孫衛(wèi)東,等.BP神經(jīng)網(wǎng)絡(luò)和SVM在礦山環(huán)境評價中的應(yīng)用分析[J].干旱區(qū)地理,2015,38(1):128-134.

[5] 尹志光,李銘輝,李文璞,等.基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的瓦斯?jié)B透率預(yù)測模型[J].煤炭學(xué)報(bào),2013,38(7):1179-1184.

[6] 張永禮,武建章.GA-BP神經(jīng)網(wǎng)絡(luò)模型在地區(qū)工業(yè)技術(shù)創(chuàng)新能力評價中的應(yīng)用[J].工業(yè)技術(shù)經(jīng)濟(jì)，2015(4):98-104.

[7] 行鴻彥,鄒水平,徐偉,等.基于POS-BP神經(jīng)網(wǎng)絡(luò)的濕度傳感器溫度補(bǔ)償[J].傳感技術(shù)學(xué)報(bào),2015,28(6):864-869.

[8] 王雪青,喻剛,孟海濤.基于GA改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的建設(shè)工程投標(biāo)報(bào)價研究[J].土木工程學(xué)報(bào),2007,40(7):93-97.

[9] 陳子豪,龍華,曹偉.基于改進(jìn)型PSO-BP神經(jīng)網(wǎng)絡(luò)的水質(zhì)評價[J].信息技術(shù),2017(8):10-16.

[10]徐黎明,王清,陳劍平,等.基于BP神經(jīng)網(wǎng)絡(luò)的泥石流平均流速預(yù)測[J].吉林大學(xué)學(xué)報(bào)(地球科學(xué)版),2013,43(1):186-191.

[11]孫寶磊,孫暠,張朝能,等.基于 BP神經(jīng)網(wǎng)絡(luò)的大氣污染物濃度預(yù)測[J].環(huán)境科學(xué)學(xué)報(bào)，2016，37(5):1864-1871.

[12]于群,樸在林,胡博.基于EEMD和BP神經(jīng)網(wǎng)絡(luò)的短期光伏功率預(yù)測模型[J].電網(wǎng)與清潔能源,2016,32(7):132-137.