基于LSTM神經(jīng)網(wǎng)絡(luò)算法的大型筒體原材料鈦元素定性分析*

莫堃 張沛 官雪梅 光海杰 熊章伍

(中國(guó)東方電氣集團(tuán)有限公司,四川成都 610036)

0 引言

近年來(lái),我國(guó)高精度加工產(chǎn)品需求劇增。在核行業(yè)中大型筒體的精度加工關(guān)系到裝配精度、尺寸位置公差。根據(jù)研究發(fā)現(xiàn)鈦和氮能夠結(jié)合形成氮化鈦,鈦和氧能夠結(jié)合形成二氧化鈦,在實(shí)際不銹鋼生產(chǎn)中起到避免晶間腐蝕的作用,但鈦元素在不銹鋼中也是有害,有時(shí)鈦會(huì)危害到不銹鋼的性能,如使不銹鋼鑄錠的表面質(zhì)量變差,導(dǎo)致工序修磨量增加,高精度表面的加工難度大等問(wèn)題。因此在大型筒體高精度加工時(shí)應(yīng)該盡量選擇不含鈦元素的不銹鋼原材料,而如何簡(jiǎn)單快速地測(cè)定出鈦則非常關(guān)鍵。

LSTM是一種可以進(jìn)行信息處理的數(shù)學(xué)算法模型,它善于模仿生物神經(jīng)網(wǎng)絡(luò)的行為特征[1]。1997年DalleMolle人工智能研究所的尤根施密杜伯主任在論文《遞歸神經(jīng)網(wǎng)絡(luò)中的消失梯度問(wèn)題及其解決方法》中提出了長(zhǎng)短時(shí)記憶人工神經(jīng)網(wǎng)絡(luò),它比傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)更加有效[2-3]。LSTM算法考慮時(shí)間影響因素,又解決了長(zhǎng)序列信息丟失問(wèn)題,因此被廣泛應(yīng)用于故障診斷、電力調(diào)度等領(lǐng)域。本研究以不銹鋼樣品為例,提出了一種基于LSTM神經(jīng)網(wǎng)絡(luò)算法對(duì)不銹鋼中鈦元素的定性判別方法,以實(shí)現(xiàn)高效準(zhǔn)確地解譜的目的。

1 LSTM神經(jīng)網(wǎng)絡(luò)算法

在t時(shí)刻,LSTM的輸入有三個(gè)：當(dāng)前時(shí)刻網(wǎng)絡(luò)的輸入值Xt、上一時(shí)刻LSTM的輸出值ht-1、上一時(shí)刻的單元狀態(tài)Ct-1。LSTM的輸出有兩個(gè)：當(dāng)前時(shí)刻LSTM輸出值ht和當(dāng)前時(shí)刻的單元狀態(tài)Ct。LSTM去除或者增加信息到單元是通過(guò)“門”結(jié)構(gòu)實(shí)現(xiàn)的?！伴T”是由一個(gè)sigmoid神經(jīng)網(wǎng)絡(luò)層和一個(gè)點(diǎn)積組成的,它是一種具有選擇性的信息通過(guò)方法,結(jié)構(gòu)如圖1所示。

圖1 門結(jié)構(gòu)Fig.1 Door structure

門相當(dāng)于一個(gè)全連接層,向量作為輸入,0到1之間的實(shí)數(shù)向量作為輸出。假設(shè)W是門的權(quán)重向量,b是偏置項(xiàng),門表達(dá)式為：

sigmoid層輸出0到1之間的數(shù)值代表每部分有多少量能夠通過(guò)。0表示不許任何量通過(guò),1表示允許任意量通過(guò),LSTM保護(hù)和控制細(xì)胞狀態(tài)是采用三個(gè)“門”結(jié)構(gòu)。

(1)遺忘門：決定了t-1時(shí)刻的單元狀態(tài)Ct-1有多少保留到當(dāng)前時(shí)刻Ct,遺忘門表達(dá)式,見式2。遺忘門的結(jié)構(gòu),如圖2所示。

圖2 LSTM遺忘門Fig.2 LSTM forgotten gate

式中,Wf為權(quán)重矩陣, [ht-1,xt]表示把前一單元的隱層輸出和當(dāng)前的輸入拼接成一個(gè)向量,bf為偏置項(xiàng),σ是sigmoid函數(shù)。

(2)輸入門：決定了讓多少新的信息加入到單元狀態(tài)中來(lái)。首先,sigmoid層決定什么值我們將要更新,然后每個(gè)tanh層都會(huì)創(chuàng)建一個(gè)新的候選值向量加入到狀態(tài)中,輸入門結(jié)構(gòu)如圖3所示,其表達(dá)式見式2和式4。

圖3 LSTM輸入門Fig.3 LSTM input gate

式中,it表示當(dāng)前輸入要更新的部分值,表示單元狀態(tài)中新的候選值向量,Wi和WC分別為權(quán)重矩陣,bi和bc分別為偏置項(xiàng),σ為sigmoid函數(shù)。

(3)更新單元細(xì)胞狀態(tài)：Ct-1更新為Ct。把舊狀態(tài)與ft相乘,丟棄掉無(wú)用信息,再加上新的候選值,根據(jù)每個(gè)狀態(tài)的更新程度進(jìn)行變化,更新細(xì)胞狀態(tài)如圖4所示,其表達(dá)式見式5。

圖4 LSTM更新單元狀態(tài)Fig.4 LSTM update unit status

式中,Ct為當(dāng)前單元狀態(tài),Ct-1為前一時(shí)刻單元狀態(tài)。

(4)輸出門：確定輸出值。首先運(yùn)行一個(gè)sigmoid層來(lái)確定細(xì)胞需要輸出的部分,然后將細(xì)胞狀態(tài)通過(guò)tanh進(jìn)行處理,得到一個(gè)在-1到1之間的值。將該數(shù)值和sigmoid門的輸出相乘,最終輸出我們確定輸出的部分,輸出門如圖5所示,其表達(dá)式見式6。

圖5 LSTM輸出門Fig.5 LSTM output gate

式中,ot表示輸出值,Wo為權(quán)重矩陣,bo為偏置項(xiàng)。

(5)LSTM單元最終輸出表達(dá)式,見式7。

2 儀器與實(shí)驗(yàn)

為滿足實(shí)驗(yàn)要求,本實(shí)驗(yàn)使用X熒光分析儀(使用DPX采集板)。測(cè)試條件為：采用SDD探頭和銀陽(yáng)極X射線管,安裝Ag靶,采集時(shí)間90s,光管電壓45kV,光管電壓25uA,分別測(cè)試59份不銹鋼標(biāo)樣。利用ED-XRF熒光光譜儀對(duì)59份樣品在相同實(shí)驗(yàn)條件下測(cè)得不銹鋼元素含量,將制備好的不銹鋼樣品按順序放入ED-XRF中,按下analyse sample鍵,進(jìn)入樣品測(cè)定窗口,得到光譜譜圖如圖6所示。

圖6 不銹鋼樣品能譜信息圖Fig.6 Energy spectrum information diagram of stainless steel sample

3 實(shí)驗(yàn)結(jié)果分析

利用LSTM神經(jīng)網(wǎng)絡(luò)算法分析數(shù)據(jù),建立多個(gè)相干元素的峰值信息和目標(biāo)元素(Ti)濃度的關(guān)系,基于LSTM神經(jīng)網(wǎng)絡(luò)算法的思路框架如圖7所示。首先輸入X射線熒光光譜測(cè)得的能譜數(shù)據(jù),提取能譜數(shù)據(jù)中C、Cr、Ni、Ti、Mn、N六種元素的α峰區(qū)間數(shù)據(jù)點(diǎn)作為輸入信息。共有樣本57個(gè),隨機(jī)選取45個(gè)樣本作為訓(xùn)練數(shù)據(jù),剩余12個(gè)樣本作為測(cè)試數(shù)據(jù)。經(jīng)過(guò)LSTM神經(jīng)網(wǎng)絡(luò)的計(jì)算,通過(guò)“門”控制將長(zhǎng)短期記憶相結(jié)合,不斷更新細(xì)胞狀態(tài),最終得到Ti元素的定性判別輸出結(jié)果。如果輸出為1,表明含有此種元素,否則為-1。

圖7 基于LSTM神經(jīng)網(wǎng)絡(luò)解決思路Fig.7 Solution based on LSTM neural network

首先要設(shè)置網(wǎng)絡(luò)的節(jié)點(diǎn)數(shù)、網(wǎng)絡(luò)層數(shù)、損失函數(shù)和閾值。LSTM神經(jīng)網(wǎng)絡(luò)為三層網(wǎng)絡(luò),具體來(lái)說(shuō)：LSTM層的輸入門和更新細(xì)胞狀態(tài)的節(jié)點(diǎn)數(shù)均為47,輸出門節(jié)點(diǎn)數(shù)為12,output mode選擇sequence to one。由于該研究是定性判別Ti元素的有無(wú),屬于分類研究,這里定義為-1或1,所以全連接層的參數(shù)選擇為2。因?yàn)槭欠诸?不是回歸,所以soft max層主要負(fù)責(zé)輸出各類判別的概率。損失函數(shù)采用RMSE均方根損失誤差進(jìn)行數(shù)據(jù)預(yù)測(cè)的誤差計(jì)算,通過(guò)不斷更新輸入門、遺忘門和輸出門的權(quán)重,調(diào)整比例以適應(yīng)網(wǎng)絡(luò),最終達(dá)到最佳預(yù)測(cè)效果。

輸入層為六個(gè)神經(jīng)元對(duì)應(yīng)六種元素的α峰信息,輸出為一個(gè)神經(jīng)元對(duì)應(yīng)Ti元素。利用LSTM神經(jīng)網(wǎng)絡(luò)對(duì)能譜數(shù)據(jù)進(jìn)行解析,任意選取四組定性判斷結(jié)果如圖8所示。

圖8 基于LSTM神經(jīng)網(wǎng)絡(luò)的六組隨機(jī)樣本定性判斷情況Fig.8 Qualitative judgment of six groups of random samples based on LSTM neural network

實(shí)線的點(diǎn)代表判斷結(jié)果與實(shí)際一致,即判斷正確,虛線的點(diǎn)代表判斷結(jié)果與實(shí)際不一致,即判斷錯(cuò)誤。經(jīng)過(guò)100次實(shí)驗(yàn),正確率約為96%,計(jì)算時(shí)間約為6秒。LSTM算法加入了一個(gè)判斷信息有用與否的“處理器cell”。一個(gè)cell中被放置了“輸入門”“遺忘門”“輸出門”一共三扇門。LSTM算法有效解決了長(zhǎng)期依賴的問(wèn)題,具有非常高的普適性,且預(yù)測(cè)精度最高。

4 結(jié)論

本文針對(duì)LSTM長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)在光譜分析中的應(yīng)用展開研究,由于LSTM算法每次訓(xùn)練網(wǎng)絡(luò)時(shí)都會(huì)更新細(xì)胞狀態(tài),采用“門”結(jié)構(gòu)的方式來(lái)去除或增加信息。利用Matlab軟件構(gòu)建LSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)仿真,最終輸出元素Ti的有無(wú)?；贚STM神經(jīng)網(wǎng)絡(luò)的不銹鋼Ti元素定性判別模型,通過(guò)實(shí)例驗(yàn)證,展現(xiàn)了非常好的判斷效果。因此,將LSTM神經(jīng)網(wǎng)絡(luò)算法應(yīng)用于不銹鋼Ti元素定性判別其意義重大。