基于PSO-Hybrid的不銹鋼應(yīng)力腐蝕開裂敏感性預(yù)測模型

蔡起衡,李光海,王 強(qiáng),曹邏煒

(1. 中國計量大學(xué)質(zhì)量與安全工程學(xué)院,杭州 310018; 2. 中國特種設(shè)備檢測研究院,北京 100029)

不銹鋼因其優(yōu)越的耐熱、耐腐蝕以及力學(xué)性能,被廣泛應(yīng)用于核電、石化、建筑等行業(yè)。但在工程應(yīng)用中,由于部分不銹鋼設(shè)備長期處于惡劣的工作環(huán)境,其腐蝕失效引發(fā)的安全事故時有發(fā)生,尤其是破壞性大且易被忽視的應(yīng)力腐蝕開裂(SCC)問題[1]。SCC是指材料在應(yīng)力和環(huán)境聯(lián)合作用下的失效開裂,SCC形成極其復(fù)雜且易突發(fā),通常在沒有明顯跡象的低應(yīng)力狀態(tài)下發(fā)生,會造成災(zāi)難性的后果[2]。因此,研究并預(yù)測SCC具有重要意義,其結(jié)果能夠警示企業(yè)采取相應(yīng)的安全措施,減少事故發(fā)生,保衛(wèi)國民生命和財產(chǎn)安全。

從20世紀(jì)60年代起,SCC逐漸成為國內(nèi)外學(xué)者研究不銹鋼材料的重要方向,相較于基于裂紋擴(kuò)展機(jī)理提出的模型,如滑移氧化膜破裂模型、形變/氧化交互作用模型、耦合環(huán)境斷裂模型等[3],機(jī)器學(xué)習(xí)憑借其無需確切的物理模型、無需厘清各因素間的復(fù)雜關(guān)系等優(yōu)點,成為SCC預(yù)測方法新的選擇,有著良好的發(fā)展前景。

目前,機(jī)器學(xué)習(xí)雖已被國內(nèi)外大量學(xué)者應(yīng)用于腐蝕預(yù)測。駱正山等[4]將灰色關(guān)聯(lián)分析(GRA)與隨機(jī)森林回歸算法(RFR)相結(jié)合,提出了基于GRA-RFR的油氣集輸管道內(nèi)腐蝕速率預(yù)測模型;李易安等[5]將KPCA-ICS-ELM算法用于預(yù)測埋地管線土壤腐蝕深度;者娜等[6]提出KPCA-SVM模型,用于解決有限樣本數(shù)據(jù)下工藝管道腐蝕速率的預(yù)測問題。然而,關(guān)于應(yīng)力腐蝕預(yù)測的研究仍較少,特別是SCC敏感性方面,SMET等[7]采用四層神經(jīng)網(wǎng)絡(luò)預(yù)測304不銹鋼在含氯離子溶液中的SCC敏感性;趙景茂等[8]則在前人的基礎(chǔ)上提出了基于三層結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的SCC敏感性預(yù)測模型;郭浩等[9]提出了Elman反饋神經(jīng)網(wǎng)絡(luò)模型來定性預(yù)測不銹鋼SCC行為;江鵬等[10]提出了PCA-SVM模型來預(yù)測煤礦井下錨桿應(yīng)力腐蝕失效風(fēng)險。以上研究均取得了不錯的預(yù)測效果,但分析方法較為單一。因此可將不同流派、不同特點的機(jī)器學(xué)習(xí)算法結(jié)合在一起,探究其對SCC敏感性預(yù)測效果的影響。

本工作基于主成分分析(PCA)提取出影響不銹鋼SCC敏感性的主要因素作為模型輸入,將不同流派算法混合成Hybrid模型,并使用粒子群優(yōu)化(PSO)算法進(jìn)行優(yōu)化,以期提高不銹鋼SCC敏感性預(yù)測的準(zhǔn)確度和穩(wěn)定性。

1 PSO-Hybrid模型理論基礎(chǔ)

在機(jī)器學(xué)習(xí)的發(fā)展歷程中形成了五大流派,分別是符號主義、貝葉斯派、聯(lián)結(jié)主義、進(jìn)化主義和行為類推主義[11],每個流派都有其各自的核心思想以及相應(yīng)的算法。

1.1 決策樹

決策樹(DT)是符號主義的代表算法,該算法雖然在小樣本上表現(xiàn)良好、可解釋性強(qiáng),但易發(fā)生過擬合。因此為克服單一DT算法的缺點,本工作以DT為基礎(chǔ),引入了集成學(xué)習(xí)。所謂集成學(xué)習(xí)就是將多個弱學(xué)習(xí)器按一定的策略組成強(qiáng)學(xué)習(xí)器,相較于單一的弱學(xué)習(xí)器,強(qiáng)學(xué)習(xí)器往往有著更加優(yōu)越的性能。Bagging和Boosting是集成學(xué)習(xí)中較為流行的兩種算法[12]。

隨機(jī)森林(RF)是基于Bagging算法,以DT為弱學(xué)習(xí)器的集成模型,由Leo Breiman于2001年提出[13]。在分類問題上,RF的核心思想是最終的輸出由組成RF的多棵DT的預(yù)測結(jié)果以硬投票的方式?jīng)Q定,即少數(shù)服從多數(shù),其具體模型結(jié)構(gòu)參照圖1。RF的優(yōu)點是不易過擬合且泛化能力強(qiáng),計算速率快,但每棵樹對最終結(jié)果的影響權(quán)重相同,可能會負(fù)優(yōu)化預(yù)測效果。

圖1 隨機(jī)森林模型結(jié)構(gòu)

與Bagging算法的并行理念不同,Boosting算法中的弱學(xué)習(xí)器是按順序串行生成的,且在生成每個弱學(xué)習(xí)器時都會根據(jù)上一個弱學(xué)習(xí)器的表現(xiàn)來不斷更新樣本數(shù)據(jù)與該弱學(xué)習(xí)器所占的權(quán)重。CHEN等[14]在2016年首次提出了XGBoost,這既是Boosting思想的擴(kuò)展,也是對梯度提升樹算法的優(yōu)化,其與梯度提升樹最大的區(qū)別在于XGBoost將二階導(dǎo)數(shù)和正則化項應(yīng)用到目標(biāo)函數(shù)中,以此減弱決策樹易過擬合的缺點。

XGBoost算法的目標(biāo)函數(shù)與正則化項如式(1)～(2)所示。

(1)

(2)

式中:Ω(f)為正則化項;T為基決策樹的葉子節(jié)點總數(shù);ωt為基決策樹的第t個葉子節(jié)點的輸出值;γ、ω為正則化項系數(shù),屬于超參數(shù)。

XGBoost被廣泛應(yīng)用于眾多機(jī)器學(xué)習(xí)競賽中并取得了不錯的成績,其優(yōu)點可歸納為:(1) 效率高、耗能低;(2) 不易過擬合且泛化能力強(qiáng);(3) 可調(diào)參數(shù)多,模型上升空間大。但XGBoost需要遍歷數(shù)據(jù)集來尋找最佳分割點,若數(shù)據(jù)集過大則會耗費大量資源。

1.2 樸素貝葉斯

樸素貝葉斯(NB)分類算法是貝葉斯派最主要的算法[15],其基礎(chǔ)是英國學(xué)者貝葉斯于18世紀(jì)提出的貝葉斯定理。貝葉斯分類算法按式(3)計算,arg max(f(x))函數(shù)的作用是當(dāng)f(x)取得最大值時對應(yīng)的變量x,即分類結(jié)果。

(3)

式中:K為類數(shù);P(ck)為樣本中ck類出現(xiàn)的概率;P(xi|ck)為在屬于ck類的前提下,xj特征的條件概率。

NB分類算法簡單,在小樣本上也能有良好表現(xiàn)。但由于貝葉斯定理的前提假設(shè)是條件獨立,因此當(dāng)樣本屬性之間有關(guān)聯(lián)時,會降低算法的分類性能。另外,NB分類算法的可調(diào)參數(shù)過少,模型的提升空間不大。

1.3 極限學(xué)習(xí)機(jī)

極限學(xué)習(xí)機(jī)(ELM)最早由黃廣斌等[16]于2004年提出,是屬于聯(lián)結(jié)主義的基于前饋神經(jīng)網(wǎng)絡(luò)構(gòu)建的算法,其網(wǎng)絡(luò)結(jié)構(gòu)見圖2。ELM的優(yōu)勢在于學(xué)習(xí)速率快,泛化能力強(qiáng)。但是其在處理問題時為黑箱過程,可解釋性差。

圖2 ELM網(wǎng)絡(luò)結(jié)構(gòu)

1.4 支持向量機(jī)

支持向量機(jī)(SVM)源于統(tǒng)計學(xué)習(xí)理論,最早由VAPNIK和CORTES等于1995年提出,是行為類推主義的代表算法[17]。對于分類問題,其主要思想是找到能區(qū)分不同類別的最大邊距超平面,圖3為SVM處理二分類問題的過程,法向量ω和常量b分別代表超平面的方向與其到原點的距離。

圖3 最大邊距超平面

SVM善于處理小樣本、高維度的數(shù)據(jù)集和非線性問題,泛化能力強(qiáng)。但在處理大樣本和多類別的問題上有明顯的不足。此外,參數(shù)和核函數(shù)的選擇對SVM性能有較大影響。

SVM分類模型的函數(shù)如式(4)所示。

(4)

式中:n為維數(shù);ai,ai*為拉格朗日乘子;b為擬合偏差;k(xi,xj)為SVM的核函數(shù),如多項式、徑向基和Sigmoid核函數(shù)等,本研究采用較常用的徑向基核函數(shù)[18]。

1.5 粒子群算法

許多優(yōu)化算法的靈感來源于自然界現(xiàn)象,PSO是一種模仿鳥群等群集行為提出的基于種群的優(yōu)化技術(shù),其核心是群體間的信息共享。

在標(biāo)準(zhǔn)PSO應(yīng)用中,一群隨機(jī)初始化的粒子,在搜索空間中不斷運(yùn)動,直到達(dá)到指定的迭代次數(shù)或其他終止條件[19]。群體中第i個粒子的速率和位置的迭代公式見式(5)～(6)。

vin=ωvin-1+c1r1[p(best)in-xin-1]+

c2r2[g(best)n-xin-1]

(5)

xin=xin-1+vin

(6)

式中:vin與xin分別為第i個粒子在第n次迭代時的速率和位置;ω為慣性權(quán)重因子;c1、c2分別為局部和全局的加速度因子;r1與r2是在[0,1]上的隨機(jī)數(shù);p(best)in為第i個粒子在第n次迭代時的歷史最優(yōu)解;g(best)n為整個粒子群在第n次迭代時的全局最優(yōu)解。

本工作優(yōu)化了標(biāo)準(zhǔn)PSO中的單一粒子適應(yīng)度評估,分別選擇了準(zhǔn)確度(ACC)和馬修斯相關(guān)系數(shù)(MCC)作為PSO的主、次適應(yīng)度函數(shù)。在尋優(yōu)過程中,不同粒子在滿足相同ACC的前提下,會優(yōu)先選擇MCC最大的粒子作為最優(yōu)解。以某次PSO優(yōu)化SVM的過程為例,設(shè)置迭代次數(shù)為100,圖4為粒子群在初始化、第50次與迭代結(jié)束時的位置及相應(yīng)的適應(yīng)度變化過程,具體參數(shù)變化見表1。

表1 PSO優(yōu)化SVM前后參數(shù)對比

(a) 粒子群初始化

綜合圖4與表1的結(jié)果可知,SVM模型經(jīng)PSO優(yōu)化尋得最佳參數(shù)后,性能得到了顯著提高,其在訓(xùn)練集上的ACC從0.86提高至0.90,MCC提高了0.08,在測試集上的ACC與MCC分別提高了0.18和0.11。PSO-Hybrid預(yù)測模型的具體流程見圖5。

圖5 PSO-Hybrid模型流程

1.6 模型評估指標(biāo)

本工作選取ACC與MCC來驗證PSO-Hybrid模型的可行性和優(yōu)劣性。ACC能夠直觀地體現(xiàn)樣本被分類正確的情況,MCC則是求解二分類中實際值和預(yù)測值之間的相關(guān)系數(shù),其值范圍為[-1,1],數(shù)值越接近1,代表模型的性能越好,計算公式見式(7)～(8)。

(7)

(8)

式中:T1為正樣本預(yù)測正確的個數(shù);T2為負(fù)樣本預(yù)測正確的個數(shù);F1為負(fù)樣本預(yù)測錯誤的個數(shù);F2是正樣本預(yù)測錯誤的個數(shù)。

2 試驗數(shù)據(jù)分析

2.1 數(shù)據(jù)預(yù)處理

本工作數(shù)據(jù)源于某奧氏體不銹鋼經(jīng)退火工藝后在高溫水環(huán)境中發(fā)生SCC行為的71組試驗數(shù)據(jù)[20]。數(shù)據(jù)集有4個參數(shù):溫度(241～350 ℃)、氯含量(0.001～3 000 mg/L)、氧含量(0.01～1 200 mg/L)以及是否發(fā)生SCC。

為了消除不同量綱對模型訓(xùn)練的影響,數(shù)據(jù)預(yù)處理是有必要的。根據(jù)電化學(xué)腐蝕的基本原理,離子含量對腐蝕行為的影響一般呈指數(shù)型[8],故先對氯、氧含量取對數(shù),然后對所有樣本作歸一化處理,預(yù)處理后的部分樣本數(shù)據(jù)如表2所示,按照7∶3的比例,隨機(jī)抽取49組樣本數(shù)據(jù)用于訓(xùn)練模型,剩下22組數(shù)據(jù)用于測試模型的性能。

表2 部分預(yù)處理后的樣本(源于退火處理的不銹鋼)

2.2 主成分分析

主成分分析的目的是降維,它能夠在保留絕大部分樣本有效信息的同時降低數(shù)據(jù)的維數(shù)。對于機(jī)器學(xué)習(xí)而言,通過PCA提取出能夠代表整個數(shù)據(jù)集的主成分來訓(xùn)練模型,可以減少訓(xùn)練過程中耗費的資源,特別是對高維度、高數(shù)據(jù)量樣本的降維效果更為明顯。各主成分?jǐn)y帶信息的多少與方差成正比,通常選取累積貢獻(xiàn)率高于80%的因素作為主成分[18]。應(yīng)用SPSS軟件計算預(yù)處理后數(shù)據(jù)集的各成分特征值與貢獻(xiàn)率,如表3所示。

表3 主成分分析

由表3可知,溫度和氯含量的貢獻(xiàn)率相近,氧含量的貢獻(xiàn)率稍低一些。前2個成分的累積貢獻(xiàn)率僅有71.33%,不滿足高于80%的要求,因此數(shù)據(jù)集的3個成分都將用于訓(xùn)練模型。在金屬腐蝕的相關(guān)理論中,奧氏體不銹鋼在氯化物溶液和含氧高溫純水等環(huán)境中會發(fā)生SCC[1],溫度、氯離子和溶解氧本身就是分析SCC不可缺少的因素,這也與PCA的結(jié)果相對應(yīng)。

2.3 預(yù)測結(jié)果分析

為驗證PSO-Hybrid模型的優(yōu)劣性,循環(huán)代碼20次,觀察模型的表現(xiàn)。圖6為未經(jīng)PSO優(yōu)化的Hybrid模型及其部分基模型在循環(huán)過程中的表現(xiàn)(以ACC為例),表4為所有模型評估指標(biāo)的詳細(xì)數(shù)據(jù),方差越小代表模型表現(xiàn)越穩(wěn)定。

表4 各預(yù)測模型的表現(xiàn)

圖6 Hybrid與其部分基模型準(zhǔn)確度對比

由圖6和表4可知,未經(jīng)PSO優(yōu)化的Hybrid模型的ACC與MCC平均值分別為0.814和0.627,與組成Hybrid模型的5個基模型相比,其表現(xiàn)雖明顯優(yōu)于SVM模型,但與XGBoost模型的性能相近,最可能的原因是SVM模型較差的表現(xiàn)在一定程度上拉低了Hybrid模型的性能。

圖7為經(jīng)PSO優(yōu)化前后Hybrid模型相應(yīng)的評估指標(biāo)值變化過程。綜合圖7與表4可知,PSO算法在一定程度上提升了RF、XGBoost與SVM模型的性能,其中SVM的性能提升尤為顯著,其ACC與MCC平均值分別提高了0.087和0.123,且更加穩(wěn)定。另外,PSO-Hybrid模型的ACC與MCC平均值分別為0.841和0.678,與表4中的所有模型相比,其表現(xiàn)最為優(yōu)越。

圖7 Hybrid與PSO-Hybrid模型評估指標(biāo)值對比

2.4 模型驗證

為進(jìn)一步驗證模型的可靠性,另外收集了38組敏化處理后的奧氏體不銹鋼在高溫水中的SCC行為試驗數(shù)據(jù)作為驗證集[20]。驗證集有4個參數(shù):溫度(274～350 ℃)、氯含量(0.001～1 000 mg/L)、氧含量(0.01～200 mg/L)以及是否發(fā)生SCC,其數(shù)據(jù)預(yù)處理的步驟與上文相同,部分驗證集樣本數(shù)據(jù)見表5。

表5 部分預(yù)處理后的樣本(源于敏化處理的不銹鋼)

經(jīng)檢驗,PSO-Hybrid模型在驗證集上也有不錯的表現(xiàn),循環(huán)20次后ACC與MCC平均值分別為0.750和0.491。但其性能與前文的模型表現(xiàn)相比有明顯的下降,原因可能是材料的處理工藝不同,該驗證集數(shù)據(jù)源于敏化處理后的奧氏體不銹鋼,而前文材料經(jīng)退火處理,敏化處理能夠讓材料不太容易發(fā)生晶間腐蝕促進(jìn)的SCC。因此,為進(jìn)一步探討模型的可靠性,隨機(jī)抽取30%的驗證集數(shù)據(jù)與前文的71條數(shù)據(jù)相組合,用于訓(xùn)練PSO-Hybrid模型,觀察模型預(yù)測剩余70%驗證集數(shù)據(jù)的表現(xiàn)。

結(jié)果表明,將驗證集的部分?jǐn)?shù)據(jù)組合用于訓(xùn)練PSO-Hybrid模型可有效提高其在驗證集上的預(yù)測效果,其ACC與MCC平均值分別為0.833和0.672,這表明預(yù)測模型的建立是一個動態(tài)的、實時更新的過程,根據(jù)不同的材料、工藝、環(huán)境等影響因素,模型也需要實時調(diào)整來適應(yīng)新的數(shù)據(jù)集,以取得良好的預(yù)測效果。圖8為在循環(huán)過程中,將驗證集的部分?jǐn)?shù)據(jù)用于訓(xùn)練前后的PSO-Hybrid模型預(yù)測效果表現(xiàn)情況。

圖8 部分驗證集用于訓(xùn)練前后PSO-Hybrid模型的評估指標(biāo)值對比

綜上所示可知,Hybrid思想為二分類問題拓寬了新思路,本工作所提出的PSO-Hybrid模型為預(yù)測不銹鋼應(yīng)力腐蝕開裂敏感性提供了一種有效的分析方法,具有一定的可靠性與科學(xué)性。PSO-Hybrid模型是否適用于不同不銹鋼還有待進(jìn)一步研究。另外,依靠機(jī)器學(xué)習(xí)來建立優(yōu)秀的預(yù)測模型需要一定量的數(shù)據(jù)支撐,但SCC行為的數(shù)據(jù)量較少,獲取難度較高,未來若能建立腐蝕數(shù)據(jù)庫,實現(xiàn)數(shù)據(jù)共享,將會對腐蝕預(yù)測的研究起到很大的推動作用。

3 結(jié)論

(1) 運(yùn)用PCA提取出對不銹鋼發(fā)生SCC影響較大的因素,包括溫度、氯含量和氧含量,其中溫度的影響最大。

(2) 通過對比預(yù)測值與實際值可知,Hybrid思想有一定的可行性和科學(xué)性,且經(jīng)PSO優(yōu)化后,Hybrid模型的平均準(zhǔn)確度與馬修斯相關(guān)系數(shù)各提高了3.3%與8.3%,表明PSO-Hybrid模型的預(yù)測準(zhǔn)確度較高、穩(wěn)定性好,這為預(yù)測不銹鋼SCC敏感性提供了技術(shù)支撐。