基于機器學習的蠕變斷裂壽命預測方法

張效成,宮建國,軒福貞

(華東理工大學 機械與動力工程學院 承壓系統(tǒng)與安全教育部重點實驗室，上海 200237)

0 引言

數(shù)世紀以來，科學的發(fā)展經歷了4個階段，第一個階段為經驗科學階段，在此階段，人們通過基于經驗及試驗認識世界；第二個階段為理論科學階段，在此階段一系列定理被提出；第三個階段為計算科學階段，這一階段主要受益于計算機科學的發(fā)展，結合第二個階段的理論模型可以描述復雜的現(xiàn)象；第四個階段為數(shù)據(jù)驅動科學階段，得益于數(shù)據(jù)量的激增，數(shù)據(jù)驅動的方法為解決傳統(tǒng)問題提供了可替代的方案[1]。

對于復雜的工程問題，往往難以直接得到解析解，而經驗解無法描述高維數(shù)據(jù)之間復雜的非線性交互關系。機器學習作為數(shù)據(jù)驅動的解決方案，可以克服解析解和經驗解的局限性，為復雜工程問題提供解決方案。當前，已有許多研究人員利用機器學習的方法解決裂紋缺陷預測及斷裂韌性計算等領域的難題。ROVINELLI等[2]將原位試驗、晶體塑性模擬及貝葉斯網(wǎng)絡結合，確定了多晶材料小疲勞裂紋擴展的方向及速率；FENG等[3]在小數(shù)據(jù)集下，利用深度神經網(wǎng)絡實現(xiàn)了材料硬化裂紋敏感性的預測；TONG等[4]使用決策樹、支持向量機及樸素貝葉斯等多種機器學習模型，預測了多晶鎂合金在變形之前的孿晶形核行為；HU等[5]結合Markov鏈Monte Carlo算法及高斯過程回歸算法，提高了渦輪盤疲勞裂紋擴展壽命的預測精度，并且對預測結果的不確定性進行了量化；LIU等[6]將有限元計算結果與回歸樹、人工神經網(wǎng)絡等機器學習算法結合，顯著提高了顯微多晶硅斷裂韌性的計算效率。由此可見，機器學習為傳統(tǒng)復雜工程問題提供了另一種解決方案。

工程部件的壽命預測問題是高溫結構完整性領域的重要課題，而蠕變壽命預測是其中的重要組成部分[7-14]。影響蠕變斷裂壽命的因素包括材料類型、材料型式、熱處理、化學成分、溫度及應力等[15]。常用蠕變斷裂壽命預測經驗公式僅考慮了應力及溫度的影響，預測模型泛化能力較差，而機器學習方法實現(xiàn)了大量數(shù)據(jù)的訓練與預測，可為結構蠕變壽命預測提供新的解決方案。圖1從模型類型、輸入變變量等角度比較了兩種不同的蠕變壽命預測方法。本研究基于高維輸入屬性數(shù)據(jù)，利用BP神經網(wǎng)絡、支持向量機、隨機森林及高斯過程回歸等機器學習方法，對316奧氏體不銹鋼的蠕變斷裂壽命進行預測。

圖1 傳統(tǒng)時間-溫度參數(shù)法與機器學習方法對比

本文主要介紹機器學習方案的建立方法、數(shù)據(jù)集的收集及預處理、所選用的機器學習模型，以及基于機器學習的蠕變斷裂壽命預測結果。

1 機器學習方案建立方法

本研究提出了基于機器學習的工程問題解決方案，尤其是針對結構完整性領域的壽命預測問題。在壽命預測領域，由于影響壽命的因素較多，解析解往往基于大量簡化假設，導致預測精度有限；而經驗解往往無法描述影響因素之間存在的復雜交互關系，機器學習方案可以克服兩者的局限性。

使用機器學習的方法解決工程問題可分為4步(如圖 2所示):第一步是確定目標變量及輸入變量，判斷輸入變量的類型需要以問題的物理機理及試驗觀察為基礎，盡量避免考慮對目標無影響的變量，減小計算量;第二步是構建數(shù)據(jù)集，機器學習本質上是一種數(shù)據(jù)驅動的解決方案，因此理論上講數(shù)據(jù)量應盡可能多，另一方面，收集數(shù)據(jù)時應當初步對數(shù)據(jù)質量進行判斷，剔除明顯的離群值，避免引入不必要的噪聲;第三步是選用機器學習模型，基于問題的類型(聚類/降維/分類/回歸)，選擇合適的機器學習模型，進行調參訓練；通常難以直接選出最優(yōu)的機器學習模型，需要同時建立多種機器學習模型的解決方案，基于不同模型的預測結果，進而判斷最優(yōu)的機器學習模型;第四步是共享機器學習解決方案，機器學習解決方案的顯著優(yōu)勢在于易于共享及維護，在社區(qū)內部共享工程問題的解決方案，一方面可以源源不斷地補充新的數(shù)據(jù)，進一步提高機器學習方案的泛化能力,另一方面，可以對機器學習算法進行優(yōu)化，提高模型的表達能力。

圖2 機器學習方案的建立及優(yōu)化流程

本文基于所提出的機器學習方法，使用BP神經網(wǎng)絡、支持向量機、隨機森林及高斯過程回歸等機器學習模型，開展了316奧氏體不銹鋼蠕變斷裂壽命預測研究。

2 數(shù)據(jù)收集及預處理

2.1 數(shù)據(jù)收集

316奧氏體不銹鋼數(shù)據(jù)來源于日本NIMS蠕變數(shù)據(jù)庫[16-18]。該數(shù)據(jù)庫提供了大量316奧氏體不銹鋼蠕變斷裂數(shù)據(jù)，并且提供了試樣及試驗條件的詳細信息，包括材料型式(棒材、板材及管材等)、熱處理溫度及保溫時間、化學成分、溫度和應力等。本研究共使用317組數(shù)據(jù)，包括：棒材數(shù)據(jù)166組、板材數(shù)據(jù)57組、管材數(shù)據(jù)94組。表1列出了部分316奧氏體不銹鋼的蠕變斷裂數(shù)據(jù)。數(shù)據(jù)集內最短蠕變斷裂壽命為29.2 h，最長蠕變斷裂壽命為173 814.3 h。數(shù)據(jù)集總體壽命分布如圖3所示，可以看出，數(shù)據(jù)集蠕變斷裂壽命基本在100 000 h以內，在不同區(qū)間內壽命分布較為均勻。

表1 部分316奧氏體不銹鋼蠕變斷裂數(shù)據(jù)

圖3 蠕變斷裂壽命分布

2.2 敏感性分析

利用相關系數(shù)研究不同輸入變量對蠕變斷裂壽命的影響，其計算公式如下：

(1)

式中，Cov為協(xié)方差;Xi為屬性(i=1,…,18);Y為蠕變斷裂時間，h;Var為方差。

相關系數(shù)越接近1，說明該變量對蠕變斷裂壽命的影響越大。

圖4示出不同屬性與蠕變斷裂壽命之間的相關系數(shù)。可以看出,試驗溫度、應力、C/Ni/N元素含量及熱處理保溫時間等屬性對蠕變斷裂壽命的影響較大。但是，所有輸入屬性的相關系數(shù)均小于0.3，這說明蠕變斷裂壽命受到多種輸入屬性的非線性交互作用，少量輸入屬性無法準確建立與蠕變斷裂壽命之間的聯(lián)系。

圖4 輸入屬性與蠕變斷裂壽命之間的相關系數(shù)

2.3 數(shù)據(jù)降維

當數(shù)據(jù)集屬性維度較高時，可以使用主成分分析(PCA)將輸入屬性映射到低維空間，一方面可以減小輸入維度，提高運算速度；另一方面保留輸入屬性的主要信息，舍棄部分必要信息，達到降噪的目的。如圖 5所示，18類輸入屬性經過PCA處理后縮減為4類主成分，第一主成分與第二主成分可以表達原始輸入屬性90%以上的信息。結合主成分分析與機器學習方法，可以在保留大部分輸入屬性信息的同時，顯著提高計算速度。

圖5 不同主成分及其貢獻率

2.4 數(shù)據(jù)前處理

為減小屬性值大小對模型訓練的影響、提高訓練速度，需要對輸入屬性值進行歸一化，即將不同類別屬性值轉換到相同大小的區(qū)間內。本研究將輸入屬性值轉換到0～1的區(qū)間內。

在使用數(shù)據(jù)集訓練模型之前，首先需要將數(shù)據(jù)集隨機劃分為訓練集和測試集。使用訓練集訓練模型，使用測試集評估模型的預測性能。本研究按照8∶2將數(shù)據(jù)集劃分為訓練集和測試集，即訓練集數(shù)據(jù)為254組，測試集數(shù)據(jù)為63組。

3 機器學習模型選用

針對不同的實現(xiàn)目標，機器學習算法可分為4類：屬于無監(jiān)督學習算法聚類、降維及屬于監(jiān)督學習算法的回歸、分類。對于壽命預測問題，應采取合適的回歸學習算法，常用的回歸學習算法包括神經網(wǎng)絡、支持向量機、隨機森林及高斯過程回歸等。

3.1 BP神經網(wǎng)絡

神經網(wǎng)絡是具有適應性的簡單單元組成的并行互聯(lián)網(wǎng)絡，模擬生物神經系統(tǒng)對外界的響應[19-20]。BP(Back Propagation)神經網(wǎng)絡是McClelland和Rumelhart在1986年提出的一種誤差反向傳播的前饋神經網(wǎng)絡[21]。神經網(wǎng)絡的基本單元是神經元，每個神經元與其他神經元相連，進行信號傳遞。神經網(wǎng)絡的基本結構包括輸入層、隱含層及輸出層?；陔[含層的數(shù)量可分為單層神經網(wǎng)絡及多層神經網(wǎng)絡。單層BP神經網(wǎng)絡的結構如圖6所示，輸入信號通過一定的權重、偏置及激活函數(shù)處理，經過隱含層傳遞給輸出層。若輸出與期望輸出不一致，則進入誤差反向傳播過程，基于反向傳播算法使得損失函數(shù)最小化，從而得到最優(yōu)的權重與偏置，完成模型訓練。

圖6 單隱含層BP神經網(wǎng)絡結構

3.2 支持向量機

支持向量機(Support Vector Machine，SVM)最初針對的是二分類問題，后來提出核函數(shù)，通過非線性變換實現(xiàn)了高維空間的線性可分，解決了高維空間的分類問題[22]。

SVM分類的核心思想是尋找最優(yōu)分類面，使得樣本間隔最大。在SVM分類的基礎上，引入不敏感損失函數(shù)，從而將其用于解決回歸問題，其目標變?yōu)閷ふ易顑?yōu)分類面使得樣本離分類面誤差最小。SVM的核心部分在于核函數(shù)，常用核函數(shù)包括多項式核、高斯核(也稱徑向基核)及Sigmoid核等，其表達式及參數(shù)如表2所示。

表2 常用核函數(shù)

3.3 隨機森林

隨機森林利用Bootstrap重采樣方法從樣本中抽取多個樣本，然后利用決策樹對每個Bootstrap樣本進行決策樹建模，將多個決策樹的預測結果進行組合，所得預測結果即為隨機森林模型的預測結果，其本質上是一種多決策樹組合模型[23-24]。決策樹具有樹形結構，采用自頂向下的遞歸方式，從根節(jié)點開始，在內部節(jié)點比較屬性值，最后在葉子節(jié)點上得到結論，基本結構如圖7所示。在決策樹中，使用信息熵度量樣本集合純度，從而判斷節(jié)點屬性類別。決策樹是一種白箱模型，可以推出明確的邏輯表達式。

圖7 決策樹基本結構

3.4 高斯過程回歸

高斯過程回歸(Gaussian Process Regression,GPR)是使用高斯過程先驗對數(shù)據(jù)進行回歸分析的非參數(shù)模型。高斯過程是指一組隨機變量的集合，在此集合里面任意有限個隨機變量均服從聯(lián)合正態(tài)分布[25]。其性質由均值函數(shù)和協(xié)方差函數(shù)確定：

(2)

式中,x,x′為任意隨機變量。

GPR模型假設包括噪聲(回歸殘差)和高斯過程先驗兩部分，其求解按貝葉斯推斷進行。高斯過程回歸模型如下：

y=f(x)+δ

(3)

可以得到試驗值y的先驗分布：

(4)

試驗值及預測值的聯(lián)合先驗分布為：

(5)

式中，K(X,X)為n×n階協(xié)方差矩陣；In為n階單位矩陣；K(X,x*)為測試點x*與訓練集輸入X之間的協(xié)方差矩陣；k(x*,x*)為測試點x*的自身協(xié)方差。

基于貝葉斯推斷，可以計算出預測值的后驗分布：

(6)

其中：

(7)

Cov(f*)=k(x*,x*)-K(X,x*)[K(X,X)

(8)

高斯過程使用了貝葉斯技巧，得到的模型屬于非參數(shù)概率模型，其優(yōu)勢主要表現(xiàn)在于不僅能夠對未知輸入進行預測輸出，而且能夠對預測輸出的不確定性(即估計方差)進行定量分析。

4 結果及討論

4.1 Larson-Miller模型

Larson-Miller參數(shù)法是最具代表性的時間-溫度參數(shù)(TTP)法，在工程上被廣泛用于蠕變斷裂壽命預測[26-27]。Larson-Miller參數(shù)表達式如下：

PLM=(T+273)(C+lgtr)=a(lgS)2+blgS+c

(9)

式中，PLM為Larson-Miller參數(shù)；T為溫度，℃；C為Larson-Miller常數(shù)；tr為蠕變斷裂時間，h；S為應力，MPa；a，b，c為擬合參數(shù)。

使用測試集中試驗值及對應預測值之間的決定系數(shù)衡量模型的預測精度，用R2表示，該值越大說明精度越高，R2最大值為1，計算方法如下：

(10)

式中,Ypre為預測壽命;Yex為試驗壽命。

比較不同C值對應的決定系數(shù)，發(fā)現(xiàn)C=17時決定系數(shù)最高，其值為0.618。圖8為蠕變斷裂壽命試驗數(shù)據(jù)及Larson-Miller擬合曲線，可以發(fā)現(xiàn)不同溫度下的蠕變斷裂數(shù)據(jù)在時間-應力坐標系下表現(xiàn)出較大的分散性，Larson-Miller擬合曲線可以描述大量試驗數(shù)據(jù)的平均行為，但無法解決試驗數(shù)據(jù)的分散性問題，預測精度有限。

圖8 Larson-Miller擬合曲線及蠕變斷裂壽命試驗數(shù)據(jù)

4.2 BP神經網(wǎng)絡

隱層神經元數(shù)量、激活函數(shù)類型及反向傳播算法等參數(shù)會顯著影響B(tài)P神經網(wǎng)絡模型預測能力?？刂艬P神經網(wǎng)絡參數(shù)，選用18維輸入屬性數(shù)據(jù)訓練模型，并且基于測試集選擇確定最優(yōu)的參數(shù)。如圖9所示，當隱層神經元數(shù)量為4時，預測精度較高，增加隱層神經元數(shù)量并不一定能夠改善預測精度。選用tansig隱含層激活函數(shù)的預測精度略優(yōu)于logsig函數(shù)。LM(Levenberg-Marquardt)反向傳播算法不僅具有較快的訓練速度，而且較之GD(Gradient descent)算法和GDA(Gradient descent with adaptive learning rate)算法具有更高的預測精度。

圖9 不同隱層神經元數(shù)量、隱含層激活函數(shù)及 反向傳播算法的預測精度

改變數(shù)據(jù)集屬性種類數(shù)，分別使用18類屬性、2類屬性(溫度T及應力S)及4類輸入屬性(第一類至第四類主成分)的數(shù)據(jù)集進行蠕變斷裂壽命預測，預測精度如圖10所示。當輸入屬性類別為18時，測試集決定系數(shù)可達0.967，顯著高于輸入屬性類別為2和4的決定系數(shù)，這表明BP神經網(wǎng)絡可以捕捉多輸入屬性與蠕變斷裂壽命之間隱含的關系，使用多類輸入屬性數(shù)據(jù)集進行蠕變壽命預測可以降低預測結果的分散性，提高預測精度。

圖10 不同屬性數(shù)目數(shù)據(jù)集下的BP神經網(wǎng)絡預測精度

使用BP神經網(wǎng)絡(18類屬性)與Larson-Miller模型對測試集數(shù)據(jù)集進行蠕變斷裂壽命預測，結果如圖11所示，BP神經網(wǎng)絡決定系數(shù)為0.967，Larson-Miller模型決定系數(shù)為0.708，BP神經網(wǎng)絡預測精度高于Larson-Miller模型。當蠕變斷裂壽命小于10 000 h時，兩者的預測精度相似，但隨著蠕變斷裂壽命的增加，Larson-Miller模型的預測精度顯著下降，而BP神經網(wǎng)絡則一直保持較高的預測精度。

圖11 BP神經網(wǎng)絡及Larson-Miller模型蠕變斷裂 壽命預測

4.3 支持向量機

使用文獻[28]中開發(fā)的支持向量機工具箱LIBSVM對蠕變斷裂壽命進行回歸分析。選用兩類回歸支持向量機模型進行壽命預測，分別為e-SVM和v-SVM，前者訓練速度較快，后者訓練速度較慢，兩者均選用高斯核函數(shù)。支持向量機模型存在多個超參數(shù)，其值將顯著影響模型的預測效果。對于以上兩類模型，均存在超參數(shù)C′和γ，使用網(wǎng)格搜索調參的方法確定兩參數(shù)的最優(yōu)值。另外，e-SVM需要優(yōu)化參數(shù)p′，v-SVM需要優(yōu)化參數(shù)n′，通過比較參數(shù)取不同值時的測試集決定系數(shù)確定最優(yōu)參數(shù)值。

由圖12可以看出，e-SVM與v-SVM具有相似的預測精度。當數(shù)據(jù)集含18種屬性時，SVM模型預測精度低于2種屬性及4種屬性的預測精度，這說明SVM對多屬性數(shù)據(jù)的學習能力受限。將主成分分析結果與SVM結合，可以將預測精度由0.854提高到0.955，顯著改善了SVM模型的預測精度。

圖12 不同屬性數(shù)目數(shù)據(jù)集下的支持向量機 預測精度

4.4 隨機森林

隨機森林實質上是多決策樹的組合模型，通過調整決策數(shù)棵樹對模型性能進行優(yōu)化。圖13示出不同屬性數(shù)目數(shù)據(jù)集下的隨機森林模型預測精度，隨機森林模型在數(shù)據(jù)集屬性為18時預測精度較差，其預測精度低于2類屬性及4類屬性數(shù)據(jù)集的預測精度。將隨機森林模型與主成分分析方法相結合，可以將測試集決定系數(shù)由0.746提高到0.95，顯著提高了隨機森林模型的性能。

圖13 不同屬性數(shù)目數(shù)據(jù)集下的隨機森林 預測精度

4.5 高斯過程回歸

使用訓練集數(shù)據(jù)建立了GPR模型，模型采用了零均值函數(shù)、各向同性平方指數(shù)(Isotropic squared exponential)協(xié)方差函數(shù)及高斯似然函數(shù)。由圖14可以看出，對于具有不同屬性數(shù)目的數(shù)據(jù)集，高斯過程回歸可以得到相似的預測精度，其值均在0.92左右。但是，當屬性數(shù)目為2時，其訓練集預測精度遠小于屬性數(shù)目為4及18對應的訓練集預測精度。這說明當屬性數(shù)目越多，高斯過程回歸模型捕捉輸入與輸出之間映射關系的能力越強，樣本數(shù)目越多，由屬性數(shù)目導致的預測精度差異會越明顯。對于當前數(shù)據(jù)集，高斯過程回歸模型預測結果的方差最大在8左右，相對于斷裂壽命該值非常小，這說明數(shù)據(jù)集內噪聲很小，預測結果的不確定性可以忽略。

圖14 不同屬性數(shù)目數(shù)據(jù)集下的高斯過程回歸預測精度

4.6 蠕變斷裂性能影響因素分析

4.6.1 溫度及應力的影響

當溫度越高、應力越大時，蠕變損傷累積速率更快，進而導致蠕變斷裂壽命越短。圍繞這一特性，提出了許多半經驗及經驗蠕變斷裂壽命預測方法。本部分基于前面使用18屬性高維數(shù)據(jù)集建立的BP神經網(wǎng)絡模型(隱含層單元數(shù)量為4)，研究溫度及應力對蠕變斷裂壽命的影響。圖15,16分別示出神經網(wǎng)絡模型預測的溫度、應力與蠕變斷裂壽命之間的關系?？梢钥闯龃四Ｐ湍軌虿蹲降綔囟取εc蠕變斷裂壽命潛在的關系，即隨著溫度升高、應力增大，蠕變斷裂壽命減小。

圖15 不同溫度下的316奧氏體不銹鋼蠕變斷裂壽命

圖16 不同應力下 316奧氏體不銹鋼蠕變斷裂壽命

4.6.2 N含量的影響

當數(shù)據(jù)信息足夠多時，即便是對于理論上難以建模的屬性，也可以通過建立機器學習模型預測該屬性對目標的影響。本部分基于18種屬性數(shù)據(jù)集建立的BP神經網(wǎng)絡模型，預測N元素含量對316奧氏體不銹鋼蠕變斷裂壽命的影響，數(shù)據(jù)集中N元素含量范圍為0.015 9wt.%～0.035wt.%，預測范圍為0.015wt.%～0.2wt.%。如圖17所示，隨著N含量的增加，蠕變斷裂壽命顯著增加，此趨勢與文獻[29]的結論是一致的。根據(jù)文獻[29]的試驗結果，N含量為0.22wt.%時，其蠕變斷裂壽命是N含量為0.07wt.%對應蠕變斷裂壽命的10倍，與機器學習模型的預測結果非常接近。N元素對蠕變斷裂性能的改善作用與固溶強化過程中N元素的強化作用及碳氮化物的基體沉淀強化作用有關[29-31]。

4.7 結果討論

本文基于高維數(shù)據(jù)集，使用BP神經網(wǎng)絡、支持向量機、隨機森林及高斯過程回歸等機器學習方法對316奧氏體不銹鋼的蠕變斷裂壽命進行預測，發(fā)現(xiàn)基于機器學習的蠕變斷裂壽命預測方法較之傳統(tǒng)Larson-Miller方法具有更高的預測精度。并且機器學習模型可以預測不同屬性對蠕變斷裂性能的影響，為蠕變斷裂性能的改善提供依據(jù)。

圖17 N含量對蠕變斷裂壽命的影響

總的來講，神經網(wǎng)絡模型預測精度最高，并且在高維數(shù)據(jù)集下預測精度顯著高于低維數(shù)據(jù)下的預測精度。支持向量機及隨機森林在多輸入數(shù)據(jù)集的預測精度較低，將支持向量機、隨機森林與主成分分析結合，可以顯著提高兩模型的預測精度；高斯過程回歸在不同維度數(shù)據(jù)集下具有相似的預測精度，其預測精度低于前面三種模型。

基于前文的預測結果可以看出，機器學習中的黑箱模型(神經網(wǎng)絡、支持向量機)捕捉數(shù)據(jù)潛在關系的能力會優(yōu)于白箱模型(隨機森林、高斯過程回歸)。黑箱模型中，神經網(wǎng)絡模型在高維數(shù)據(jù)集下的表達能力更強，預測精度更高，這說明這種分層的信號前向傳播、誤差反向傳播結構適用于高維數(shù)據(jù)；以這種分層結構為基礎演變而來的深度學習，在高維數(shù)據(jù)集、大數(shù)據(jù)集下具有非常強的表達能力[32-34]。

5 結論

機器學習可以克服解析解與經驗解的局限性，為工程部件壽命預測提供可替代的解決方案。本研究提出了面向工程結構壽命預測問題的機器學習方案及優(yōu)化的一般性方法，將機器學習方法用于316奧氏體不銹鋼蠕變斷裂壽命預測，可以得到比傳統(tǒng)Larson-Miller方法更高的預測精度。其中BP神經網(wǎng)絡在高維數(shù)據(jù)集下可以得到最高的預測精度，具有分層結構的神經網(wǎng)絡在高維數(shù)據(jù)集下有更強的表達能力?；诮⒌臋C器學習模型可以為材料性能改善提供參考。