PIDAS工藝評估和工藝設計模型開發(fā)

陳歡歡,劉 曄,閆 博

(寶山鋼鐵股份有限公司中央研究院,上海 201999)

軋制過程材料組織性能預測是利用物理冶金學、機器學習、計算機視覺等模型,對軋制過程中的各種金屬學現象進行計算機模擬,預測出軋后產品組織狀態(tài)和力學性能,進行成分和軋制工藝的優(yōu)化設計,從而實現對產品的質量控制[1]。隨著生產數據庫的不斷積累和算法的不斷進步,機器學習方法正在被重點關注,開始被大量地應用于組織性能預測。

本文首先開發(fā)了一種工藝評估模型,它能夠根據用戶設置的化學成分、產品規(guī)格、工藝參數和所需要的預測精度,評估產品性能值所在的區(qū)間。此模型的基礎是自主開發(fā)的概率區(qū)間估計算法,它通過全面對比不同機器學習回歸模型的效果,和充分考慮歷史生產數據的分布規(guī)律,預測性能值可能落在的區(qū)間,以及落在此區(qū)間的可能性。本文以此算法為基礎,以一種微合金高強鋼為例,開發(fā)了PIDAS工藝評估模型。

同時又開發(fā)了一種工藝設計模型,它能夠根據用戶設置的化學成分、產品規(guī)格以及帶有權重的性能目標,設計最優(yōu)的軋制冷卻參數。此模型的基礎是本文中提出的自定義權重的模擬退火算法,它是一種基于蒙特卡洛思想設計的近似求解最優(yōu)化問題的方法。在此算法基礎上,借助于工藝評估模型,又開發(fā)了PIDAS工藝設計模型。

1 工藝評估模型

本章以一種微合金高強鋼為例,介紹所開發(fā)PIDAS工藝評估模型。PIDAS系統(tǒng)已經收集了近兩年該鋼種生產過程的大量數據,其中包含了產品規(guī)格、化學成分、工藝參數和組織性能等。根據該鋼種用途和特點,反映其好壞的基本性能有5項:抗拉強度、屈服強度、屈強比、斷裂延伸率和剪切面積分數。通過對該鋼種大生產過程進行深入的冶金學原理分析和大生產數據的分析,確定了影響產品性能的20項主要因素:

(1) 產品規(guī)格(3項):中間坯厚度、目標厚度、目標寬度。

(2) 化學成分(11項):C、Mn、Si、Nb、Ti、V、Cu、B、Cr、Ni、Mo。

(3) 溫度參數(6項):出爐溫度、開軋溫度、終軋溫度、冷速、開冷溫度、終冷溫度。

工藝評估模型能夠根據上述20項工藝參數,精準預測5項性能所在的區(qū)間,以及真實值位于此區(qū)間內的概率。

1.1 概率區(qū)間估計算法

機器學習算法的本質是在特征和目標之間找到合適的映射關系[2],分為分類算法和回歸算法兩種[3],其中常見的回歸算法有線性回歸(Linear Regression)、 K近鄰回歸(KNN Regressor)、支持向量回歸(SVR)、嶺回歸(Ridge)、Lasso回歸、多層感知器回歸(MLPRegressor)、決策樹回歸(DecisionTree)、極限樹回歸(ExtraTree)、極限梯度提升回歸(XGBoost)、隨機森林回歸(RandomForest)、AdaBoost、梯度提升樹回歸(Gradient Boost)、引導聚集回歸(Bagging),用REG_Model表示這些回歸算法組成的集合?；跈C器學習的材料性能預測流程如圖1所示。

圖1 回歸方法流程圖

(1)

然而,中厚板組織性能的預測受檢測手段、數據通訊、組織性能不均勻等諸多因素的影響[1],使得機器學習預測模型的精度并不是特別高;同時,由于生產過程的多工序性,使得在建立模型的時候不可能把所有特征都考慮在內,這樣就導致了雖然模型對于相同的特征預測得到了相同的性能,但與實際性能間還可能會有一定差距,因為并沒有考慮其他特征的影響。于是將機器學習方法應用到中厚板的組織性能預測上時,需要做一定改進。

不同于傳統(tǒng)機器學習算法預測得到一個確定的值,區(qū)間估計算法預測得到的是一個區(qū)間值,以及真實值落在這個區(qū)間的概率,即準確性。文獻[4-8]中分別提出了bootstrap,Bayesian,mean-variance estimation,delta 和 neural network的方法,然而這五種方法并沒有嘗試在不同準確率下的區(qū)間估計,也即調整準確率得到不同的區(qū)間估計。在這里本文提出了概率區(qū)間估計算法,解決了上述問題,其流程圖如圖2所示。

圖2 概率區(qū)間估計算法流程圖

(2)

這樣最終構建的模型一方面綜合對比了常見機器學習回歸模型的準確度,并選出最優(yōu)的,另一方面又充分利用了歷史數據的分布規(guī)律,用區(qū)間預測代替常見的單值預測,這樣便能消除原始數據因為受檢測手段、數據通訊、組織性能不均勻導致的不精確性以及生產的多工序性帶來的影響。同時通過不同的acc下對應不同t值,實現了不同準確率下的區(qū)間估計,這滿足了工藝設計人員對于不同精度下估計的需求。算法的偽代碼如下:

算法1 概率區(qū)間估計算法

輸入:歷史生產數據data,REG_Model,Accuracy.

輸出:最佳回歸模型,不同準確率下的區(qū)間閾值.

1.threshold=?

2.for model in REG_Model do

3. train model on data;

4.end for

5.choose the best modelMas the candidate model.

7.for acc in Accuracy do

8. adjust and findtsuch that

9. threshold=threshold∪{t};

10.end for

11.returnM,threshold.

1.2 DWTT工藝評估模型

DWTT是用來檢測材料韌性的試驗,在這里特指DWTT剪切面積分數,其值在0～100之間,DWTT是否大于85(或95)是衡量抗脆性開裂能力的一個重要指標。文中將DWTT評估模型分成了兩個小的模型:分類模型和回歸模型。通過AdaBoost構建的分類模型能根據20個工藝參數預測產品DWTT值是否大于85。對于值在85以上的DWTT,本文根據前文提出的概率區(qū)間估計算法,構建了回歸模型。流程圖如圖3所示。

圖3 DWTT工藝評估模型流程圖

從PIDAS數據庫中導出近兩年對象鋼種生產數據,同時只保留-10 ℃試驗環(huán)境下DWTT的測量數據,刪去空值所在的行后還剩下21 853條數據,隨機地將數據集分成兩部分,其中80%用作訓練集,20%用作測試集。為了消除工藝參數數量級差別造成的影響,對工藝參數做了標準化的處理;在構建分類模型時,將85以上的DWTT賦為1,總共有21 087條,85以下的賦為0,總共有766條。

1.2.1 DWTT分類模型構建

文中采用AdaBoost算法構建DWTT的分類模型。AdaBoost算法是基于Boosting思想的機器學習算法,其核心思想是針對同一個訓練集訓練得到不同的決策樹弱分類器,然后把這些弱分類器集合起來,構成一個強分類器[9],其中影響模型好壞的重要參數是弱分類器的個數(n_estimators)。

分類模型的評價標準除了準確率以外,還有精確率、召回率等,混淆矩陣如表1所示,Positive代表DWTT值超過85,Negative代表DWTT值低于85。

表1 混淆矩陣

準確率Accuracy為分類模型所有判斷正確結果占總觀測值的比重:

(3)

精確率Precision是模型預測為Positive的結果中模型預測正確的比重:

(4)

僅用準確率來衡量分類模型是不準確的,尤其對于負樣本量比較少的數據,因為可以構建這樣一個模型:預測全部結果都為Positive,這依然能達到很高的Accuracy,但這顯然是不合理的。于是對于DWTT分類,除了評估模型的Accuracy,同時評估了模型Precision,即模型預測DWTT超過85時DWTT真實值超過85的概率。

在具體模型構建的過程中,本文采用AdaBoost算法訓練了弱分類器個數從1～400的分類模型,各個模型在訓練集和測試集上的Accuracy,以及Precision如圖4所示。

從訓練結果可以看到,分類器的個數在270時,模型在訓練集、測試集上的準確率以及精確率同時達到了最優(yōu),分別為0.960 4、0.971 0和0.972 7,取得了比較精準的預測。

1.2.2 DWTT概率區(qū)間模型構建

上一節(jié)建立DWTT的分類模型,它可以根據工藝參數精準地預測DWTT是否大于85。如果大于85,工藝設計人員仍關心其值可能落在的區(qū)間,這節(jié)用第一章提出的概率區(qū)間估計算法構建區(qū)DWTT概率區(qū)間估計模型,它能評估DWTT在不同精度下可能落在的區(qū)間。我們逐步地在DWTT數據上實施算法1。

圖4 AdaBoost 模型訓練

首先是比較常見的回歸模型在DWTT數據集上的表現,并用模型在訓練集和測試集上的r2來找出最優(yōu)模型,其結果如表2所示。

表2 常見機器學習回歸算法在DWTT數據集上的訓練結果

由表2可以驗證前文中提到的,沒有模型能夠達到同時在訓練集和測試集上達到比較高的準確率。并且可以看出,DecisionTree和ExtraTree 出現了過擬合現象。綜合比較,本文選用Bagging作為下步區(qū)間估計的最優(yōu)模型。

接下來對Bagging回歸做進一步參數優(yōu)化。BaggingRegressor是一種有放回的抽樣訓練的方法,每次從總樣本集中隨機地有放回抽取部分小樣本,用決策樹訓練便得到一個回歸模型,最后用取平均的方法得到最終的預測值,同上節(jié)AdaBoost一樣,影響B(tài)agging模型好壞的重要參數是弱分類器的個數(estimators)。我們采用BaggingRegressor算法訓練了弱分類器個數從1～300的分類模型,各個模型在訓練集和測試集上的Accuracy如圖5。

于是選取弱分類器的個數為50,此時模型已經在訓練集和測試集上達到了比較高的準確率。

接下來根據算法1的7～10步計算不同精度下的閾值,結果如表3所示。

圖5 BaggingRegressor模型訓練

表3 不同準確率下的閾值

我們以準確率為90%時模型的預測結果來展示模型表示的含義。

圖6中任意選取了30個DWTT真實值和其對應的模型預測值,其中黑色實線代表真實值,藍色線段組成的區(qū)間代表模型在該點的預測值,線段長最多為2·Threshold=5.6。從中可以看到,真實值絕大多數落在了預測的藍色區(qū)間中,90%的含義是歷史數據以不低于90%的概率落在預測的區(qū)間中。

圖6 準確率為90%時DWTT真實值和模型預測的區(qū)間值

同樣地,當準確率為80%時,模型預測的結果和真實值如圖7所示。

預測的區(qū)間長度為2·Threshold=3.6,和準確率為90%時相比,真實值不落在預測區(qū)間中的點的個數增加了,它損失了一定的準確度,但提升了一定的精度。同樣的解釋對于其他準確度,區(qū)間范圍越小,準確率越低。

圖7 準確率為80%時DWTT真實值和模型預測的區(qū)間值

1.3 其他工藝評估模型

同樣地,采用區(qū)間估計的辦法構建了頭部和尾部抗拉強度、屈服強度、屈強比、斷裂延伸率的評估模型,其r2和不同準確率下的Threshold如表4所示。

可以看到,單個的機器學習預測模型在性能上預測的準確率在訓練集上并不太好,這也是本文引入區(qū)間估計的目的。4～14列為對應不同精度的區(qū)間范圍值,實現了不同精度下的區(qū)間預測。

2 工藝設計模型

上一章中構建了工藝評估模型,它能根據影響對象鋼種產品性能的20項主要因素來評估產品工藝性能,這章構建一個逆向的模型,即通過目標工藝性能和產品規(guī)格、化學成分來設計最優(yōu)溫度參數,具體來說就是通過如下參數來設計最優(yōu)的6項溫度參數:出爐溫度、開軋溫度、終軋溫度、冷速、開冷溫度、終冷溫度,使用的方法是通過下節(jié)提出的自定義權重的模擬退火算法和第二章構建的評估模型。

表4 工藝評估模型總結

(1) 工藝性能(9項):DWTT和頭部尾部的抗拉強度、屈服強度、屈強比、斷裂延伸率。

(2) 產品規(guī)格(3項):中間坯厚度、目標厚度、目標寬度。

(3) 化學成分(11項):C、Mn、Si、Nb、Ti、V、Cu、B、Cr、Ni、Mo。

2.1 自定義權重的模擬退火算法

模擬退火算法是一種解決無約束問題最優(yōu)化的方法,它是通過賦予搜索過程一種時變且最終趨于零的概率突跳性,從而可有效避免陷入局部極小并最趨于全局最優(yōu)的串行結構的優(yōu)化算法[10],其流程如圖8所示。

圖8 模擬退火算法流程圖

對目標函數E做如下修改,用以解決多目標優(yōu)化的問題,假設E=(f1,f2,…,fn),以及一組自定義的權重λ=(λ1,λ2,…,λn),對給定x,定義:

E(x)=∑i(λi*fi(x))/S

(5)

式中:S=λ1+…+λn。設計模型中加入權重的意義在于設計人員可以通過調節(jié)權重來調節(jié)更加關注的性能。值得注意的是,算法的第 2,3 步隨機生成的x2是在歷史數據的最大值和最小值之間的隨機數,保證最后的結果有意義。

2.2 工藝設計模型的構建

用x1表示3項產品規(guī)格和11項化學成分,用x2表示6項溫度參數,同時y=(y1,…,y9)表示9項工藝性能,f1,f2,…,f9表示第二章中建立的9個模型,工藝設計的目標是對給定的x1和y尋找最優(yōu)的x2,使得fi(x1,x2)與yi盡可能地接近,也即尋找x2使得di=|fi(x1,x2)-yi| 盡可能地小,其中i取值從1～9。這樣就是一個多目標的優(yōu)化問題,對于給定的權重λ=(λ1,λ2,…,λn),定義:

(6)

這樣采用上一節(jié)的自定義權重的模擬退火算法便能夠找到最優(yōu)的溫度參數x2,使得預測值與真實值盡可能地接近。

在歷史數據集上做試驗的結果如下:隨機選取某條生產數據,其中包括3項產品規(guī)格、11 項化學成分和9項如下的工藝性能參數 97、660、639、582、564、888.3、88.1、48、48,分別取λ為(1,1,1,1,1,1,1,1,1)、(1,2,3,4,5,6,7,8,9)和(9,8,7,6,5,4,3,2,1),用此模型做試驗,溫度參數的真實值和3組預測值如表5。

由表5可以看到,對于不同的權重參數,模型尋找到了不同的冷卻方案,經對比,試驗一的結果和真實溫度參數非常接近,這符合同權重下設計值應與真實值一致的預期;試驗二、三根據側重的性能不同,設計了多樣的冷卻方案,這對工藝設計和新產品的開發(fā)具有一定的輔助意義,能夠在一定程度上降低新產品的研發(fā)成本。同時需要提高的地方是在模型中加入更多的約束條件,從而使其設計的溫度參數更有意義。

表5 工藝設計模型試驗結果

3 結語

本文首先以一種微合金高強鋼為例,建立了9個工藝評估模型,它能根據20個工藝參數預測不同精度下頭尾抗拉強度、屈服強度、屈強比、斷裂延伸率和DWTT所在的區(qū)間。它基于本文自主開發(fā)的概率區(qū)間估計算法,該算法綜合了機器學習的回歸模型和歷史數據的統(tǒng)計特征,能夠實現精準預測。同時本文建立了工藝設計模型,它能夠根據9項目標性能和3項產品規(guī)格以及11項化學成分設計最優(yōu)的6項溫度參數,使得產品在此工藝設計下的性能盡可能地接近目標性能。此模型基于本文自主開發(fā)的自定義權重模擬退火算法。

通過這兩類模型達到產品質量預報和優(yōu)化工藝設計的目的,從而能夠輔助工藝評定和新產品的工藝開發(fā)。據我們查文獻所知,這兩種方法都是開創(chuàng)性的。本文后續(xù)的工作是重點考慮參數意義,對模型中的優(yōu)化問題加入約束條件,使工藝設計模型中的冷卻參數更有意義。