基于多任務(wù)學(xué)習(xí)的煉鋼終點預(yù)測方法

程 進，王 堅

(同濟大學(xué) CIMS研究中心，上海 200092) (*通信作者電子郵箱1410tankchj@#edu.cn)

基于多任務(wù)學(xué)習(xí)的煉鋼終點預(yù)測方法

程 進*，王 堅

(同濟大學(xué) CIMS研究中心，上海 200092) (*通信作者電子郵箱1410tankchj@#edu.cn)

鋼水質(zhì)量通常根據(jù)終點命中率來判斷，但煉鋼過程影響因素眾多，機理分析難以準確預(yù)測終點溫度和含碳量，鑒于此，提出一種由數(shù)據(jù)驅(qū)動的多任務(wù)學(xué)習(xí)(MTL)煉鋼終點預(yù)測方法。首先，分析并提取煉鋼過程的輸入和輸出要素，結(jié)合煉鋼兩階段吹煉特點選擇多個子學(xué)習(xí)任務(wù)；其次，根據(jù)子任務(wù)與終點參數(shù)的相關(guān)性選擇合適的子任務(wù)，提升終點預(yù)測的準確度并構(gòu)建多任務(wù)學(xué)習(xí)模型，再對模型輸出結(jié)果進行二次優(yōu)化；最后，通過近端梯度算法對處理后的生產(chǎn)數(shù)據(jù)進行模型訓(xùn)練，獲取多任務(wù)學(xué)習(xí)模型的過程參數(shù)。以某鋼廠為案例，該方法相比神經(jīng)網(wǎng)絡(luò)在終點溫度12℃誤差范圍內(nèi)和終點含碳量0.01%誤差內(nèi)的準確度提升了10%，誤差范圍6℃和0.005%的預(yù)測準確度分別提升了11%和7%。實驗結(jié)果表明，多任務(wù)學(xué)習(xí)在實際中能夠提升終點預(yù)測的準確性。

產(chǎn)品質(zhì)量預(yù)測；煉鋼終點預(yù)測；數(shù)據(jù)驅(qū)動；多任務(wù)學(xué)習(xí)；近端梯度算法

0 引言

制造業(yè)全球化競爭日益加?。阂环矫妫瑐鹘y(tǒng)制造企業(yè)面臨本國和外國的雙重壓力，提高產(chǎn)品質(zhì)量刻不容緩；另一方面，綠色生產(chǎn)，節(jié)約成本又要求制造企業(yè)能夠有效提升成品率。產(chǎn)品質(zhì)量預(yù)測是在生產(chǎn)前通過對原材料、設(shè)備和相關(guān)因素的分析，提前對最終產(chǎn)品質(zhì)量進行評估的一種方法，通過此類預(yù)測企業(yè)可以根據(jù)結(jié)果相應(yīng)地調(diào)整原材料配比或生產(chǎn)設(shè)備，避免不必要的經(jīng)濟損失。尤其對鋼鐵企業(yè)來說，因為單批次產(chǎn)量大，質(zhì)量瑕疵往往造成大量的經(jīng)濟損失，產(chǎn)品質(zhì)量的準確預(yù)測就顯得至關(guān)重要。

煉鋼是鋼鐵生產(chǎn)的必需環(huán)節(jié)之一，尤其是轉(zhuǎn)爐煉鋼，單批次的鋼水產(chǎn)量達上百噸，提升鋼水質(zhì)量對鋼企降低成本、實現(xiàn)節(jié)能減排具有關(guān)鍵意義[1]。轉(zhuǎn)爐煉鋼是將鐵水、廢鋼、鐵合金以及一些副料通過高爐加熱，通過復(fù)雜的化學(xué)和物理反應(yīng)，將鐵水中的硫、磷等對鋼鐵性能產(chǎn)生負面影響的元素進行置換，同時根據(jù)后續(xù)工藝要求獲得符合產(chǎn)品性能條件的鋼水的過程。其中，氧氣轉(zhuǎn)爐由于單爐產(chǎn)量大，吹煉時間短、熱效率高、升溫速度快等優(yōu)點得到了廣泛的應(yīng)用[2]。

通常，鋼水質(zhì)量通過終點命中情況來判斷其否是達標。終點參數(shù)中終點碳含量和終點溫度是判斷鋼水符合產(chǎn)品質(zhì)量的重要指標。整個煉鋼過程也是要求出爐的鋼水盡可能滿足指標的規(guī)定范圍。

但煉鋼環(huán)節(jié)生產(chǎn)環(huán)境復(fù)雜、干擾因素多、生產(chǎn)多受企業(yè)實際情況影響，傳統(tǒng)的機理分析難以有效地預(yù)測鋼水的質(zhì)量，隨著數(shù)據(jù)科學(xué)的發(fā)展和成熟，以及企業(yè)對數(shù)據(jù)資源的重視，歷史生產(chǎn)數(shù)據(jù)可以反映出生產(chǎn)中外部條件變化對產(chǎn)品性能的影響，利用有效的手段充分發(fā)揮數(shù)據(jù)的作用，為有效提升轉(zhuǎn)爐終點參數(shù)預(yù)測提供了新角度。

1 數(shù)據(jù)驅(qū)動的轉(zhuǎn)爐終點預(yù)測

為了最大概率命中終點參數(shù)，機理模型需要利用靜態(tài)模型和動態(tài)模型對生產(chǎn)過程的各類輸入?yún)?shù)進行預(yù)測(圖1)。靜態(tài)模型主要以鐵水數(shù)據(jù)和終點指標為基準，根據(jù)熱平衡和物料平衡構(gòu)建數(shù)學(xué)模型，計算煉鋼過程中各類原料的理論加入量。動態(tài)模型則根據(jù)測量參數(shù)及理論指標結(jié)合計算原料增加量，并在此進行吹煉和測量，使之能盡可能達到終點指標。

圖1 機理模型驅(qū)動的轉(zhuǎn)爐煉鋼生產(chǎn)流程

為了根據(jù)實際生產(chǎn)環(huán)境進行合理的預(yù)測，部分學(xué)者開始研究基于數(shù)據(jù)的預(yù)測方法，數(shù)據(jù)模型主要分為增量模型、統(tǒng)計模型和智能模型。增量模型和統(tǒng)計模型是對歷史生產(chǎn)數(shù)據(jù)進行分析和修正，并根據(jù)當前生產(chǎn)任務(wù)從歷史數(shù)據(jù)案例中發(fā)現(xiàn)相似和最好的生產(chǎn)工藝知識作為推薦[3]。王心哲等[4]利用因果關(guān)系分析對案例屬性進行確認，提升案例推理對轉(zhuǎn)爐靜態(tài)控制模型預(yù)測的有效性，袁平等[5]在案例推理基礎(chǔ)上加入增量補償，提高終點預(yù)報的精度，但案例推理的準確度受限于案例庫規(guī)模，且難以對案例知識重現(xiàn)。隨著人工智能的發(fā)展，大量學(xué)者開始將終點參數(shù)預(yù)測與之相結(jié)合，其中神經(jīng)網(wǎng)絡(luò)模型最為突出。黃金俠等[6]和付佳等[7]結(jié)合靜態(tài)模型，計算部分輸入?yún)?shù)的理論結(jié)果，并以實際終點參數(shù)作為輸出，提升預(yù)測的精度。柴天佑等[8]和張輝宜等[9]則將徑向基神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)用于終點參數(shù)預(yù)測。Han等[10]利用反向傳播神經(jīng)網(wǎng)絡(luò)(Back Propagation Neural Network, BPNN)改進后的極端學(xué)習(xí)機用于連續(xù)時間的終點預(yù)測，并利用膜進化算法減小模型的過擬合問題。趙曉東等[2]根據(jù)耦合多變系統(tǒng)原理，利用多輸入輸出神經(jīng)網(wǎng)絡(luò)進行終點參數(shù)預(yù)報。此外，王安娜等[1]將粒子群算法用于BPNN權(quán)值計算，提高預(yù)測速度和精度，馮明霞[11]通過回阻抗算法改進BPNN權(quán)值計算，提高學(xué)習(xí)收斂速度。

但以上數(shù)據(jù)驅(qū)動的終點預(yù)測面臨同樣的問題，煉鋼企業(yè)雖然擁有大量的煉鋼歷史數(shù)據(jù)，同時也包含了大量的可變因素，如原料參數(shù)、設(shè)備、工作小組等，這些因素往往會影響工藝過程，使終點參數(shù)造成較大的偏差。為了提高預(yù)測的精度和體現(xiàn)再現(xiàn)性原理，在數(shù)據(jù)處理階段往往需要對離散屬性進行篩選，保證條件和工藝操作的穩(wěn)定，以獲取相同的冶煉效果(圖2)[9]。最常用的篩選方法是根據(jù)相同鋼種的生產(chǎn)數(shù)據(jù)來預(yù)測終點參數(shù)。鋼企在生產(chǎn)計劃以訂單需求進行編排，造成了雖然歷史生產(chǎn)數(shù)據(jù)總量很大，但訓(xùn)練模型可用的樣本卻不多的問題。而該問題也導(dǎo)致了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練欠擬合、預(yù)測結(jié)果不穩(wěn)定等現(xiàn)象。

圖2 終點參數(shù)預(yù)測神經(jīng)網(wǎng)絡(luò)訓(xùn)練流程

基于此，本文提出了一種基于多任務(wù)學(xué)習(xí)的煉鋼終點參數(shù)預(yù)測方法。將終點溫度和終點碳含量作為主任務(wù)，根據(jù)煉鋼兩階段吹煉特點選擇多個子學(xué)習(xí)任務(wù)并計算與主任務(wù)的相關(guān)度，選擇相關(guān)度相對較大的預(yù)測任務(wù)同時與主任務(wù)作為多任務(wù)學(xué)習(xí)的輸出，提升對主任務(wù)的預(yù)測能力，最后利用子任務(wù)預(yù)測結(jié)果二次優(yōu)化主任務(wù)的預(yù)測精度，該方法可以有效改善在訓(xùn)練樣本欠缺的情況下神經(jīng)網(wǎng)絡(luò)的訓(xùn)練精度，同時提升對終點參數(shù)的預(yù)測能力。

2 多任務(wù)學(xué)習(xí)

多任務(wù)學(xué)習(xí)(Multi-Task Learning, MTL)是利用歸納轉(zhuǎn)移機理，對訓(xùn)練樣本選取多個訓(xùn)練目標，根據(jù)目標間特定的相關(guān)信息來提升學(xué)習(xí)系統(tǒng)的泛化性能力的方法[12]。與傳統(tǒng)機器學(xué)習(xí)中的單任務(wù)學(xué)習(xí)(Single-Task Learning, STL)不同，MTL充分利用了多個任務(wù)之間的相關(guān)信息來提升任務(wù)之間的可識別度或預(yù)測能力。傳統(tǒng)的STL模型雖然可以對樣本進行準確的分類，但由于訓(xùn)練樣本的數(shù)量有限，導(dǎo)致部分數(shù)據(jù)特征被忽視從而引起模型欠擬合，在實際的應(yīng)用中不能獲得較好的效果。MTL通過放松部分訓(xùn)練樣本與主任務(wù)之間的關(guān)系，同時相關(guān)任務(wù)利用潛在數(shù)據(jù)特征，提升模型訓(xùn)練效果，從而實現(xiàn)模型的泛化能力。目前，MTL主要解決圖像識別、文本識別等相關(guān)分類問題。

與單任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)(Single-Task Learning Neural Network, STLNN)相比(圖3)[12]，多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)(Multi-Task Learning Neural Network, MTLNN)采用多個任務(wù)同一隱層的方式，每個隱層的輸出將作為多個任務(wù)輸入。MTLNN通過多任務(wù)共享隱層的機制，可以有效地提取任務(wù)之間的共同信息，克服由于訓(xùn)練樣本不足而導(dǎo)致的網(wǎng)絡(luò)訓(xùn)練不足，但這種特性導(dǎo)致MTLNN的預(yù)測性能依賴于主任務(wù)和子任務(wù)之間的相關(guān)性，若主任務(wù)和子任務(wù)之間相互獨立，網(wǎng)絡(luò)性能不僅不能提升，反而加大了訓(xùn)練難度，甚至可能影響預(yù)測能力。

圖3 基于神經(jīng)網(wǎng)絡(luò)的STL與MTL對比

3 轉(zhuǎn)爐終點參數(shù)預(yù)測模型

轉(zhuǎn)爐煉鋼中靜態(tài)模型通常確定了原料加入量的大致范圍，鋼企在配置后通常已經(jīng)對鐵水量(各類元素含量)、副原料量(白云石、石灰、鎂球)、廢鋼量(廢鋼種類)、初始礦石量等參數(shù)進行了確定。一次吹煉結(jié)束后，根據(jù)鋼水溫度和碳含量和終點指標對比并利用動態(tài)模型預(yù)測原料補加量，這些量包括了補吹氧氣量、礦石加入量、冷卻劑等，該類變量可以作為子任務(wù)。二次吹煉的終點參數(shù)作為預(yù)測對象和MTL中的主任務(wù)。

3.1 任務(wù)相關(guān)性分析

多任務(wù)學(xué)習(xí)模型構(gòu)建前，首先需要尋找主任務(wù)和與之相關(guān)的子任務(wù)。通常，多任務(wù)學(xué)習(xí)主任務(wù)與其相關(guān)任務(wù)要具有相同的輸入變量，在確定了相關(guān)任務(wù)后，從中選擇相關(guān)度較大的任務(wù)作為子任務(wù)為模型提供預(yù)測參數(shù)。

(1)

表1 終點溫度的主任務(wù)與子任務(wù)相關(guān)系數(shù)

3.2 多任務(wù)神經(jīng)網(wǎng)絡(luò)模型

人工神經(jīng)網(wǎng)絡(luò)屬于人工智能中一種復(fù)雜的網(wǎng)絡(luò)模型，通過模擬人腦中神經(jīng)元之間的信息傳遞過程實現(xiàn)對不同的信息反映并提供不同的行為方式。不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可以用于分類、擬合或預(yù)測，其中BPNN由于對復(fù)雜非線性具有較強的映射能力，在對內(nèi)在復(fù)雜問題的求解上具有優(yōu)勢。轉(zhuǎn)爐煉鋼過程雖然具有大量的機理模型對終點參數(shù)進行預(yù)測，但由于生產(chǎn)環(huán)境和設(shè)備等不穩(wěn)定因素的影響其預(yù)測結(jié)果并不理想，由于神經(jīng)網(wǎng)絡(luò)具有較強的魯棒性可以有效減小不良因素對結(jié)果的影響。根據(jù)BPNN結(jié)構(gòu)構(gòu)建轉(zhuǎn)爐終點溫度預(yù)測多任務(wù)神經(jīng)網(wǎng)絡(luò)模型。

神經(jīng)網(wǎng)絡(luò)權(quán)值矩陣：

W2∈R3×(q+1)

權(quán)值矩陣中除了輸入?yún)?shù)權(quán)值外還加入一維常系數(shù)權(quán)值向量。

圖4中d表示輸入?yún)?shù)的數(shù)量，輸入?yún)?shù)為煉鋼實際生產(chǎn)中實測的原料量、配比和相關(guān)記錄數(shù)據(jù)。q表示神經(jīng)網(wǎng)絡(luò)隱層數(shù)量，為簡單說明問題本文采用單隱層的BPNN結(jié)構(gòu)。輸出參數(shù)則分為主任務(wù)和子任務(wù)，主任務(wù)為終點溫度，子任務(wù)為總吹氧量和礦石補加量。

圖4 基于MTL的終點預(yù)測神經(jīng)網(wǎng)絡(luò)模型

隱層網(wǎng)絡(luò)結(jié)構(gòu)：

H=W1X

(2)

X={x1,x2,…,xN}，xi=(xi1,xi2,…,xid,b1)T，b1為常數(shù),H∈Rq×N。

隱層網(wǎng)絡(luò)激活函數(shù)選擇雙曲正切函數(shù)：

(3)

預(yù)測輸出表示為：

(4)

3.3 主任務(wù)預(yù)測值優(yōu)化

為了提高預(yù)測精度，減小預(yù)測誤差，充分利用多任務(wù)神經(jīng)網(wǎng)絡(luò)輸出之間的相關(guān)性，通過多任務(wù)的改進聯(lián)合概率預(yù)測主任務(wù)的誤差變化正負和絕對值大小，從而達到對主任務(wù)的預(yù)測值優(yōu)化的作用。

優(yōu)化后的預(yù)測函數(shù)表示為：

(5)

(6)

(7)

(8)

(9)

其中：δsub表示每個子任務(wù)預(yù)測值與期望值的標準差，r(2)∈R1×2，表示主任務(wù)誤差與兩個子任務(wù)的相關(guān)系數(shù)向量。相關(guān)性越大，子任務(wù)預(yù)測值對主任務(wù)誤差優(yōu)化的作用越大。

4 多任務(wù)神經(jīng)網(wǎng)絡(luò)訓(xùn)練

神經(jīng)網(wǎng)絡(luò)的預(yù)測精度取決于網(wǎng)絡(luò)的結(jié)構(gòu)和神經(jīng)元的傳遞權(quán)值，對單任務(wù)神經(jīng)網(wǎng)絡(luò)而言，網(wǎng)絡(luò)中權(quán)值訓(xùn)練僅需要考慮過擬合問題，最優(yōu)權(quán)值表示為式(10):

(10)

其中：Γ(X,y,W)表示為訓(xùn)練集的經(jīng)驗損失函數(shù)，Ρ(W)為正則化項，用來避免網(wǎng)絡(luò)過擬合，λ>0為正則化參數(shù)。

多任務(wù)學(xué)習(xí)還需要考慮每個任務(wù)的經(jīng)驗損失函數(shù)在總經(jīng)驗損失函數(shù)中所占的比例問題，不同的比例決定了不同任務(wù)提供的共享信息的重要程度。本文中總經(jīng)驗損失函數(shù)函數(shù)定義為：

(11)

(12)

其中:Γ(X,y,W)是可微函數(shù)，Ρ(W)是一個閉的凸函數(shù)，可以利用近端梯度算法[13]求解該問題，近端梯度算法表示為:

Wk+1=Proxχk,p(Wk-χk▽Γ(X,y,Wk))

(13)

其中:χk表示梯度下降步長，利用近端算子Proxχk,p(·)將結(jié)果投影到p空間，χk也表示投影參數(shù)。χk的選擇決定了算法是否收斂，本文采用線搜索算法對χk求解[14]。其中判決收斂的函數(shù)被定義為:

(14)

根據(jù)上述內(nèi)容對多任務(wù)神經(jīng)網(wǎng)絡(luò)權(quán)值進行訓(xùn)練：

步驟1 初始化各類參數(shù)χk、β、λ、η、迭代次數(shù)S，確定隱層結(jié)構(gòu)和隱層數(shù)量。

步驟2 對權(quán)值矩陣W1、W2初始化,記作Wk，在[-1,1]隨機取值。

步驟3 對輸入?yún)?shù)和目標變量標準化，參數(shù)范圍約束在[-1,1]。

(15)

其中:xmax是每個輸出參數(shù)額定最大值組成的向量,xmin是每個輸出參數(shù)額定最小值組成的向量。

步驟5 將標準化后的輸入?yún)?shù)代入目標函數(shù)：

f(W)=Γ(X,y,W)+λ‖W‖2

(16)

求得預(yù)測誤差E，若E<η或者訓(xùn)練代數(shù)k=S，則跳入步驟9；否則k=k+1，進入步驟6。

步驟6 利用式(13)計算新的權(quán)值矩陣Wk+1，并將Wk+1代入到式(11)和式(14)。

步驟8 更新χk，讓χk+1=βχk，返回步驟5。

步驟9 結(jié)束訓(xùn)練，輸出最優(yōu)的權(quán)值矩陣W*。

5 實驗驗證

5.1 數(shù)據(jù)處理

實驗數(shù)據(jù)來自某鋼廠2012年下半年6個月的轉(zhuǎn)爐煉鋼生產(chǎn)記錄。生產(chǎn)記錄總共5 865爐次鋼水生產(chǎn)過程數(shù)據(jù)，其中包括了爐座信息、班組信息、鋼水計劃目標值、兩次吹煉的原料加入量信息、補吹信息、過程測量值以及鋼水最終的命中情況共659個屬性類。一方面，由于部分關(guān)鍵參數(shù)是通過人工記錄的，關(guān)鍵屬性值會存在缺失或錯誤如“0”值或空值；另一方面，不同類型鋼的煉鋼工藝會有區(qū)別，出于對企業(yè)知識產(chǎn)權(quán)的保護無法獲得詳細記錄，而這可能導(dǎo)致模型失真。鑒于以上情況，將缺失數(shù)據(jù)剔除并基于出鋼記號選擇生產(chǎn)記錄較多的鋼作為研究對象，并最終確定采用AP655K1類鋼的899爐次生產(chǎn)記錄。通過篩選得到輸出參數(shù)5項(表2)，22個參數(shù)作為輸入屬性(表3)。

5.2 模型選擇

首先計算終點參數(shù)與輸出參數(shù)之間的相關(guān)系數(shù)(表1和表4)，令γr=0.4，則總吹氧量和礦石補加量同時作為終點溫度和終點碳含量的子任務(wù)。以699爐次數(shù)據(jù)作為訓(xùn)練樣本集，以200爐次作為測試集。分別構(gòu)建以終點溫度和終點碳含量為主任務(wù)，總吹氧量和礦石補加量為子任務(wù)的本文MTL模型、MTLNN和STLNN模型。利用近端梯度算法訓(xùn)練以上三個模型的BPNN，其中χ0=4，β=0.5，λ=0.3，η=0.001，迭代次數(shù)為200次。本文采用遍歷的方式確定單隱層STLNN和MTLNN的最佳結(jié)構(gòu)，隱層神經(jīng)元數(shù)從3到30個，每種結(jié)構(gòu)重復(fù)100次并選取在訓(xùn)練樣本集上使式(16)最小的值(圖5)。其中：(a)為終點溫度模型計算的總經(jīng)驗損失函數(shù)值，兩個模型在隱層神經(jīng)元數(shù)為14時獲得最優(yōu)；(b)為終點碳含量模型的值，兩個模型在隱層神經(jīng)元數(shù)為17時最優(yōu)，min1和min2分別對應(yīng)STLNN和MTLNN最小總經(jīng)驗損失函數(shù)的解。

表2 輸出參數(shù)統(tǒng)計量

表3 輸入數(shù)據(jù)統(tǒng)計量

表4 終點碳含量的主任務(wù)與子任務(wù)相關(guān)系數(shù)

圖5 MTLNN和STLNN模型訓(xùn)練結(jié)果

5.3MIV分析

平均影響值(MeanImpactValue,MIV)分析用于研究神經(jīng)網(wǎng)絡(luò)中輸入變量對輸出變量的影響程度，本文利用該方法來識別STLNN和MTLNN模型中各輸入屬性對終點參數(shù)的影響。首先選取一個輸入屬性，將其取值分別增加10%和減少10%，生成兩個新樣本集，其次，將新樣本集分別代入訓(xùn)練好的STLNN和MTLNN模型中再次計算預(yù)測結(jié)果，最后，求兩個新樣本集預(yù)測結(jié)果平均差值絕對值。通過此步驟依次計算22個輸入屬性對終點溫度的影響(圖6)。

圖6 MTLNN和STLNN模型的MIV分析

22個輸入?yún)?shù)依次對應(yīng)表3，MIV值越大表示該屬性相對其他輸入?yún)?shù)對終點溫度的預(yù)測影響程度越大，兩個模型中錳含量、鐵水溫度和抑制劑量均為影響程度前3的屬性，之后MTLNN模型中廢鐵總量、鐵水量和石灰量均高于其他屬性0.025以上，但STLNN模型C類廢鋼量和D類廢鋼量對模型的影響程度也依然很高，5個屬性的相對MIV值在0.6～0.7，表明了兩個模型對終點溫度預(yù)測時所參考的輸入?yún)?shù)權(quán)重不同，而該特點將影響模型對新樣本的適應(yīng)度，即模型的泛化能力。

5.4 模型對比

將本文MTL模型、MTLNN和STLNN模型應(yīng)用到測試數(shù)據(jù)中，驗證模型對未知輸入數(shù)據(jù)的預(yù)測準確度。

圖7 三種方法對終點溫度和碳含量的預(yù)測結(jié)果比較

圖8表示三種方法的終點碳含量預(yù)測值與實際鋼水碳含量的測量值的絕對誤差波動范圍。從總體上看本文MTL模型的預(yù)測誤差波動幅度要小于MTLNN和STLNN模型。針對訓(xùn)練數(shù)據(jù)集(Training)：本文MTL模型的預(yù)測誤差波動幅度和MTLNN模型近似，在[-0.034,0.023]區(qū)間內(nèi)；STLNN模型誤差較大，在[-0.033,0.039]區(qū)間內(nèi)，負絕對誤差比本文MTL模型低了0.001，但正絕對誤差高出0.016。在測試數(shù)據(jù)集(Testing)上：本文MTL模型比MTLNN模型正絕對誤差低0.006，負絕對誤差低0.004；同時本文MTL模型比STLNN模型正絕對誤差低0.014，負絕對誤差低0.007?；贛TL模型的絕對誤差波動區(qū)間小于STL模型，意味著MTL模型具有相對更準確的預(yù)測能力。本文MTL模型與MTLNN模型相比，對訓(xùn)練數(shù)據(jù)集的預(yù)測波動近似，主要由于對預(yù)測值進行優(yōu)化中需要考慮誤差正負問題，而部分點的誤差正負概率通常不會極端表現(xiàn)為負誤差或正誤差，所以在優(yōu)化中不僅會縮小誤差，同時也有可能增大誤差，但在測試數(shù)據(jù)集上誤差范圍縮小了0.01，表明本文MTL模型具有更好的泛化能力，即實際的預(yù)測能力。

表5 終點溫度預(yù)測和終點碳含量預(yù)測對比 %

圖8 三種方法在終點碳含量預(yù)測中的誤差線對比

6 結(jié)語

針對鋼水質(zhì)量預(yù)測問題，本文提出了一種基于多任務(wù)學(xué)習(xí)的煉鋼終點預(yù)測方法，該方法與傳統(tǒng)數(shù)據(jù)驅(qū)動方法相比可以解決由于樣本數(shù)量不足導(dǎo)致模型預(yù)測精度不足和泛化能力弱的問題。該方法主要特點在于利用多個子任務(wù)優(yōu)化模型對主任務(wù)的學(xué)習(xí)能力，同時協(xié)助優(yōu)化主任務(wù)。通過實際數(shù)據(jù)驗證，該方法比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)在終點溫度12℃誤差范圍內(nèi)和終點含碳量0.01%誤差內(nèi)的預(yù)測準確度提升了10%，誤差范圍6℃和0.005%的預(yù)測準確度分別提升了11%和7%，同時表現(xiàn)出了較強的泛化能力。

本文只考慮了在單一鋼種的情況下利用多任務(wù)學(xué)習(xí)方法進行預(yù)測，下一步工作將考慮更多結(jié)合離散屬性，增加模型對多鋼種的終點參數(shù)預(yù)測能力。

)

[1] 王安娜,陶子玉,姜茂發(fā),等.基于PSO和BP網(wǎng)絡(luò)的LF爐鋼水溫度智能預(yù)測[J].控制與決策,2006,21(7):814-816.(WANGAN,TAOZY,JIANGMF,etal.IntelligencetemperaturepredictionofmoltensteelinLFbasedonPSOcombinedwithBPneuralnetwork[J].ControlandDecision, 2006, 21(7): 814-816.)

[2] 趙曉東,徐生林,楊成忠.轉(zhuǎn)爐煉鋼多變量神經(jīng)網(wǎng)絡(luò)預(yù)報模型[J].化工學(xué)報,2010,61(8):2111-2115.(ZHAOXD,XUSL,YANGCZ.MultivariableneuralnetworkpredictivemodelforBOFsteelmaking[J].JournalofChemicalIndustryandEngineering(China), 2010, 61(8): 2111-2115.)

[3] 薄洪光,劉曉冰,馬躍,等.基于粗糙集的鋼鐵行業(yè)工藝知識發(fā)現(xiàn)方法[J].計算機集成制造系統(tǒng),2009,15(1):135-141.(BOHG,LIUXB,MAY,etal.Roughsetbasedprocessknowledgediscoveryapproachinironandsteelindustry[J].ComputerIntegratedManufacturingSystems, 2009, 15(1): 135-141.)

[4] 王心哲,韓敏.基于因果關(guān)系的CBR模型用于轉(zhuǎn)爐煉鋼靜態(tài)控制[J].大連理工大學(xué)學(xué)報,2011,51(4):593-598.(WANGXZ,HANM.Causality-basedCBRmodelforstaticcontrolofconvertersteelmaking[J].JournalofDalianUniversityofTechnology, 2011, 51(4): 593-598.)

[5] 袁平,王福利,毛志忠.基于案例推理的電弧爐終點預(yù)報[J].東北大學(xué)學(xué)報(自然科學(xué)版),2011,32(12):1673-1676.(YUANP,WANGFL,MAOZZ.CBRbasedendpointpredictionofEAF[J].JournalofNortheasternUniversity(NaturalScience), 2011, 32(12): 1673-1676.)

[6] 黃金俠,金寧德.轉(zhuǎn)爐冶煉終點靜態(tài)控制預(yù)測模型[J].煉鋼,2006,22(1):45-48.(HUANGJX,JINND.Staticcontrolpredictivemodelforconverterrefiningendpoint[J].Steelmaking, 2006, 22(1): 45-48.)

[7] 付佳,陶百生,陳春雨,等.基于BP神經(jīng)網(wǎng)絡(luò)的轉(zhuǎn)爐供氧模型研究[J].冶金自動化,2014,38(4):11-15.(FUJ,TAOBS,CHENCY,etal.ResearchonoxygenmodelforBOFbasedonBPneuralnetwork[J].MetallurgicalIndustryAutomation, 2014, 38(4): 11-15.)

[8] 柴天佑,謝書明，杜斌，等.基于RBF神經(jīng)網(wǎng)絡(luò)的轉(zhuǎn)爐煉鋼終點預(yù)報[J].中國有色金屬學(xué)報,1999,9(4):868-872.(CHAITY,XIESM,DUB,etal.EndpointpredictionofbasicoxygenfurnacesteelmakingbasedonRBFneuralnetwork[J].TheChineseJournalofNonferrousMetals, 1999, 9(4): 68-872.)

[9] 張輝宜,周奇龍,袁志祥,等.樣本自選擇回歸分析算法在轉(zhuǎn)爐煉鋼中的應(yīng)用[J].鋼鐵研究學(xué)報,2011,23(12):5-8.(ZHANGHY,ZHOUQL,YUANZX,etal.Applicationoftheregressionalgorithmbasedonsample-self-selectioninBOFsteelmaking[J].JournalofIronandSteelResearch, 2011, 23(12): 5-8.)

[10]HANM,LIUC.Endpointpredictionmodelforbasicoxygenfurnacesteel-makingbasedonmembranealgorithmevolvingextremelearningmachine[J].AppliedSoftComputing, 2014, 19(1): 430-437.

[11] 馮明霞,鄒宗樹,李強.應(yīng)用改進的神經(jīng)網(wǎng)絡(luò)模型預(yù)報轉(zhuǎn)爐冶煉終點[J].煉鋼,2006,22(1):40-44.(FENGMX,ZOUZS,LIQ.Heatendpointpredictionofcombinedblownconverterbyimprovedartificialneuralnetworkmodel[J].Steelmaking, 2006, 22(1): 40-44.)

[12]CARUANAR.Multitasklearning[J].MachineLearning, 1997, 28(1): 41-75.

[13]ROCKAFELLARRT.Monotoneoperatorsandtheproximalpointalgorithm[J].SIAMJournalonControlandOptimization, 1976, 14(5): 877-898.

[14]LUOZQ,YUW.Anintroductiontoconvexoptimizationforcommunicationsandsignalprocessing[J].IEEEJournalonSelectedAreasinCommunications, 2006, 24(8): 1426-1438.

ThisworkispartiallysupportedbytheNationalKeyTechnologyR&DProgramofChina(2015BAF22B00).

CHENG Jin, born in 1989, Ph. D. candidate. His research interests include machine learning, computer integrated manufacturing.

WANG Jian, born in 1961, Ph. D., professor. His research interests include enterprise informatization, networked manufacturing and system integration.

Endpoint prediction method for steelmaking based on multi-task learning

CHENG Jin*, WANG Jian

(CIMSResearchCenter,TongjiUniversity,Shanghai200092,China)

The quality of the molten steel is usually judged by the hit rate of the endpoint. However, there are many influencing factors in the steelmaking process, and it is difficult to accurately predict the endpoint temperature and carbon content. In view of this, a data-driven Multi-Task Learning (MTL) steelmaking endpoint prediction method was proposed. Firstly, the input and output factors of steelmaking process were analyzed and extracted, and a number of sub-learning tasks were selected to combine the two-stage blowing characteristics of steelmaking. Secondly, according to the relativity between the sub-tasks and the endpoint parameters, the appropriate subtasks were selected to improve the accuracy of the endpoint prediction, and the multi-task learning model was constructed, and the model output was optimized twice. Finally, the process parameters of the multitask learning model were obtained by model training of the processed production data through the proximal gradient algorithm. In the case of a steel plant, compared with neural network, the prediction accuracy of the method proposed increased 10% when endpoint temperature error was less than 12℃ and carbon content error was less than 0.01%. The prediction accuracy increased by 11% and 7% respectively with the error range less than 6℃ and 0.005%. The experimental results show that multi-task learning can improve the accuracy of endpoint prediction in practice.

product quality prediction; endpoint prediction for steelmaking; data driven; Multi-Task Learning (MTL); proximal gradient algorithm

2016- 08- 24;

2016- 10- 24。

國家科技支撐計劃資助項目(2015BAF22B00)。

程進(1989—)，男，上海人，博士研究生，主要研究方向：機器學(xué)習(xí)、計算機集成制造； 王堅(1961—)，男，山東淄博人，教授，博士，主要研究方向：企業(yè)信息化、網(wǎng)絡(luò)化制造與系統(tǒng)集成。

1001- 9081(2017)03- 0889- 07

10.11772/j.issn.1001- 9081.2017.03.889

TP273+.5

A