趙瀟雅,郜志英,周曉敏,宋寅虎
(北京科技大學(xué) 機械工程學(xué)院,北京 100083)
隨著“工業(yè)4.0”和“中國制造2025”等國家戰(zhàn)略[1]的提出,大數(shù)據(jù)對傳統(tǒng)工業(yè)技術(shù)帶來了革命性的挑戰(zhàn)和顛覆性的創(chuàng)新,而5 G時代的到來,更是對工業(yè)物聯(lián)網(wǎng)產(chǎn)生的海量大數(shù)據(jù)質(zhì)量監(jiān)控與分析提出了更高層次的精準性和時效性要求[2-3],同時深度學(xué)習(xí)算法和工業(yè)人工智能使對多場多態(tài)海量數(shù)據(jù)信息進行特征提取與信息挖掘成為可能。目前數(shù)據(jù)處理面臨的三大挑戰(zhàn)[4]是錯誤的數(shù)據(jù)導(dǎo)致決策錯誤,數(shù)據(jù)不能直接重構(gòu)現(xiàn)場結(jié)果,將數(shù)據(jù)轉(zhuǎn)化為有用的知識和決策。
板帶鋼作為各種工業(yè)產(chǎn)品的原材料,在工業(yè)生產(chǎn)中起著舉足輕重的作用,對板帶質(zhì)量要求的提高也成了競相研究的熱點。我國的板帶鋼產(chǎn)業(yè)正面臨著向智能制造轉(zhuǎn)型的重大需求,板帶鋼生產(chǎn)過程中已經(jīng)產(chǎn)生并積累了大量數(shù)據(jù),在積累的工業(yè)大數(shù)據(jù)中,時間序列數(shù)據(jù)是最基本和最普遍的數(shù)據(jù)形式,因此對基于采樣時間點的時序數(shù)據(jù)的分析挖掘,能夠解決工程應(yīng)用中的實際問題。在冷連軋過程中,由于軋制過程數(shù)據(jù)為多源數(shù)據(jù)采集系統(tǒng)采集到的多特征數(shù)據(jù),存在采樣頻率不一致的問題,故需對數(shù)據(jù)進行頻率協(xié)同,建立一一對應(yīng)的完整可用的樣本空間。針對離散樣本的擴充問題,可將離散數(shù)據(jù)轉(zhuǎn)化為連續(xù)函數(shù),再以相同的步長讀取數(shù)據(jù)。Ramsay等[5-7]提出了函數(shù)型數(shù)據(jù)分析方法,給出了完整的理論框架和分析計算方法,定義其本質(zhì)是將數(shù)據(jù)看作整體,而不是離散的采樣點。黎敏等[8]引入函數(shù)型數(shù)據(jù)分析方法將三維數(shù)據(jù)中的每個變量沿時間方向進行函數(shù)擬合,從而將三維離散數(shù)據(jù)矩陣轉(zhuǎn)化為二維函數(shù)矩陣。并對各個變量曲線求取二階導(dǎo)數(shù),消除非平穩(wěn)生產(chǎn)狀態(tài)所導(dǎo)致的均值波動現(xiàn)象,增加建模的準確性。徐鋼等[9]根據(jù)熔池反應(yīng)所處的不同階段,利用函數(shù)型數(shù)據(jù)分析方法建立吹煉前期和吹煉后期的函數(shù)型預(yù)測模型。
軋機顫振是影響板帶質(zhì)量最主要的原因之一,近年來國內(nèi)外學(xué)者們[10-12]針對軋機顫振的建模與機理進行了一系列研究,分析得到了軋機顫振模型及影響軋機顫振的相關(guān)參數(shù)[13]。但影響顫振的相關(guān)因素較多,在工程實際應(yīng)用中難以調(diào)控每一個參數(shù),故需進一步篩選出與顫振相關(guān)性較強的參數(shù)。同時特征選擇[14]可以減少輸入數(shù)據(jù)的維度而減少模型復(fù)雜度,以篩選出對預(yù)測結(jié)果影響較大的特征。
由于生產(chǎn)過程的復(fù)雜性,物理模型的建立會引起明顯的誤差,機器學(xué)習(xí)經(jīng)過特征提取和訓(xùn)練過程,可揭示輸入和輸出之間隱藏和模糊的相關(guān)性。神經(jīng)網(wǎng)絡(luò)可自動學(xué)習(xí)提取有用的特征,而不是由人工設(shè)定。因此,當數(shù)據(jù)豐富時,深度學(xué)習(xí)比傳統(tǒng)的機器學(xué)習(xí)方法獲得更好的性能。國內(nèi)外學(xué)者利用多種神經(jīng)網(wǎng)絡(luò)對顫振等故障進行了智能檢測,Liu等[15]提出了基于反向傳播神經(jīng)網(wǎng)絡(luò) (back propagation neural network,BPNN) 與遺傳算法 (genetic algorithm,GA) 的顫振狀態(tài)辨識模型,即BPNN-GA模型。謝鋒云等[16]提出基于廣義區(qū)間理論的廣義BP神經(jīng)網(wǎng)絡(luò)切削顫振識別模型,利用廣義區(qū)間不確定性分析方法將測量不確定性量轉(zhuǎn)換為廣義區(qū)間量,并進行廣義區(qū)間形式的時頻特征提取,最后將廣義區(qū)間化的特征量代入廣義BP神經(jīng)網(wǎng)絡(luò)識別模型中,對切削加工狀態(tài)進行識別。Kumar等[17]將輸入信號的均方差作為衡量顫振的指數(shù)參數(shù),通過這些輸入和輸出參數(shù),使用自適應(yīng)神經(jīng)模糊推理系統(tǒng)訓(xùn)練顫振模型。劉陽等[18]基于長短時記憶 (long short-term memory,LSTM) 循環(huán)神經(jīng)網(wǎng)絡(luò)建立軋機顫振能量值的智能預(yù)報模型,利用軋件規(guī)格、軋輥狀況、軋制工藝以及軋機振動狀態(tài)的歷史信息數(shù)據(jù),對最為典型和振動頻繁的第五機架振動能量值加以預(yù)測。
本文針對冷連軋生產(chǎn)過程中的顫振問題,進行多源異構(gòu)時序數(shù)據(jù)的分析與信息挖掘,改善工業(yè)時序數(shù)據(jù)來源廣泛、價值密度低、動態(tài)性強的缺陷,找到數(shù)據(jù)的統(tǒng)計規(guī)律以及不同物理特性的數(shù)據(jù)間的關(guān)聯(lián)性,從而建立顫振預(yù)測模型,以指導(dǎo)實際生產(chǎn)。
函數(shù)型數(shù)據(jù)分析方法將離散時間序列進行函數(shù)表達,即
yi,j,k=x(tk)+εi,j,k,k=1,2,…,K
(1)
式中:x(tk)為原始數(shù)據(jù)序列的函數(shù)在第k采樣點的函數(shù)值;εi,j,k為該點對應(yīng)的擬合誤差,代表觀測數(shù)據(jù)中擾動因素、誤差或其他外生因素;擬合后的yi,j序列可以表示為函數(shù)xi,j(t)。
函數(shù)型數(shù)據(jù)分析的一般步驟為:
步驟1用基函數(shù)平滑法對離散數(shù)據(jù)進行展開。
基函數(shù)平滑法本質(zhì)是將N個基函數(shù)線性組合,得到原始離散數(shù)據(jù)的函數(shù)表達,對于變量j,由Nj個基函數(shù)φj(t)=[φj,1(t),…,φj,Nj(t)]T的線性組合表示函數(shù)xi,j(t),公式表示為
(2)
式中:xi,j(t)為擬合函數(shù);ci,j=[ci,j,1,…,ci,j,Nj]T為系數(shù)向量。
(3)
(4)
步驟2添加懲罰項對擬合函數(shù)進行光滑
利用基函數(shù)平滑法對數(shù)據(jù)進行擬合時,擬合函數(shù)應(yīng)對原始離散數(shù)據(jù)的主要特征盡可能地進行表達,為了應(yīng)避免曲線過度擬合,導(dǎo)致曲線過度的波動或局部變化,引入粗糙度懲罰因子對曲線的擬合程度進行控制,使得離散數(shù)據(jù)的函數(shù)化表征更加合理。粗糙懲罰法是在基函數(shù)法的基礎(chǔ)上,通過增加懲罰項來對擬合曲線的曲率進行控制。
通常以二階導(dǎo)數(shù)平方的積分作為測度曲線的粗糙程度的懲罰項,即
(5)
由式(1)可知,擬合函數(shù)可寫成系數(shù)向量與基函數(shù)乘積的形式,將其代入式(5)得
(6)
步驟3采用最小二乘法計算系數(shù)向量
系數(shù)向量ci,j的估計采用最小二乘法,即最小化殘差平方和
(7)
式中:yi,j=(yi,j,1,…,yi,j,k,…,yi,j,K為原始數(shù)據(jù);λ為懲罰因子的系數(shù),平衡曲線擬合程度和曲線光滑程度。
定義ΦK×Nj為基函數(shù)矩陣在各觀測時間點上的取值,即
(8)
基于最小二乘法求解未知參數(shù)的方法,解得系數(shù)矩陣ci,j為
ci,j=(ΦTΦ+λR)-1ΦTyi,j
(9)
采用廣義交叉驗證方法(generalized cross-validation,GCV)求解懲罰系數(shù)λ的值,公式為
Sφ,λ=Φ(ΦTΦ+λR)-1ΦT
(10)
df(λ)=traceSφ,λ
(11)
(12)
式中:K為采樣點個數(shù);λ在一定實數(shù)范圍內(nèi)進行取值,當GCV(λ)的值最小時所對應(yīng)的λ值即為懲罰系數(shù)。
冷連軋生產(chǎn)過程數(shù)據(jù)采集系統(tǒng)采集到的數(shù)據(jù)主要包括振動數(shù)據(jù)采集系統(tǒng)采集到的振動能量數(shù)據(jù)、以及過程信息采集系統(tǒng)采集到的工藝參數(shù)數(shù)據(jù)。由于工業(yè)生產(chǎn)中采集到的多源異構(gòu)時序數(shù)據(jù)存在大體量、多源性、連續(xù)采樣、價值密度低等問題,故需對原始數(shù)據(jù)進行數(shù)據(jù)預(yù)處理,包括數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)清洗及時刻匹配,如圖1所示。
經(jīng)數(shù)據(jù)預(yù)處理可得,工藝參數(shù)數(shù)據(jù)采樣間隔為5~8 s,振動能量數(shù)據(jù)采樣間隔為0.2 s。同時,分析冷連軋過程中產(chǎn)生的BPC數(shù)據(jù)可知,一些變量隨著時間發(fā)生波動,具有函數(shù)性質(zhì)的特征,且變量與變量之間存在非線性關(guān)系,因此可采用函數(shù)型數(shù)據(jù)分析的方法對樣本進行擴充。
圖1 數(shù)據(jù)預(yù)處理步驟Fig.1 The steps of data preprocessing
軋制速度、軋制力等為非周期信號,因此選用含有多重節(jié)點的B-spline基函數(shù)作為擬合的基函數(shù)可更好實現(xiàn)地實現(xiàn)函數(shù)化的表達,且B-spline基函數(shù)有著很多優(yōu)良的性質(zhì),有利于更深層次的數(shù)據(jù)分析。本節(jié)的BPC數(shù)據(jù)擴充步驟如圖2所示。
圖2 函數(shù)型數(shù)據(jù)分析算法步驟Fig.2 The steps of functional data analysis algorithm
以軋機第五機架的帶鋼速度為例進行函數(shù)擬合和插值,如圖3所示。
由圖3可得,函數(shù)型數(shù)據(jù)分析對數(shù)據(jù)的函數(shù)表達有一定的光滑度要求,最小二乘法擬合的方法可通過在最小二乘法的擬合標準均方差中加入粗糙度懲罰項實現(xiàn)函數(shù)光滑甚至導(dǎo)數(shù)的光滑的性質(zhì),函數(shù)型數(shù)據(jù)擬合的在處理突變位置有更好的效果,曲線更平滑,故本文采用函數(shù)型數(shù)據(jù)分析的方法實現(xiàn)樣本的擴充。
由于軋制過程復(fù)雜,每一卷軋制的時長不一致,為便于觀測多卷數(shù)據(jù)的函數(shù)型擬合效果,對采樣時間進行歸一化處理
(13)
式中:tk為第k個采樣點時間;Tk為歸一化后第k個采樣點時間;N為每一卷軋制的總時長。
圖3 函數(shù)型數(shù)據(jù)擬合和插值效果對比圖Fig.3 Comparison chart of the effect of functional data fitting and interpolation
歸一化后,對部分鋼卷的五機架帶鋼速度、四機架后張力進行函數(shù)型擬合,擬合效果如圖4所示。
圖4 函數(shù)型數(shù)據(jù)擬合效果圖Fig.4 Fitting effect diagram of functional data analysis
特征選擇是利用一系列的規(guī)則,得到特征重要程度的相對關(guān)系,自動選擇出對分類過程最重要的特征子集的過程。機器學(xué)習(xí)過程中,特征選擇是非常重要的一步,一方面遺漏掉重要特征會導(dǎo)致模型擬合能力不足;另一方面冗余特征也可能會帶來額外的計算量導(dǎo)致訓(xùn)練時間過長,以及模型過擬合,對新樣本泛化能力不足等問題。因此只有選擇了合適的特征,模型的訓(xùn)練才能成功。
特征選擇模型分為過濾式、封裝式和嵌入式3類[19]。在特征選擇中,最適合在探索階段使用的就是過濾式的方法,包括方差閾值法和單變量選擇法。單變量特征選擇有多種特征選擇方法,本文采用基于樣本相關(guān)系數(shù)的SelectKBest算法[20]對特征進行選擇。
SelectKBest算法是一種統(tǒng)計測試方法,能夠?qū)γ恳粋€特征進行測試,衡量該特征和響應(yīng)變量之間的關(guān)系,得到每個特征的重要性得分,去除得分不高的特征。具體算法如下:
步驟1對特征集X=(x1,x2,…,xN)和因變量y分別計算每一列數(shù)據(jù)的均值和標準差。
步驟2計算每個特征量xi和因變量y之間的樣本相關(guān)系數(shù)r
(14)
步驟3檢驗正態(tài)假定下兩個變量之間的相關(guān)性,用統(tǒng)計量f表示
(15)
步驟4判定假設(shè)檢驗結(jié)果,用統(tǒng)計量p表示,一般以p<0.05為顯著,p<0.01為非常顯著。
步驟5比較每個特征量的f和p值的大小對特征進行選擇。
本文以頻繁發(fā)生顫振的第五機架為研究對象,以與顫振相關(guān)的工藝參數(shù)為特征量,振動能量值作為輸出值,制作訓(xùn)練模型的數(shù)據(jù)集。首先根據(jù)軋機顫振模型得到可能影響顫振的工藝參數(shù),如入口油膜厚度、出口油膜厚度、軋制速度、前后張力等。且五機架振動發(fā)生與四機架的振動狀態(tài)相關(guān),特征空間還應(yīng)包括四機架的相關(guān)信息。因此,初步確定樣本空間為包含15個工藝參數(shù)為輸入特征以及一個振動能量值作為輸出參數(shù)的數(shù)據(jù)集,每一卷數(shù)據(jù)為一個樣本,原始樣本空間如圖5所示。
圖5 原始樣本空間Fig.5 Original sample space
選定原始數(shù)據(jù)集后再進一步進行特征量的選?。簩τ谀P蛠碚f輸入減少,復(fù)雜度降低,學(xué)習(xí)的速度上升。而對于實際應(yīng)用來說,這15個特征對分類結(jié)果影響較大,實際發(fā)生振動時,從可行性上是不可能調(diào)節(jié)全部工藝參數(shù)的,這時候調(diào)節(jié)幾個重要的特征就可以改變振動的結(jié)果,從而達到抑振或者消除振動的目的。
對原始數(shù)據(jù)集進行SelectKBest特征選擇,統(tǒng)計量f和p的值如表1所示。
表1 各特征數(shù)據(jù)的統(tǒng)計量Tab.1 Statistics of each characteristic data
由表1可得,機架前速度、四機架軋制速度、五機架軋制速度、四機架帶鋼速度、五機架帶鋼速度、四機架后張力的f值均大于5 000,p值均約等于0。由此可得,這6個特征量與振動能量值具有很強的相關(guān)關(guān)系,故選取這6個特征量作為輸入特征,從而建立如圖6所示的樣本空間。
圖6 特征選擇后的樣本空間Fig.6 Sample space after feature selection
由于軋機顫振的發(fā)生有很強的時序性,與軋機的歷史狀態(tài)密切相關(guān),基于此特性,軋機顫振的預(yù)測可轉(zhuǎn)換為時間序列預(yù)測研究。而神經(jīng)網(wǎng)絡(luò)作為常用于處理序列問題的深度學(xué)習(xí)模型,可用于顫振的智能預(yù)測。因此,本文采用LSTM神經(jīng)網(wǎng)絡(luò)模型對顫振進行預(yù)測。
LSTM神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示,為單元狀態(tài)加門限的結(jié)構(gòu):
(1) 單元狀態(tài)——讓輸入向量沿時間軸向下流動,相當于一個傳送帶,傳送帶上的東西會隨著通過的重復(fù)模塊基于當時的輸入有所增減,如圖7(a) 所示,當前時刻單元狀態(tài)Ct計算公式為
(16)
式中,it,ft分別為輸入門、遺忘門的激活向量。
(2) 門限——在LSTM中由sigmoid函數(shù)、tanh函數(shù)和乘法加法控制的過程,包括遺忘門、輸入門、輸出門。
1) 遺忘門的結(jié)構(gòu)如圖7(b) 所示,其激活向量ft計算公式為
ft=σ(Wxfxt+Whfht-1+bf)
(17)
式中:x=(x1,x2,…,xT-1,xT)為輸入的時間序列;h=(h1,h2,…,hT-1,hT)為隱含層序列;σ為激活函數(shù),選取激活函數(shù)為sigmoid函數(shù);W為權(quán)重矩陣;b為偏置向量。
it=σ(Wxixi+Whiht-1+bi)
(18)
(19)
式中,f為激活函數(shù),選取激活函數(shù)為tanh函數(shù)。
3) 輸出門結(jié)構(gòu)如圖7(d) 所示,其激活向量ot及隱含層序列h的計算公式為
ot=σ(Wxoxt+Whoht-1+bo)
(20)
ht=otf(Ct)
(21)
圖7 LSTM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.7 LSTM neural network structure diagram
采用步長為4的LSTM神經(jīng)網(wǎng)絡(luò)模型,即用歷史4步的信息去預(yù)測未來第5步的輸出,如圖8所示。
圖8 步長為4的LSTM神經(jīng)網(wǎng)絡(luò)輸出步驟Fig.8 LSTM neural network output steps with a step size of 4
同時,采用Adam 一階優(yōu)化算法替代傳統(tǒng)隨機梯度下降算法,它能基于訓(xùn)練數(shù)據(jù)迭代地更新神經(jīng)網(wǎng)絡(luò)權(quán)重W和偏置向量n。
神經(jīng)網(wǎng)絡(luò)算法的基本流程如圖9所示。
圖9 LSTM神經(jīng)網(wǎng)絡(luò)算法流程圖Fig.9 LSTM neural network algorithm flow chart
選用已建立的樣本空間作為觀測數(shù)據(jù)進行模型的訓(xùn)練與測試,每一卷數(shù)據(jù)為一個樣本,其中每一卷數(shù)據(jù)的80%用于模型的訓(xùn)練,20%用于模型的測試。同時為突出LSTM神經(jīng)網(wǎng)絡(luò)預(yù)測效果,采用RBF神經(jīng)網(wǎng)絡(luò)模型和RNN神經(jīng)網(wǎng)絡(luò)模型進行對比分析。對10卷樣本進行訓(xùn)練并測試,部分預(yù)測效果如圖10所示,測試集均方誤差如表2所示。
由圖10(a)可得,在1 440 s處振動能量值出現(xiàn)峰值,在此處RBF模型的預(yù)測峰值與實際峰值產(chǎn)生時間不一致,RNN模型的預(yù)測峰值只有較小的突增,LSTM模型預(yù)測峰值接近實際峰值。由圖10(b)得LSTM模型相較于其他兩個模型,其測試集預(yù)測結(jié)果的變化趨勢與實際數(shù)據(jù)的變化趨勢更加一致。同時表2的計算結(jié)果也顯示LSTM神經(jīng)網(wǎng)絡(luò)模型測試集的均方誤差最小。
圖10 三種神經(jīng)網(wǎng)絡(luò)預(yù)測效果對比Fig.10 Comparison of three kinds of neural network prediction effects
這是由于軋機振動能量值不僅與多個相互耦合的物理量相關(guān),且與系統(tǒng)的歷史狀態(tài)相關(guān),而RBF神經(jīng)網(wǎng)絡(luò)模型只能學(xué)習(xí)到該時刻的信息,從而會使網(wǎng)絡(luò)學(xué)習(xí)到的信息不完整;RNN神經(jīng)網(wǎng)絡(luò)引入時間步長,允許信息持續(xù)存在,但其存在長時依賴問題,會產(chǎn)生梯度爆炸或梯度消失,影響預(yù)測精度;LSTM神經(jīng)網(wǎng)絡(luò)引入門的結(jié)構(gòu),使其具有長短期記憶功能,能在長時間的計算過程中,保留重要的信息,從而避免長時依賴問題。故針對冷連軋顫振問題,可采用LSTM神經(jīng)網(wǎng)絡(luò)模型進行顫振的智能預(yù)測。
表2 測試數(shù)據(jù)集的均方誤差Tab.2 Mean square error of the test data set
采用閾值法對軋機振動狀態(tài)進行識別,通過收集缺陷周期、厚度波動范圍等信息,經(jīng)過統(tǒng)計估計方法得到振動預(yù)警線(如圖11中虛線所示),當振動能量值低于預(yù)警線時,認為軋機系統(tǒng)未發(fā)生振動,記為0;當振動能量值超過預(yù)警線,認為軋機系統(tǒng)發(fā)生振動,記為1。選取四卷振動樣本對LSTM神經(jīng)網(wǎng)絡(luò)模型的預(yù)測效果進行驗證,如圖11所示,圖中模型預(yù)測峰值均超過振動預(yù)警線,繼續(xù)對10卷樣本進行訓(xùn)練并測試,其振動狀態(tài)的預(yù)測結(jié)果如表3所示,均與實際狀態(tài)一致,故說明LSTM神經(jīng)網(wǎng)絡(luò)模型能有效預(yù)測顫振的發(fā)生。
表3 五機架振動狀態(tài)Tab.3 Vibration state of 5th stand
圖11 LSTM神經(jīng)網(wǎng)絡(luò)訓(xùn)練集及測試集預(yù)測效果圖Fig.11 Neural network training set and test set prediction performance of vibrating roll
本文以某高速薄板帶五機架冷連軋機組為研究對象,針對冷連軋生產(chǎn)過程中的顫振問題,著眼于在工業(yè)數(shù)據(jù)驅(qū)動下,通過智能化解決“價值損失”和“決策優(yōu)化”的問題,實現(xiàn)顫振的智能預(yù)測。
(1) 采用函數(shù)型數(shù)據(jù)分析的方法可解決顫振時空大數(shù)據(jù)在樣本構(gòu)建和特征表征中的尺度差異問題,通過在最小二乘法的擬合標準均方差中加入粗糙懲罰項實現(xiàn)函數(shù)光滑甚至導(dǎo)數(shù)光滑,使其在處理突變處有更好的效果,增加樣本容量的同時提高樣本擴充的精度。
(2) 經(jīng)過SelectKBest特征選擇可得,機架前速度、四機架速度等6個特征量與五機架振動能量值具有較強的相關(guān)關(guān)系,采用這6個特征量作為輸入向量來預(yù)測五機架振動能量值,可避免其他特征量的干擾,建立精度更高的網(wǎng)絡(luò)模型。
(3) 基于LSTM神經(jīng)網(wǎng)絡(luò)建立預(yù)測模型對五機架振動能量值進行預(yù)測,并根據(jù)測試集的均方誤差與RBF、RNN神經(jīng)網(wǎng)絡(luò)模型進行比較,發(fā)現(xiàn)LSTM神經(jīng)網(wǎng)絡(luò)模型對于時序的預(yù)測具有較高的精度,同時采用閾值法驗證該模型能有效地預(yù)測顫振的發(fā)生。