特征工程和深度前饋網(wǎng)絡(luò)結(jié)合的刀具磨損預(yù)測(cè)

張超標(biāo)，孫延明

（1.華南理工大學(xué)工商管理學(xué)院，廣東 廣州 510641；2.廣州大學(xué)工商管理學(xué)院，廣東 廣州 510006）

1 引言

機(jī)械加工過程大多數(shù)是切削加工過程，刀具的磨損對(duì)該過程有重要的影響，當(dāng)?shù)毒吣p至報(bào)廢狀態(tài)卻未停止加工過程時(shí)，會(huì)破壞加工工件，甚至?xí)p壞機(jī)床，刀具是加工過程的重要資源。傳統(tǒng)的固定換刀模式已經(jīng)逐步演變成根據(jù)預(yù)測(cè)的刀具磨損進(jìn)行換刀的模式，然而預(yù)測(cè)磨損值或高或低，當(dāng)預(yù)測(cè)的刀具磨損值過高則可能出現(xiàn)刀具利用率低的情況，當(dāng)預(yù)測(cè)的刀具磨損值過低則可能出現(xiàn)加工質(zhì)量差的情況。能更精確地預(yù)測(cè)加工過程中刀具的磨損，不僅能提高刀具利用率和加工質(zhì)量，還能減少刀具帶來的直接成本和間接成本，此外，能減少安全事故和降低停機(jī)率。目前，刀具磨損預(yù)測(cè)的研究主要是基于數(shù)據(jù)驅(qū)動(dòng)的方法研究，其中主流的是特征工程和機(jī)器學(xué)習(xí)方法結(jié)合的研究，這方面的研究有：文獻(xiàn)[1]在特征提取和特征選擇的基礎(chǔ)上，提出一種多線性模型融合的方法，改進(jìn)了單個(gè)線性模型低準(zhǔn)確率的缺陷；文獻(xiàn)[2]遵循標(biāo)準(zhǔn)的特征工程步驟提取與刀具磨損相關(guān)的特征，在此基礎(chǔ)上從多個(gè)實(shí)驗(yàn)驗(yàn)證了AdaBoost集成的回歸樹的準(zhǔn)確性和適應(yīng)性比單回歸樹更強(qiáng)。文獻(xiàn)[3]通過特征提取和利用廣義回歸神經(jīng)網(wǎng)絡(luò)強(qiáng)大的學(xué)習(xí)能力，對(duì)刀具磨損預(yù)測(cè)偏差進(jìn)行了修正。這些研究雖然在預(yù)測(cè)準(zhǔn)確性和可靠性上已經(jīng)很高，但仍存在三方面的局限性：（1）對(duì)主軸電流、振動(dòng)信號(hào)、切削力信號(hào)等監(jiān)測(cè)信號(hào)進(jìn)行特征提取的過程中，僅依據(jù)專家的領(lǐng)域知識(shí)提取出只適用于某一種刀具相關(guān)的特征，無法應(yīng)用于更多種類的刀具；（2）特征選擇的過程主要是假設(shè)檢驗(yàn)，但此過程中錯(cuò)誤發(fā)現(xiàn)率（False Discovery Rate，F(xiàn)DR）缺乏有效的控制，選擇出來的特征與目標(biāo)磨損相關(guān)性不高；（3）對(duì)磨損的預(yù)測(cè)是對(duì)某一時(shí)間段的附加磨損量的預(yù)測(cè)，現(xiàn)有研究多數(shù)缺乏附加磨損量非負(fù)的約束。因此在其他研究的基礎(chǔ)上，提出了一個(gè)新的改進(jìn)傳統(tǒng)特征工程和Dropout深度前饋網(wǎng)絡(luò)結(jié)合的框架。

2 刀具磨損預(yù)測(cè)

刀具磨損量預(yù)測(cè)的整體框架，如圖1所示。離線訓(xùn)練過程使用歷史監(jiān)測(cè)數(shù)據(jù)，提取并選擇特征，所選特征用于優(yōu)化Dropout深度前饋網(wǎng)絡(luò)的參數(shù)。在線預(yù)測(cè)過程在訓(xùn)練好的模型基礎(chǔ)上，對(duì)實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)計(jì)算模型輸入特征，計(jì)算當(dāng)前刀具磨損量并進(jìn)行評(píng)估。因在線預(yù)測(cè)過程依賴于在線預(yù)測(cè)過程，故整個(gè)框架的核心是離散訓(xùn)練過程，本節(jié)將詳細(xì)介紹該過程。

圖1 刀具磨損預(yù)測(cè)整體框架Fig.1 The Overall Framework of Tool Wear Prognostic

2.1 刀具狀態(tài)監(jiān)測(cè)和特征提取

基于數(shù)據(jù)驅(qū)動(dòng)的刀具磨損預(yù)測(cè)是基于監(jiān)測(cè)刀具磨損相關(guān)的傳感器信號(hào)的刀具狀態(tài)監(jiān)測(cè)（Tool Condition Monitoring，TCM）框架，研究中所用的傳感器信號(hào)有切削力、振動(dòng)、聲波／超聲波、聲發(fā)射、溫度、主軸轉(zhuǎn)速／電流／功率、表面粗糙度、位移等[4]，出于成本和工程的考慮，在此使用切削力、振動(dòng)和聲發(fā)射測(cè)量傳感器信號(hào)。

圖2 包含多種時(shí)間序列類型的多個(gè)樣本Fig.2 Multiple Samples with Multiple Time Series Types

刀具狀態(tài)監(jiān)測(cè)下的某一特定時(shí)間段內(nèi)采集到的不同傳感器信號(hào)可以視為一個(gè)包含不同時(shí)間序列類型的樣本，每種時(shí)間序列類型對(duì)應(yīng)一種傳感器信號(hào)，如圖2所示。對(duì)于樣本i（i=1，2，…，m）和時(shí)間序列類型j（j=1，2，…，n），有時(shí)間序列：

式中：tl+1=tl+Δt（l=1，2，…，k）。

該映射刻畫了時(shí)間序列的一個(gè)屬性，例如，關(guān)于樣本i和時(shí)間序列類型j的平均值映射是：

對(duì)每種時(shí)間序列類型應(yīng)用多個(gè)這種類型的映射便提取出了關(guān)于該時(shí)間序列的特征，如果每種時(shí)間序列都是提取出p種特征，且刀具的元信息（即刀具的材質(zhì)、刀具直徑等屬性）有q種特征，那么最終提取出u=pn+q種特征。

現(xiàn)有研究提取的是與自身領(lǐng)域知識(shí)相關(guān)的一些專有特征，這種方法僅適用于特定的加工環(huán)境，當(dāng)加工環(huán)境（工件、刀具種類等）變化時(shí)提取的特征并不一定有效，更好的方法是提取更全面的特征。文獻(xiàn)[5]從時(shí)間序列中提取數(shù)千種特征解決時(shí)間序列分類問題。文獻(xiàn)[6]提出TSFRESH收集不同領(lǐng)域的特征用于改進(jìn)特征工程。此處對(duì)每種時(shí)間序列類型應(yīng)用前述映射各提取794種特征。

2.2 特征選擇

經(jīng)過特征提取步驟得到的特征為X1，X2，…，Xu，而目標(biāo)變量即刀具磨損變量為Y。傳統(tǒng)的特征選擇過程是為每個(gè)特征Xj實(shí)行統(tǒng)計(jì)檢驗(yàn)檢查如下的零假設(shè)和備擇假設(shè)：

由于目標(biāo)變量Y是連續(xù)變量，當(dāng)Xj是二元特征時(shí)，可以通過Kolmogorov-Smirnov檢驗(yàn)計(jì)算p值[7]；當(dāng)Xj是離散特征或者連續(xù)特征時(shí)，則可以采用Kendall等級(jí)檢驗(yàn)來計(jì)算p值[8]。比較選定的顯著性水平與p值來確定Xj與Y是否統(tǒng)計(jì)獨(dú)立。然而，這種方法存在缺陷，如果Xj是被錯(cuò)誤選擇的特征，說明應(yīng)該被接受卻被拒絕，犯這種錯(cuò)誤的概率會(huì)隨著被檢驗(yàn)的假設(shè)數(shù)量增加而變大，多重檢驗(yàn)中錯(cuò)誤拒絕在所有拒絕中的期望占比稱為錯(cuò)誤發(fā)現(xiàn)率[8]。錯(cuò)誤發(fā)現(xiàn)率可以通過Benjamini-Yakutieli過程進(jìn)行有效控制，且該方法已經(jīng)在解決二類分類問題和回歸問題上的有效性得到了驗(yàn)證[6]。Benjamini-Yakutieli過程如下：

2.3 Dropout深度前饋網(wǎng)絡(luò)預(yù)測(cè)模型

常見的預(yù)測(cè)模型在面對(duì)龐大、高維的數(shù)據(jù)集時(shí)存在泛化能力不足的問題，且未考慮非負(fù)約束。為此引入了Dropout深度前饋網(wǎng)絡(luò)預(yù)測(cè)模型，Dropout深度前饋網(wǎng)絡(luò)是一種特殊的深度前饋網(wǎng)絡(luò)，采用Dropout學(xué)習(xí)算法對(duì)模型進(jìn)行訓(xùn)練[10]。Dropout指的是在標(biāo)準(zhǔn)深度網(wǎng)絡(luò)的訓(xùn)練過程中，臨時(shí)性地刪除隱藏單元和輸入單元，同時(shí)刪除與這些單元的連接，如圖3所示。（a）為包含2層隱藏層的標(biāo)準(zhǔn)深度前饋網(wǎng)絡(luò)，（b）為Dropout操作后的子深度前饋網(wǎng)絡(luò)，（b）中帶叉號(hào)的單元表示從（a）中刪除的單元，與其連接的邊也被刪除了?？紤]一個(gè)包含L層隱藏層的深度前饋網(wǎng)絡(luò)，l∈｛1，…，L｝表示隱藏層的索引，l=0表示輸入層的索引，l=L+1表示輸出層的索引，由于任務(wù)是預(yù)測(cè)刀具的磨損，輸出層僅包含一個(gè)單元。令 z（l）表示第 l層的輸入向量，y（l）表示第 l層的輸出向量，W（l）和b（l）分別是第l層和第l-1層之間的權(quán)值矩陣和偏置向量，此外有，y（0）=z（0）=x。對(duì)于 l∈｛0，1，…，L｝，標(biāo)準(zhǔn)的深度前饋網(wǎng)絡(luò)的前饋計(jì)算如下：

式中：f—單元的激活函數(shù)，考慮到前述的非負(fù)約束，對(duì)于所有的隱藏層單元和輸出層單元，激活函數(shù)采用現(xiàn)代多數(shù)深度網(wǎng)絡(luò)使用的整流線性函數(shù)（Rectified Linear Unit，ReLU）：

這樣就確保了網(wǎng)絡(luò)輸出值的非負(fù)性，同時(shí)能使訓(xùn)練速度更快。

對(duì)于 l∈｛0，1，…，L｝，存在 dropout的前饋計(jì)算如下：

式中：v（l）—每個(gè)元素都為一個(gè)服從伯努利分布的隨機(jī)變量的向量，每個(gè)元素等于 1的概率為 p，當(dāng)=0時(shí)表示第l層的第i個(gè)單元被丟棄，反之則被保留。

圖3 標(biāo)準(zhǔn)深度前饋網(wǎng)絡(luò)和Dropout后的子深度前饋網(wǎng)絡(luò)Fig.3 Standard Deep Feedforward Network and Sub Deep Feedforward Network After Dropout

Dropout深度前饋網(wǎng)絡(luò)的訓(xùn)練過程類似于標(biāo)準(zhǔn)深度前饋網(wǎng)絡(luò)使用隨機(jī)梯度下降的訓(xùn)練過程，區(qū)別在于，對(duì)于每個(gè)小批量的每個(gè)訓(xùn)練樣本，通過Dropout操作來產(chǎn)生標(biāo)準(zhǔn)深度前饋網(wǎng)絡(luò)的一個(gè)子網(wǎng)絡(luò)，所有的子網(wǎng)絡(luò)共享權(quán)值，該樣本的前饋計(jì)算過程如前所述，反向傳播過程僅對(duì)存留的單元間的權(quán)值矩陣和偏置向量進(jìn)行更新，而被刪除的邊關(guān)聯(lián)的權(quán)值和偏置則保留不變，更新后的權(quán)值和偏置用于下個(gè)訓(xùn)練樣本的更新。Dropout深度前饋網(wǎng)絡(luò)訓(xùn)練完成后，訓(xùn)練過程最后的權(quán)值矩陣和偏置向量被代入原來的深度前饋網(wǎng)絡(luò)，同時(shí)對(duì)權(quán)值矩陣和偏置向量進(jìn)行縮放：測(cè)試時(shí)使用的網(wǎng)絡(luò)是未做任何Dropout操作的深度前饋網(wǎng)絡(luò)，其權(quán)值矩陣和偏置向量為

3 實(shí)驗(yàn)分析

實(shí)驗(yàn)使用的數(shù)據(jù)集是PHM社區(qū)的高速數(shù)控銑刀磨損數(shù)據(jù)集，實(shí)驗(yàn)環(huán)境為主軸轉(zhuǎn)速10400RPM，進(jìn)給速度1555mm/min，包含3個(gè)訓(xùn)練集c1，c4，c6和3個(gè)測(cè)試集c2，c3，c5，每個(gè)數(shù)據(jù)集記錄對(duì)應(yīng)的銑刀的315次銑削過程，每次銑削都記錄了X、Y、Z三個(gè)方向的切削力和振動(dòng)與聲發(fā)射7種不同的傳感器信號(hào)，采樣頻率為50KHz，訓(xùn)練集包含了每次銑削三個(gè)不同槽flute1、flute2、flute3切削后的當(dāng)前磨損值（單位：10-3mm），而測(cè)試集則不包含。由于只有訓(xùn)練集包含磨損值，選取訓(xùn)練集c1，c4，c6作為實(shí)驗(yàn)數(shù)據(jù)集，且只考慮第一個(gè)槽flute1的磨損，同時(shí)三個(gè)數(shù)據(jù)集刪除第一個(gè)樣本，然后計(jì)算每個(gè)樣本和前一個(gè)樣本之間的附加磨損來作為預(yù)測(cè)目標(biāo)，此外將磨損值的單位轉(zhuǎn)化為10-6mm避免預(yù)測(cè)目標(biāo)值過小。由于采樣頻率為50kHz，（314×3）個(gè)樣本中的每個(gè)樣本都包含20幾萬條不同時(shí)間點(diǎn)下的記錄，使用了1.25kHz的采樣頻率對(duì)數(shù)據(jù)集進(jìn)行了重采樣，重采樣后每個(gè)樣本仍包含5000條不同時(shí)間點(diǎn)下的記錄。如前文所述，對(duì)7種不同的傳感器信號(hào)，分別提取時(shí)域特征、頻域特征、時(shí)頻域特征等794種特征，提取的特征數(shù)量總共794×7=5558個(gè)特征。

特征提取后數(shù)據(jù)集大小為（942×5559），即樣本量為942，前5558列為提取的特征，最后一列為磨損值。對(duì)數(shù)據(jù)集按行進(jìn)行隨機(jī)打亂操作，并劃分成大小為（753×5559）的訓(xùn)練集和（189×5559）的測(cè)試集。特征選擇和預(yù)測(cè)模型訓(xùn)練及驗(yàn)證均在訓(xùn)練集上實(shí)驗(yàn)。特征選擇如前文所述，多次實(shí)驗(yàn)后FDR水平取q=0.05，實(shí)施Benjamini-Yakutieli過程后，有595個(gè)特征始終為常量，余下的4963個(gè)特征按p值排序后，如圖4所示。分隔線左側(cè)的1832個(gè)相關(guān)的特征被選擇出來。特征選擇后訓(xùn)練集和測(cè)試集大小分別為（753×1832）和（189×1832）。

圖4 Benjamini-Yakutieli過程Fig.4 Benjamini-Yakutieli Procedure

為了驗(yàn)證Dropout深度前饋網(wǎng)絡(luò)預(yù)測(cè)模型的性能，首先比較標(biāo)準(zhǔn)深度前饋網(wǎng)絡(luò)和Dropout深度前饋網(wǎng)絡(luò)在該數(shù)據(jù)集上的性能。由于訓(xùn)練數(shù)據(jù)集樣本數(shù)量?jī)H為753，因此選擇對(duì)比的網(wǎng)絡(luò)結(jié)構(gòu)只包含輸入層、兩層隱藏層和輸出層，實(shí)際應(yīng)用中可以選擇更深的網(wǎng)絡(luò)，通過訓(xùn)練集劃分出來的驗(yàn)證集選擇最佳的隱藏層數(shù)量，兩層隱藏層均為128，兩種網(wǎng)絡(luò)均在訓(xùn)練集上進(jìn)行20次的4折交叉驗(yàn)證，每一折進(jìn)行500輪的訓(xùn)練，對(duì)20次的訓(xùn)練誤差和驗(yàn)證誤差取平均值，結(jié)果如圖5所示。（a）為兩種網(wǎng)絡(luò)在訓(xùn)練集上的平均絕對(duì)誤差，標(biāo)準(zhǔn)深度前饋網(wǎng)絡(luò)在第50輪時(shí)訓(xùn)練平均絕對(duì)誤差達(dá)到最小，此后模型開始出現(xiàn)發(fā)散的現(xiàn)象，而Dropout深度前饋網(wǎng)絡(luò)在第62輪時(shí)訓(xùn)練平均絕對(duì)誤差達(dá)到最小，該輪之后模型也比較穩(wěn)定，此外，標(biāo)準(zhǔn)深度前饋網(wǎng)絡(luò)的訓(xùn)練誤差比Dropout深度前饋網(wǎng)絡(luò)小，可以得出結(jié)論，Dropout深度前饋網(wǎng)絡(luò)的訓(xùn)練過程比深度前饋網(wǎng)絡(luò)穩(wěn)定，同時(shí)，Dropout深度前饋網(wǎng)絡(luò)不易產(chǎn)生過擬合現(xiàn)象。觀察圖5（b）可知，標(biāo)準(zhǔn)深度前饋網(wǎng)絡(luò)在第59輪時(shí)驗(yàn)證平均絕對(duì)誤差達(dá)到最小，此后開始產(chǎn)生過擬合現(xiàn)象，而Dropout深度前饋網(wǎng)絡(luò)在第36輪時(shí)驗(yàn)證平均絕對(duì)誤差達(dá)到最小，此后開始產(chǎn)生過擬合現(xiàn)象，整體上標(biāo)準(zhǔn)深度前饋網(wǎng)絡(luò)的驗(yàn)證誤差要高于Dropout深度前饋網(wǎng)絡(luò)，進(jìn)一步說明Dropout深度前饋網(wǎng)絡(luò)泛化性能更好。

圖5 訓(xùn)練平均絕對(duì)誤差和驗(yàn)證平均絕對(duì)誤差Fig.5 Training Mean Absolute Error and Validation Mean Absolute Error

接著，對(duì)標(biāo)準(zhǔn)深度前饋網(wǎng)絡(luò)使用整個(gè)訓(xùn)練集訓(xùn)練59輪，而對(duì)Dropout深度前饋網(wǎng)絡(luò)訓(xùn)練36輪，在測(cè)試集上對(duì)兩種網(wǎng)絡(luò)計(jì)算均方誤差和平均絕對(duì)誤差，標(biāo)準(zhǔn)深度前饋網(wǎng)絡(luò)的測(cè)試均方誤差和平均絕對(duì)誤差為33883.145和111.863，而Dropout深度前饋網(wǎng)絡(luò)的測(cè)試均方誤差和平均絕對(duì)誤差為19475.918和81.632，在測(cè)試集上Dropout深度前饋網(wǎng)絡(luò)的性能優(yōu)于標(biāo)準(zhǔn)深度前饋網(wǎng)絡(luò)。

表1 20次5折交叉驗(yàn)證結(jié)果對(duì)比Tab.1 Comparison of Twenty 5-Fold Cross-Validation Results

最后，實(shí)驗(yàn)將提出的預(yù)測(cè)模型與其他已提出的預(yù)測(cè)模型進(jìn)行了比較，以文獻(xiàn)[2]中的模型作為參照模型，對(duì)提出的Dropout深度前饋網(wǎng)絡(luò)，在整個(gè)數(shù)據(jù)集上進(jìn)行了20次重復(fù)5折交叉驗(yàn)證，網(wǎng)絡(luò)結(jié)構(gòu)的選擇如前所述，計(jì)算平均R2和平均均方誤差，結(jié)果如表1所示。提出的預(yù)測(cè)模型在兩項(xiàng)性能評(píng)估指標(biāo)上均優(yōu)于文獻(xiàn)[2]中的兩種模型。

4 結(jié)論

為精確預(yù)測(cè)刀具磨損，提出了特征工程和Dropout深度前饋網(wǎng)絡(luò)結(jié)合的刀具磨損預(yù)測(cè)框架，隨后的實(shí)驗(yàn)結(jié)果表明，一方面，Dropout深度前饋網(wǎng)絡(luò)的訓(xùn)練過程比標(biāo)準(zhǔn)深度前饋網(wǎng)絡(luò)的穩(wěn)定性高，而且能解決過擬合的問題，泛化性能更好，另一方面，與應(yīng)用傳統(tǒng)特征工程和回歸樹/提升回歸樹的模型相比，提出的預(yù)測(cè)框架提取和選擇的特征與目標(biāo)磨損的相關(guān)性更高，說明了提取和選擇的變量可解釋性更強(qiáng)，而且預(yù)測(cè)精度也更高。