基于卷積神經(jīng)網(wǎng)絡(luò)的制孔出口毛刺預(yù)測(cè)方法

周越，田威，廖文和，張霖，李波

(南京航空航天大學(xué) 機(jī)電學(xué)院，江蘇 南京 210016)

0 引言

近年來(lái)，隨著材料輕量化的發(fā)展，輕質(zhì)合金(鈦合金、鋁合金等)和碳纖維增強(qiáng)復(fù)合材料(CFRP)等在制造領(lǐng)域被更多地使用。隨之而來(lái)的難題是:大量的復(fù)合材料、鈦合金及鋁合金零部件等需要通過(guò)制孔鉚接的方式連接裝配在一起。在航空領(lǐng)域內(nèi)的失效形式主要為疲勞失效，75%以上的疲勞失效發(fā)生在裝配連接件上[1]，而航空裝配中70%以上的裝配結(jié)構(gòu)連接由鉚接和螺接形式完成，連接制孔的數(shù)量十分龐大[2]。由于加工誤差、壁板變形等多種因素影響，不能保證裝配連接的穩(wěn)定性，裝配連接孔的加工無(wú)法在零件加工時(shí)一次成型[3]。因此，航空制造單位通常將具有裝配關(guān)系的零件預(yù)先裝夾在一起，一次性鉆削連接孔，其裝配制孔的質(zhì)量是保證飛機(jī)構(gòu)件連接可靠性和壽命的關(guān)鍵。圖1為航空鉚接裝配試樣。

圖1 航空鉚接裝配試樣

與此同時(shí)，卷積神經(jīng)網(wǎng)絡(luò)的相關(guān)研究發(fā)展十分迅速，早已在深度學(xué)習(xí)技術(shù)領(lǐng)域得到較為廣泛的應(yīng)用。早期的神經(jīng)網(wǎng)絡(luò)在建模、機(jī)器學(xué)習(xí)、模糊控制等方面取得了良好的效果，但受深層網(wǎng)絡(luò)模型的技術(shù)瓶頸限制，很長(zhǎng)時(shí)間以來(lái)沒(méi)有獲得可觀的發(fā)展[4]。伴隨近十幾年來(lái)深度學(xué)習(xí)理論的不斷進(jìn)步，深層網(wǎng)絡(luò)模型的技術(shù)難點(diǎn)得以攻破，它提取抽象深層關(guān)聯(lián)特征的能力被不斷挖掘，在音頻、文字和圖像處理等諸多領(lǐng)域取得巨大成功[5]。

本文受此啟發(fā)，使用卷積神經(jīng)網(wǎng)絡(luò)針對(duì)航空裝配制孔工藝過(guò)程進(jìn)行分析學(xué)習(xí)，以不同的工藝參數(shù)和對(duì)應(yīng)的制孔過(guò)程主軸電流信號(hào)圖為輸入，實(shí)驗(yàn)設(shè)備、材料與刀具型號(hào)固定不變，對(duì)制孔工藝結(jié)果進(jìn)行預(yù)測(cè)，并設(shè)計(jì)實(shí)驗(yàn)驗(yàn)證預(yù)測(cè)結(jié)果的準(zhǔn)確性與方法的有效性。

1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是當(dāng)下應(yīng)用最為廣泛的幾種深度網(wǎng)絡(luò)之一，與以往的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)有著較大的不同，它由多個(gè)卷積層與亞采樣層組成。其中，由神經(jīng)元矩陣組成的特征平面構(gòu)成一個(gè)卷積層。而亞采樣層使得輸入維數(shù)大幅降低，提高了整個(gè)網(wǎng)絡(luò)的魯棒性。在這種網(wǎng)絡(luò)中，單個(gè)神經(jīng)元不會(huì)與全部神經(jīng)元產(chǎn)生連接關(guān)系，而只會(huì)與部分神經(jīng)元產(chǎn)生連接[6]。卷積神經(jīng)網(wǎng)絡(luò)區(qū)別于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的兩大特點(diǎn)為共享權(quán)值和亞采樣，降低了網(wǎng)絡(luò)維數(shù)和復(fù)雜度，減少了網(wǎng)絡(luò)各層間的連接，以盡可能消除網(wǎng)絡(luò)過(guò)擬合的情況。圖2所示為一個(gè)常規(guī)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。因其良好的魯棒性以及可以降低網(wǎng)絡(luò)復(fù)雜度、削弱過(guò)擬合的特點(diǎn)，本文選擇卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行制孔出口毛刺的預(yù)測(cè)研究。目前能夠建立卷積神經(jīng)網(wǎng)絡(luò)的平臺(tái)很多，本文使用Google的Tensorflow平臺(tái)完成模型的建立和算法的實(shí)現(xiàn)。

圖2 常規(guī)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

2 數(shù)據(jù)獲取與處理

2.1 數(shù)據(jù)來(lái)源

本文數(shù)據(jù)來(lái)源于所在課題組實(shí)驗(yàn)中獲取的相關(guān)制孔實(shí)驗(yàn)數(shù)據(jù)。樣本數(shù)據(jù)量：共采集了符合要求的數(shù)據(jù)2 462條。數(shù)據(jù)輸入包括制孔過(guò)程中從第1層鉆入到第1層鉆出，再到第2層鉆入，最后到第2層完全鉆出的分階段制孔主軸電流信號(hào)圖，以及各階段制孔工藝參數(shù)中的主軸轉(zhuǎn)速、主軸實(shí)際進(jìn)給速度、主軸每轉(zhuǎn)進(jìn)給速度。數(shù)據(jù)輸出包括對(duì)制孔的后續(xù)鉚接工藝影響較大的出口毛刺高度。表1列出了所有輸入、輸出數(shù)據(jù)的取值范圍，其中主軸電流信號(hào)包括所有符合標(biāo)準(zhǔn)制孔樣本的電流信號(hào)，不在表內(nèi)列出。圖3為未歸一化處理前的制孔樣本電流信號(hào)。

表1 輸入輸出數(shù)據(jù)范圍表

圖3 未經(jīng)歸一化處理的部分典型電流信號(hào)圖

2.2 數(shù)據(jù)清洗

數(shù)據(jù)清洗采用了下述幾種策略進(jìn)行：遇到超出表1數(shù)據(jù)范圍的奇異值時(shí)，移除該項(xiàng)數(shù)據(jù)；同工藝參數(shù)的多組實(shí)驗(yàn)中，出現(xiàn)偏差較大單個(gè)數(shù)據(jù)時(shí)，移除該項(xiàng)數(shù)據(jù)；同參數(shù)組數(shù)據(jù)過(guò)于不一致時(shí)，移除整組數(shù)據(jù)。在上述過(guò)程清洗后，對(duì)移除數(shù)據(jù)進(jìn)行部分補(bǔ)充采樣。

2.3 數(shù)據(jù)歸一化

數(shù)據(jù)歸一化對(duì)模型訓(xùn)練至關(guān)重要，影響著模型收斂至最優(yōu)解的能力，歸一化中采用了下述幾種策略：對(duì)每一維的數(shù)據(jù)量綱和數(shù)量級(jí)進(jìn)行調(diào)整；對(duì)制孔過(guò)程階段進(jìn)行標(biāo)準(zhǔn)劃分；對(duì)數(shù)據(jù)集本身進(jìn)行Z-SCORE標(biāo)準(zhǔn)化；使用濾波和去噪算法對(duì)電流信號(hào)進(jìn)行處理后作為輸入。

3 模型建立與影響因素分析

首先為建立模型必須要確定一種模型可靠性評(píng)估方法，目前針對(duì)預(yù)測(cè)問(wèn)題常用的評(píng)估方法有平均絕對(duì)百分比誤差(MAPE)、均方誤差(MSE)、絕對(duì)平均誤差(MAE)和預(yù)測(cè)精度(ACC)等。以上方法的評(píng)價(jià)均為指標(biāo)越趨近于0，模型預(yù)測(cè)效果越好[7]。本文經(jīng)過(guò)分析，采用MSE作為預(yù)測(cè)模型的評(píng)估標(biāo)準(zhǔn)。MSE定義如下，其中predicted為預(yù)測(cè)值，label為實(shí)際值：

卷積神經(jīng)網(wǎng)絡(luò)模型的建立主要分為以下幾個(gè)部分：激活函數(shù)選擇；目標(biāo)優(yōu)化算法選擇；卷積核個(gè)數(shù)的設(shè)置；卷積層層數(shù)的設(shè)置；卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)窗口大小設(shè)置；學(xué)習(xí)率的設(shè)置。為單獨(dú)確定每個(gè)部分的設(shè)置，利用所獲取的數(shù)據(jù)設(shè)計(jì)了4組實(shí)驗(yàn)，其中每組實(shí)驗(yàn)的超參數(shù)只有待測(cè)試項(xiàng)為變數(shù)，其余超參數(shù)均為可用范圍內(nèi)的固定值。非待測(cè)試項(xiàng)超參數(shù)設(shè)置如表2所示。

表2 非待測(cè)試項(xiàng)超參數(shù)實(shí)驗(yàn)設(shè)置表

在激活函數(shù)的選擇上，本文通過(guò)對(duì)比分析常用的Relu、Tanh、Sigmoid等幾種激活函數(shù)，選用了較為簡(jiǎn)單的Relu函數(shù)，以提高收斂能力[8]。在目標(biāo)優(yōu)化算法的選擇上，選用了經(jīng)過(guò)改良的隨機(jī)梯度下降算法(adaptive moment estimation, Adam)，以簡(jiǎn)化學(xué)習(xí)率的調(diào)節(jié)[9-10]。為簡(jiǎn)化超參數(shù)的設(shè)置調(diào)整，本文還加入了批量標(biāo)準(zhǔn)化算法(Batch Normalization)[11]。

卷積核核數(shù)、卷積層層數(shù)、窗口大小和學(xué)習(xí)率通過(guò)多組對(duì)比實(shí)驗(yàn)，獲得MSE變化趨勢(shì)的方式進(jìn)行確定。

卷積神經(jīng)網(wǎng)絡(luò)的特征識(shí)別提取能力很大程度上取決于卷積核個(gè)數(shù)。本文設(shè)置了卷積核個(gè)數(shù)從8個(gè)到128個(gè)，間隔8的多組對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)過(guò)程數(shù)據(jù)如圖4所示。

圖4 卷積核個(gè)數(shù)對(duì)預(yù)測(cè)模型的影響

通過(guò)分析圖4可知，在卷積核<64前MSE呈下降趨勢(shì)，>64后呈上升趨勢(shì)。分析原因可能是，卷積核數(shù)量在一定程度上是對(duì)數(shù)據(jù)特征提取的角度數(shù)量，過(guò)多的卷積核可能導(dǎo)致訓(xùn)練提取到對(duì)宏觀影響很小的特征，而使預(yù)測(cè)效果下降。

卷積層層數(shù)通過(guò)設(shè)置層數(shù)1到層數(shù)6的對(duì)比實(shí)驗(yàn)確定。實(shí)驗(yàn)過(guò)程數(shù)據(jù)如圖5所示。

圖5 卷積層層數(shù)對(duì)預(yù)測(cè)模型的影響

通過(guò)分析圖5可知，在卷積層層數(shù)<3前MSE呈下降趨勢(shì)，>3后呈上升趨勢(shì)。分析原因可能是，工藝參數(shù)、主軸電流信號(hào)與最終毛刺有著較為緊密的內(nèi)在聯(lián)系，更深層次的模型對(duì)內(nèi)在聯(lián)系的特征提取更加準(zhǔn)確，但本文使用的模型輸入域輸出相對(duì)較少，過(guò)多的隱層可能導(dǎo)致訓(xùn)練擬合不充分，影響預(yù)測(cè)結(jié)果。

卷積窗口大小通過(guò)設(shè)置窗口大小2到大小6的對(duì)比實(shí)驗(yàn)進(jìn)行確定。實(shí)驗(yàn)過(guò)程數(shù)據(jù)如圖6所示。

圖6 卷積窗口大小對(duì)預(yù)測(cè)模型的影響

通過(guò)分析圖6可知，在卷積窗口大小<4前MSE呈下降趨勢(shì)，>4后呈上升趨勢(shì)。分析原因可能是，卷積過(guò)程實(shí)際上就是模型學(xué)習(xí)卷積窗口特征的過(guò)程，合適的窗口大小可以在獲得足夠感受的情況過(guò)濾掉非特征因素。

學(xué)習(xí)率通過(guò)設(shè)置學(xué)習(xí)率0.000 01～0.2的10組對(duì)比實(shí)驗(yàn)進(jìn)行確定。實(shí)驗(yàn)過(guò)程數(shù)據(jù)如圖7所示。

圖7 學(xué)習(xí)率對(duì)預(yù)測(cè)模型的影響

通過(guò)分析圖7可知，學(xué)習(xí)率與MSE呈正相關(guān)關(guān)系，過(guò)大的學(xué)習(xí)率會(huì)使模型無(wú)法訓(xùn)練到最優(yōu)。較小的學(xué)習(xí)率會(huì)使得訓(xùn)練結(jié)果更優(yōu)，但訓(xùn)練效率降低，而過(guò)小的學(xué)習(xí)率并不能使訓(xùn)練結(jié)果顯著改變。

在超參數(shù)的影響趨勢(shì)確定之后，本文引入了Dropout技術(shù)優(yōu)化測(cè)試集的測(cè)試表現(xiàn)[12-13]，設(shè)置了隨機(jī)概率0.1～0.9的多組對(duì)比試驗(yàn)，測(cè)試過(guò)程與測(cè)試數(shù)據(jù)如圖8所示。

圖8 隨機(jī)概率取值對(duì)預(yù)測(cè)模型的影響

通過(guò)分析圖8，設(shè)置了0.90的隨機(jī)概率取值，在眾多常見(jiàn)應(yīng)用Dropout技術(shù)的論文與研究中，通常取0.4～0.6范圍內(nèi)的隨機(jī)概率，即采用相對(duì)較大的神經(jīng)元丟棄概率時(shí)，測(cè)試集表現(xiàn)改善更加明顯。本文取較小的丟棄概率時(shí)表現(xiàn)更好，分析原因是本文所采用預(yù)測(cè)模型復(fù)雜程度相對(duì)較低，丟棄比率較小就足夠達(dá)到避免過(guò)擬合的優(yōu)化目標(biāo)，而丟棄比率較大時(shí)會(huì)影響訓(xùn)練的擬合。

在以上模型影響因素的影響趨勢(shì)確定后，采用啟發(fā)式設(shè)置的方法確定最終模型使用的超參數(shù)。比較通用的啟發(fā)式算法一般有模擬退火算法(SA)、遺傳算法(GA)、蟻群算法(ACO)、人工神經(jīng)網(wǎng)絡(luò)(ANN)。本文采用一種應(yīng)用較為廣泛的基于蟻群算法(ACO)的啟發(fā)式算法，對(duì)超參數(shù)進(jìn)行整體優(yōu)化調(diào)整。通過(guò)上述影響因素分析縮小了超參數(shù)選取區(qū)間，將超參數(shù)選取范圍選定在各自獨(dú)立的較優(yōu)區(qū)間內(nèi)，區(qū)間如表3所示。

表3 超參數(shù)選取區(qū)間

在表3區(qū)間內(nèi)經(jīng)過(guò)啟發(fā)式設(shè)置最終建立的模型設(shè)置如表4所示。

表4 卷積神經(jīng)網(wǎng)絡(luò)設(shè)置表

經(jīng)過(guò)優(yōu)化的最終測(cè)試集效果如表5所示。

表5 最終實(shí)驗(yàn)效果

4 實(shí)驗(yàn)驗(yàn)證與分析

實(shí)驗(yàn)設(shè)備與材料如表6所示。

表6 實(shí)驗(yàn)設(shè)備

模型性能評(píng)估的測(cè)試集表現(xiàn)并不能十分直觀地表現(xiàn)預(yù)測(cè)的準(zhǔn)確性和有效性，因此本文設(shè)計(jì)了一組預(yù)測(cè)值和真實(shí)值效果的對(duì)比實(shí)驗(yàn)集。使用相同的實(shí)驗(yàn)設(shè)備、材料以及同型刀具進(jìn)行。實(shí)驗(yàn)結(jié)果如圖9所示，其中橫坐標(biāo)為實(shí)測(cè)值，縱坐標(biāo)為預(yù)測(cè)值，上、下4條線內(nèi)分別10%和15%預(yù)測(cè)相對(duì)誤差的誤差帶。

圖9 真實(shí)值與預(yù)測(cè)值效果對(duì)比

經(jīng)過(guò)統(tǒng)計(jì)，本文卷積神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)誤差分布如圖10所示。

圖10 毛刺預(yù)測(cè)相對(duì)誤差分布圖

通過(guò)圖9和圖10可以清楚地看出，本文所建立的卷積神經(jīng)網(wǎng)絡(luò)對(duì)制孔質(zhì)量的預(yù)測(cè)誤差主要集中在5%～10%之間，且均<15%，而清華大學(xué)所采用的“鋁合金疊層板鉆削層間毛刺高度預(yù)測(cè)模型”的預(yù)測(cè)誤差在30%以內(nèi)[14]，與其相比可以證明卷積神經(jīng)網(wǎng)絡(luò)具備較好的預(yù)測(cè)制孔相關(guān)性能指標(biāo)的能力。

5 結(jié)語(yǔ)

1) 本文所建立的基于卷積神經(jīng)網(wǎng)絡(luò)的制孔出口毛刺預(yù)測(cè)模型，以工藝參數(shù)(制孔轉(zhuǎn)速、進(jìn)給、每轉(zhuǎn)進(jìn)給)與主軸電流信號(hào)特征矩陣為輸入，預(yù)測(cè)制孔出口毛刺高度，預(yù)測(cè)平均相對(duì)誤差9.34%。實(shí)驗(yàn)集測(cè)試中，預(yù)測(cè)相對(duì)誤差均<15%，優(yōu)于傳統(tǒng)理論建模30%左右的相對(duì)誤差的預(yù)測(cè)準(zhǔn)確度。

2) 以波音公司125 μm的出口毛刺高度合格標(biāo)準(zhǔn)為例，本文的預(yù)測(cè)模型預(yù)測(cè)結(jié)果為毛刺高度<106.25 μm的制孔結(jié)果，其15%相對(duì)誤差帶完全落在合格標(biāo)準(zhǔn)指標(biāo)內(nèi)，能夠以>95%的準(zhǔn)確率滿足合格標(biāo)準(zhǔn)。證明本文預(yù)測(cè)方法具備在一定環(huán)境下的工程應(yīng)用能力。