基于紋理圖樣與語義分割算法的CFRP/鈦合金疊層材料制孔毛刺識別

王守文，王賢鋒，陸泰屹，于思泓，蔣景行

上海飛機(jī)制造有限公司

1 引言

CFRP/鈦合金材料作為一種重要的優(yōu)質(zhì)復(fù)合疊層基礎(chǔ)材料，被廣泛用于對重量限制和約束性強(qiáng)的航空航天制造領(lǐng)域，相比于鋁合金及不銹鋼等材料，具有抗腐蝕能力強(qiáng)、強(qiáng)度較高以及耐高溫等特性。鈦合金與碳纖維材料組成的復(fù)合疊層材料電化學(xué)相容性好，結(jié)構(gòu)強(qiáng)度和剛度較為匹配，且整體質(zhì)量輕，能夠有效提升現(xiàn)代飛行器的結(jié)構(gòu)性能。

目前航空制造過程中，緊固件主要采用螺栓、螺釘與鉚釘工藝，需要制備大量的安裝孔位。鈦合金和CFRP材料作為兩種典型的難加工材料，其疊層材料的制孔工藝在近年來受到廣大研究者的關(guān)注。孫鵬程等[1]在一體式鉆削加工中對疊層材料制孔質(zhì)量的影響規(guī)律進(jìn)行了研究，結(jié)果表明，高轉(zhuǎn)速和較低進(jìn)給量能夠有效減少疊層材料的CFRP端面撕裂缺陷形成和改善孔出入的質(zhì)量。張輝等[2]采用參數(shù)組合的全面試驗(yàn)優(yōu)化低頻振動制孔的加工參數(shù)，并對比了振動制孔與傳統(tǒng)制孔方式的刀具磨損。王奔等[3]對有無鈦合金底座支撐的CFRP/鈦合金材料加工損傷差異進(jìn)行了研究，其團(tuán)隊進(jìn)一步研究了鈦合金支撐底座對切削溫度的影響，對比分析了兩種加工方式下的切削溫度，表明鈦合金支撐底座對切削溫度的影響較大，會導(dǎo)致較嚴(yán)重的亞表面損傷，并解釋了這一損傷機(jī)理[4]。顧立晨等[5]研究了鉆锪一體刀具在疊層材料制孔中的設(shè)計方法，分析認(rèn)為，頂角、螺旋角以及雙刃帶的設(shè)計能夠有效減少切削阻力，降低切削熱，提升鉆尖鋒利程度，從而有效減少鉆削的毛刺產(chǎn)生。

碳纖維、鈦合金等難加工材料的制孔質(zhì)量監(jiān)測主要包括三種方法：加工過程物理仿真、數(shù)學(xué)概率模型以及數(shù)據(jù)驅(qū)動類的人工智能監(jiān)測模型方法。數(shù)據(jù)驅(qū)動類可分為基于多種時間序列信號的在線監(jiān)測及機(jī)器視覺方法兩大類。王帥斌[6]研究了鉆削力信號和應(yīng)變信號與CFRP材料制孔質(zhì)量間的關(guān)系。劉紅巖[7]研究了基于鉆削力信號、振動信號和聲發(fā)射信號的多傳感器信息融合的制孔過程刀具磨損監(jiān)測。機(jī)器視覺方法主要采用離線的工具顯微鏡測量。李政彤[8]研究了制孔定位識別算法，采用模板匹配識別制孔位置，再利用Hough圓檢測算法對孔邊緣擬合，實(shí)現(xiàn)孔尺寸檢測。

基于遷移學(xué)習(xí)的語義分割算法深度學(xué)習(xí)模型是借助于大型自然場景中預(yù)訓(xùn)練的特征知識，能夠在較少的監(jiān)測樣本下實(shí)現(xiàn)鉆削加工毛刺的準(zhǔn)確分割。全卷積網(wǎng)絡(luò)是最早用于語義分割任務(wù)的深度學(xué)習(xí)模型。FCN采用全卷積形式，其結(jié)構(gòu)特性不同于一般的深度學(xué)習(xí)模型，采用了連接層或者全局池化層作為模型輸出的特征層，因而模型具有較好的尺度不變性。作為一種端到端的模型，相比于FCN結(jié)構(gòu)中的反卷積，SegNet的解碼結(jié)構(gòu)不需要通過特征學(xué)習(xí)來實(shí)現(xiàn)對原圖像素分類的重構(gòu)。SegNet的編碼及解碼結(jié)構(gòu)進(jìn)一步提升了語義分割的性能，其編碼器對應(yīng)的卷積結(jié)構(gòu)通過池化層可不斷提升感受野大小，同時縮小特征圖尺寸；而解碼層對應(yīng)的卷積模塊使特征逐步還原為原始圖像尺寸；最后，通過Softmax層輸出像素點(diǎn)在不同分類的最大分?jǐn)?shù)對應(yīng)類別，完成監(jiān)督學(xué)習(xí)下的圖像語義分割。

2 監(jiān)測識別算法設(shè)計

本文提出了一種用于疊層材料毛刺識別的深度語義分割模型MSegNet。該模型通過一定量的制孔邊緣及毛刺標(biāo)注紋理照片，結(jié)合顯微鏡測量的刀具磨損狀態(tài)，研究了邊緣毛刺紋理圖樣，刀具磨損以及孔質(zhì)量之間的關(guān)聯(lián)，即可實(shí)現(xiàn)較為準(zhǔn)確、魯棒的制孔質(zhì)量監(jiān)測。

MSegNet模型可通過監(jiān)督學(xué)習(xí)方式訓(xùn)練得到深度學(xué)習(xí)模型來識別分割數(shù)字圖像對應(yīng)的不同語義部分。通過像素級的標(biāo)注，訓(xùn)練圖像被分割為不同語義塊，即每個像素都被分配有特定標(biāo)簽。具有同一標(biāo)簽的像素在形狀、紋理或其他抽象特征等方面具有相似性。不同標(biāo)簽區(qū)域的紋理尤其在邊界區(qū)域往往存在顯著差異性。

MSegNet模型結(jié)構(gòu)如圖1所示，連續(xù)上采樣與下采樣過程能夠?qū)崿F(xiàn)準(zhǔn)確、穩(wěn)定及快速的語義分割。引入了輕量級深度可分離卷積結(jié)構(gòu)，將通道進(jìn)行分組，然后通過點(diǎn)卷積實(shí)現(xiàn)對最終特征圖的拼接。特征圖的通道數(shù)為前一層標(biāo)準(zhǔn)卷積通道數(shù)與分組卷積組數(shù)的比值。將這些組卷積結(jié)果進(jìn)行拼接，最終輸出特征圖，令任意深度可分離卷積模塊前一層標(biāo)準(zhǔn)卷積的特征圖尺寸為h1×w1×c1，那么每組輸入特征圖的尺寸為h1×w1×(c1/g)；令每組輸出特征圖的尺寸為h1×w1×(c2/g)，那么g組結(jié)果拼接得到的特征圖尺寸為h1×w1×c2。

圖1 改進(jìn)設(shè)計的MsegNet模型

令輸入特征圖尺寸為DF×DF×M，卷積核尺寸為DKS×DKS×M，輸出特征圖尺寸為DF×DF×N，則標(biāo)準(zhǔn)卷積參數(shù)量為

β1=Dk×Dk×M×N×DF×DF

(1)

由于深度可分離卷積中的分組卷積特征是由點(diǎn)卷積拼接而成，且其輸入層和輸出層通道數(shù)相同，即M=N，則深度可分離卷積參數(shù)量為

β2=Dk×Dk×M×DF×DF+M×N×DF×DF

(2)

則深度可分離卷積和標(biāo)準(zhǔn)卷積的比值為

(3)

模型的輸出層是對像素進(jìn)行分類，令像素的預(yù)測標(biāo)簽為q(xi)，真實(shí)標(biāo)簽為p(xi)，則模型像素分類的交叉熵?fù)p失為

(4)

為降低模型對簡單樣本的訓(xùn)練次數(shù)，提升模型對難區(qū)分負(fù)樣本的識別與語義分割能力，引入解調(diào)因子，則改進(jìn)后公式為

(5)

式中，αt為解調(diào)因子，根據(jù)類別頻率的逆解確定；γ>0為語義分割深度學(xué)習(xí)模型的超參數(shù)處理。

以SegNet為基準(zhǔn)Baseline結(jié)構(gòu)，針對毛刺識別切削加工在線監(jiān)測問題的實(shí)際需求，設(shè)計了深度可分離卷積的效率提升模塊以及針對難辨識工件增強(qiáng)的損失函數(shù)DFL(K-L)，優(yōu)化了模型在實(shí)際監(jiān)測場景下的執(zhí)行效率，并保持較好的準(zhǔn)確性。

3 切削加工實(shí)驗(yàn)與算法驗(yàn)證

如圖2所示，對CFRP/鈦合金疊層材料進(jìn)行鉆削過程監(jiān)測實(shí)驗(yàn)，為充分利用材料，對單塊疊層材料進(jìn)行多排連續(xù)制孔。鉆削機(jī)床為VMC850立式加工中心，主裝夾方式為壓板螺栓和設(shè)計夾具固定，鉆削方式為干式切削。

3.1 鉆削制孔實(shí)驗(yàn)與數(shù)據(jù)采集

圖2為制孔加工實(shí)驗(yàn)數(shù)據(jù)采集以及采集紋理圖樣預(yù)處理。通過壓板螺栓，將上、下疊層的鈦合金板材和CFRP板材裝夾在機(jī)床工作臺。其中板材與孔徑、深度等加工參數(shù)尺寸如表1所示。

圖2 CFRP/鈦合金材料以及鉆削制孔實(shí)驗(yàn)布置

圖3為機(jī)器視覺系統(tǒng)采集的孔邊緣原始圖樣以及標(biāo)注方式。圖像采集系統(tǒng)通過工業(yè)相機(jī)配套鏡頭以及環(huán)型光源實(shí)現(xiàn)。采集數(shù)據(jù)為CFRP材料鉆削加工孔的邊緣毛刺。

(a)原始圖像

(b)標(biāo)注圖像

3.2 語義分割模型訓(xùn)練與測試

深度學(xué)習(xí)模型的訓(xùn)練是保證模型性能的關(guān)鍵環(huán)節(jié)，其訓(xùn)練過程直接決定了模型的準(zhǔn)確性和泛化性能。卷積神經(jīng)網(wǎng)絡(luò)的模型訓(xùn)練可分為前向傳播過程和反向傳播過程兩個階段。

基于SegNet編碼器與譯碼器的對應(yīng)式結(jié)構(gòu)改進(jìn)的MSegNet模型均能有效提取語義分割所需特征，同時能夠自動重構(gòu)出語義分割后的圖像。表1為材料參數(shù)及加工參數(shù)，表2為語義分割毛刺識別正確的統(tǒng)計結(jié)果。毛刺像素級分割結(jié)果IOU≥0.6時則判定為識別正確。圖4為語義分割識別結(jié)果的典型樣例。

表1 材料參數(shù)及加工參數(shù)

表2 毛刺紋理圖樣語義分割的統(tǒng)計結(jié)果

圖4 CFRP/鈦合金疊層制孔邊緣紋理圖像的語義分割結(jié)果

結(jié)果表明，該模型對上、下端面較粗的毛刺能實(shí)現(xiàn)較準(zhǔn)確識別；而對于顯著性較弱的毛刺，由于其像素占比低，識別會存在漏報情況。模型識別精度達(dá)到了與自然場景相當(dāng)?shù)男Ч?，因此，該模型對工業(yè)場景在線監(jiān)測應(yīng)用能實(shí)現(xiàn)不同閾值的有效識別。由表1統(tǒng)計結(jié)果可得，上、下端面出口處毛刺的識別不存在特異性情況，模型均能實(shí)現(xiàn)較準(zhǔn)確穩(wěn)定的識別。

圖5的模型測試深度學(xué)習(xí)超參數(shù)設(shè)置如表3所示。模型訓(xùn)練參數(shù)根據(jù)通用性自然場景分割模型的經(jīng)驗(yàn)性參數(shù)設(shè)置[9]，并根據(jù)工業(yè)場景的數(shù)據(jù)特點(diǎn)進(jìn)行相關(guān)調(diào)整[10，11]，尤其當(dāng)工業(yè)加工過程存在工況類型復(fù)雜多變、數(shù)據(jù)特性復(fù)雜等問題時，需提升模型的魯棒性[12，13]。

表3 MSegNet模型超參數(shù)設(shè)置

由表4可得，MSegNet模型比基線模型FCN有較大提升，通過進(jìn)一步對比和消融實(shí)驗(yàn)發(fā)現(xiàn)，深度可分離卷積模塊能夠有效提升SegNet模型的實(shí)時性能，并能同時保持較好的穩(wěn)定性和準(zhǔn)確性。

表4 基于深度學(xué)習(xí)的語義分割模型的橫向比較

圖5 語義分割深度學(xué)習(xí)模型訓(xùn)練過程統(tǒng)計(準(zhǔn)確率vs迭代周期數(shù))

4 結(jié)語

研究了對CFRP/鈦合金疊層材料制孔的機(jī)器視覺采樣與監(jiān)測方法，實(shí)現(xiàn)了對復(fù)材疊層制孔邊緣毛刺的準(zhǔn)確、魯棒識別。通過采集VMC850機(jī)床在7000r/min時復(fù)材疊層加工孔邊緣紋理圖樣完成實(shí)驗(yàn)驗(yàn)證。結(jié)果表明，設(shè)計的改進(jìn)型MSegNet模型能夠有效、準(zhǔn)確而快速地識別復(fù)材疊層孔的邊緣毛刺。

基于采集的實(shí)驗(yàn)數(shù)據(jù)及開展的深度學(xué)習(xí)語義分割模型訓(xùn)練、測試過程可視化，證明了MSegNet模型在Epoch次數(shù)100左右可實(shí)現(xiàn)較好收斂，且平滑后驗(yàn)證集損失小于0.7，測試集損失小于0.5。訓(xùn)練得到的模型(MSegNet)在執(zhí)行效率指標(biāo)(如推理時間和內(nèi)存占用)優(yōu)化的同時，m-IOU系數(shù)與準(zhǔn)確度等精確性指標(biāo)也能保持較優(yōu)效果，m-IOU達(dá)70%，準(zhǔn)確度達(dá)91%以上。