基于遷移學(xué)習(xí)的TC4鈦合金磨削燒傷圖像識(shí)別

周光輝，盧文壯，張其真，丁鵬，吳泊鋆

(南京航空航天大學(xué) 機(jī)電學(xué)院，江蘇 南京 210016)

0 引言

鈦合金磨削時(shí)滑擦過程占比較大，強(qiáng)烈的摩擦導(dǎo)致急劇的彈性、塑性變形，加上鈦合金的熱導(dǎo)性差，使得磨削區(qū)的溫度很高。當(dāng)溫度超過臨界值就會(huì)在零件表面形成燒傷，燒傷嚴(yán)重影響零件的金相組織、表面顏色、殘余應(yīng)力、硬度等，同時(shí)降低服役零件的疲勞壽命和應(yīng)力腐蝕性能[1]。鑒于磨削燒傷的嚴(yán)重危害性，如何快速準(zhǔn)確地識(shí)別燒傷一直是生產(chǎn)現(xiàn)場關(guān)注的重點(diǎn)。

目前磨削燒傷檢驗(yàn)通常采用酸洗法，其本質(zhì)是根據(jù)不同金相組織對(duì)酸蝕敏感性不同而呈現(xiàn)出的表面特征作出燒傷判斷[2]。該方法會(huì)對(duì)被測零件的表面形成破壞，且檢測效率低下，只能用于批量零件的抽樣檢查。2018年Stresstech曲軸磨削燒傷檢測儀在沃爾沃正式投入使用。該檢測儀相比傳統(tǒng)檢測方法實(shí)現(xiàn)了定量測量，有效提高了檢測效率和準(zhǔn)確率，并且真正實(shí)現(xiàn)了無損檢測[3]。然而航空航天用鈦合金材料的磁性微乎其微，基于磁彈法的磨削燒傷檢測法不能有效適用?，F(xiàn)階段已有的燒傷識(shí)別方法大多基于人工檢驗(yàn)，由于人工檢驗(yàn)難以量化標(biāo)準(zhǔn)，容易造成誤檢、漏檢等情況，這些局限性決定了人工檢驗(yàn)無法高效地應(yīng)用在磨削燒傷的識(shí)別上，因此急需一種準(zhǔn)確快速的識(shí)別方法。

隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，人工智能技術(shù)也開始被應(yīng)用于工業(yè)檢測中。在磨削燒傷等工業(yè)缺陷檢測領(lǐng)域，傳統(tǒng)的機(jī)器視覺通過手工提取特征(顏色、面積、角度及形狀等)，然后采用基于規(guī)則的方法或者基于學(xué)習(xí)的分類器(SVM[4]，決策[5],KNN[6]等)可以有效地對(duì)產(chǎn)品缺陷進(jìn)行識(shí)別。相比傳統(tǒng)基于顏色的燒傷檢測手段，利用基于機(jī)器視覺的圖像檢測法具有高效率、高精度、重復(fù)性好和無損檢測等優(yōu)點(diǎn)。而基于手工提取的特征單一且不易擴(kuò)展，不能適用于多任務(wù)。

在傳統(tǒng)圖像識(shí)別過程中，需要手工提取特征，費(fèi)時(shí)費(fèi)力。鑒于此，本文基于深度學(xué)習(xí)搭建深度卷積網(wǎng)絡(luò)[7](convolution neural network, CNN)作為特征提取器，通過訓(xùn)練網(wǎng)絡(luò)，讓網(wǎng)絡(luò)自動(dòng)進(jìn)行復(fù)雜的特征提取，但實(shí)際操作過程中，鈦合金燒傷圖像較難獲得，帶有標(biāo)簽的燒傷圖像較少，導(dǎo)致不能充分訓(xùn)練深層網(wǎng)絡(luò)模型，圖像識(shí)別準(zhǔn)確率較低。為了進(jìn)一步提高識(shí)別準(zhǔn)確率，本文提出一種基于遷移學(xué)習(xí)的鈦合金燒傷圖像識(shí)別方法，針對(duì)鈦合金磨削燒傷數(shù)據(jù)集進(jìn)行研究，利用以卷積神經(jīng)網(wǎng)絡(luò)為主的人工智能技術(shù)并利用遷移學(xué)習(xí)方法構(gòu)造一個(gè)分類識(shí)別模型，根據(jù)鈦合金燒傷圖像，該網(wǎng)絡(luò)可識(shí)別出無燒傷、輕度燒傷、中度燒傷、重度燒傷4種情況。

1 制作數(shù)據(jù)集

因鈦合金磨削燒傷整體圖像數(shù)據(jù)不足以及樣本不均衡會(huì)導(dǎo)致樣本少的種類分類性能很差，甚至無法預(yù)測。因此，欲采用基于深度學(xué)習(xí)的方法進(jìn)行TC4鈦合金磨削燒傷的圖像識(shí)別，首先需獲取足夠多的燒傷圖像。本文首先通過鈦合金磨削試驗(yàn)進(jìn)行試錯(cuò)以獲取不同程度的燒傷試樣，然后利用事先設(shè)計(jì)好的圖像采集模塊進(jìn)行燒傷圖像的采集，最后進(jìn)行圖像預(yù)處理以及標(biāo)簽的制定，完成燒傷數(shù)據(jù)集的制作。

1.1 鈦合金磨削試驗(yàn)

通常情況下，通過控制其他工藝參數(shù)不變，單純依靠增加切深的磨削試驗(yàn)方法獲得燒傷數(shù)據(jù)。然而，該方法不易穩(wěn)定獲取不同程度的磨削燒傷。本文基于Trail - and-Error方法，采用控制工件進(jìn)給速度不變，逐級(jí)改變切深與砂輪線速度的試驗(yàn)方法，尋找磨削燒傷的工藝參數(shù)閾值組合，以獲取不同程度的磨削燒傷試樣。

本文實(shí)驗(yàn)使用的試件材料為TC4鈦合金，其幾何尺寸為20mm×20mm×25mm。試件通過虎鉗固定在工作臺(tái)上。由于鈦合金在磨削加工時(shí)極易粘附砂輪，容易導(dǎo)致砂輪變鈍失效，實(shí)驗(yàn)中每磨削5次后對(duì)砂輪修整1次。同時(shí)，為更快獲得燒傷表面，試驗(yàn)采用干磨，詳細(xì)磨削試驗(yàn)條件見表1。

表1 磨削試驗(yàn)條件

首先按表2參數(shù)進(jìn)行鈦合金磨削試驗(yàn)。試驗(yàn)過程中保持工件進(jìn)給速度vw為1.4 m/min，同時(shí)逐級(jí)改變砂輪線速度vs和磨削深度ap。為降低隨機(jī)因素以及未知參數(shù)對(duì)燒傷的影響，每組磨削工藝參數(shù)重復(fù)進(jìn)行3次，每次試驗(yàn)后將工件利用丙酮清洗，并采用體式顯微鏡進(jìn)行觀察。如果3次試驗(yàn)均獲得相同程度的磨削燒傷，則認(rèn)為該組磨削工藝參數(shù)為磨削燒傷閾值參數(shù)組合。由于磨削深度和砂輪線速度的增加在一定范圍內(nèi)會(huì)顯著提高磨削溫度，提高磨削燒傷產(chǎn)生的概率。因此，若3次試驗(yàn)均未出現(xiàn)燒傷，則適當(dāng)提高砂輪線速度和磨削深度，反之則適當(dāng)降低。圖1分別為無燒傷、輕度燒傷、中度燒傷和重度燒傷下的顯微圖像。從圖中可以看出，當(dāng)出現(xiàn)輕度燒傷時(shí)，工件表面產(chǎn)生了條紋狀的淡黃色燒傷；隨著燒傷程度的加劇，工件表面紋理逐漸粗糙，顏色加深；當(dāng)產(chǎn)生重度燒傷時(shí)，工件表面形成了藍(lán)紫色燒傷(本刊黑白印刷，相關(guān)疑問請(qǐng)咨詢作者)。

表2 磨削試驗(yàn)參數(shù)

圖1 不同程度燒傷試樣顯微圖像

基于燒傷試錯(cuò)的方法共進(jìn)行了30組試驗(yàn)，其中確定有8組可以作為磨削燒傷閾值參數(shù)組合。在此基礎(chǔ)上，分別對(duì)每組參數(shù)組合進(jìn)行10次試驗(yàn)，共獲得80件燒傷試樣。

1.2 數(shù)據(jù)集

訓(xùn)練集由兩部分組成：用于視覺對(duì)象識(shí)別軟件研究的大型可視化數(shù)據(jù)庫ImageNet[8]和鈦合金磨削燒傷圖像數(shù)據(jù)集。ImageNet是美國斯坦福的計(jì)算機(jī)科學(xué)家，模擬人類識(shí)別系統(tǒng)建立的圖像識(shí)別數(shù)據(jù)庫。它有1 400多萬幅圖片，其中有超過百萬的圖片有明確的類別標(biāo)注。

鈦合金磨削燒傷數(shù)據(jù)集是將上述的80件燒傷試樣經(jīng)過工業(yè)相機(jī)圖像采集之后確定類別標(biāo)簽獲得的，確定燒傷標(biāo)簽即完成鈦合金磨削燒傷程度的分類。利用圖像采集模塊獲得的鈦合金磨削燒傷圖像如圖2所示，可以看到隨著切深與砂輪線速度的提高，表面燒傷逐漸加劇。利用HXS-1000AK型顯微硬度計(jì)測量燒傷工件表面硬度h，發(fā)現(xiàn)隨著鈦合金磨削燒傷程度的提高，工件表面硬度呈上升趨勢。因此，本文借鑒GB/T17879—1999的齒輪磨削表面燒傷的分類標(biāo)準(zhǔn)，按照鈦合金磨削燒傷色的深淺同時(shí)輔以燒傷表面顯微硬度，將鈦合金的磨削燒傷分為4類，分別為：無燒傷，用“0”表示；輕度燒傷，用“1”表示；中度燒傷，用“2”表示；重度燒傷，用“3”表示。各類燒傷對(duì)應(yīng)的燒傷色分別為：銀灰色、淡黃色、黃褐色、藍(lán)紫色；對(duì)應(yīng)的表面顯微硬度范圍為：h<345 HV、345 HV≤h<400 HV、400 HV≤h<450 HV、h≥450 HV。最后采用獨(dú)熱碼(one-hot)對(duì)確定的燒傷標(biāo)簽進(jìn)行編碼。具體編碼如表3所示。

表3 燒傷類型圖像編碼

圖2 鈦合金磨削燒傷圖像

為加快模型的收斂速度，提高模型預(yù)測準(zhǔn)確率與穩(wěn)定性，需要對(duì)待檢測圖像進(jìn)行一系列的預(yù)處理。經(jīng)工業(yè)相機(jī)拍攝獲得原始圖像數(shù)據(jù)格式為Bayer，其后綴為.raw。在制作燒傷圖像數(shù)據(jù)集時(shí)首先通過調(diào)用開源計(jì)算機(jī)視覺庫OpenCV將原始圖像改為后綴名為.png的RGB圖像。RGB代表了紅、綠、藍(lán)3個(gè)顏色通道，每個(gè)通道的強(qiáng)度值在0～255范圍內(nèi)。因?yàn)楂@得的原始圖像大小不一，所以對(duì)所有圖像進(jìn)行縮放至224×224的統(tǒng)一大小，最終獲得各類燒傷圖片共4 708張。表4是對(duì)鈦合金磨削燒傷圖像數(shù)據(jù)集的劃分。

表4 鈦合金磨削燒傷圖像數(shù)據(jù)集劃分

2 方法與實(shí)驗(yàn)

2.1 方法

目前深度學(xué)習(xí)是最熱門的人工智能技術(shù)之一。深度學(xué)習(xí)來源于人工神經(jīng)網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)的每一層都將輸入進(jìn)行非線性變換。通過足夠多的變換，即使非常復(fù)雜的特征也能夠被提取[9-10]。因此，本文利用深度學(xué)習(xí)不需要人工設(shè)計(jì)非常復(fù)雜的特征提取器，來處理鈦合金燒傷圖像，而讓神經(jīng)網(wǎng)絡(luò)本身去學(xué)習(xí)鈦合金燒傷圖像的特征。

因?yàn)楸疚闹械臒齻麍D像均是基于磨削試錯(cuò)實(shí)驗(yàn)獲得的，帶有標(biāo)簽的燒傷圖像較少，圖像數(shù)量達(dá)不到深度學(xué)習(xí)所需要的數(shù)量級(jí)，導(dǎo)致不能充分訓(xùn)練深層網(wǎng)絡(luò)模型，圖像識(shí)別準(zhǔn)確率較低。為了解決這個(gè)問題，本文引入了遷移學(xué)習(xí)方法。

遷移學(xué)習(xí)是一種將源域知識(shí)運(yùn)用到目標(biāo)域上的方法。通過學(xué)習(xí)不同域之間不變的特征表達(dá)，可以實(shí)現(xiàn)對(duì)不同域的數(shù)據(jù)進(jìn)行分類。因此，遷移學(xué)習(xí)也被稱為領(lǐng)域適應(yīng)[11]。一般而言，遷移學(xué)習(xí)主要用于解決目標(biāo)域數(shù)據(jù)集不足情況下的知識(shí)學(xué)習(xí)或?qū)崿F(xiàn)源域向縱深域的知識(shí)轉(zhuǎn)移[12]。所以，本文利用遷移學(xué)習(xí)方法將已訓(xùn)練好的網(wǎng)絡(luò)模型，通過提取權(quán)重、偏置及超參數(shù)等運(yùn)用到鈦合金燒傷圖像數(shù)據(jù)集上，實(shí)現(xiàn)燒傷圖像分類識(shí)別的任務(wù)。

想要進(jìn)行遷移學(xué)習(xí)，首先要選取一個(gè)具有強(qiáng)大特征提取能力的網(wǎng)絡(luò)模型。目前，已經(jīng)存在大量優(yōu)秀的卷積神經(jīng)網(wǎng)絡(luò)，主要有GoogLeNet[13]和ResNet[14]，其余網(wǎng)絡(luò)基本上都是基于這些網(wǎng)絡(luò)的改進(jìn)。對(duì)于鈦合金燒傷圖像分類任務(wù)，主要難點(diǎn)在于圖像自身復(fù)雜燒傷特征和圖像之間細(xì)微的差異。因此，本文對(duì)比了這些網(wǎng)絡(luò)，并認(rèn)為GoogLeNet和ResNet50有強(qiáng)大的特征提取能力，能夠處理鈦合金燒傷圖像。所以選取這兩個(gè)代表性的網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)。

2.2 實(shí)驗(yàn)

本文按照表3劃分的數(shù)據(jù)集進(jìn)行訓(xùn)練，將圖像分為無燒傷、輕度燒傷、中度燒傷、重度燒傷4類。在測試時(shí)把4個(gè)類別的圖片打亂在一起統(tǒng)一測試，一次性加載128張圖片進(jìn)行類別預(yù)測。

網(wǎng)絡(luò)使用的優(yōu)化器是Adam[15]。Adam中的默認(rèn)參數(shù)為：learning rate是0.001；Beta1是0.9；Beta2是0.999；Epsilon一般取1×10-8，但是GoogLeNet網(wǎng)絡(luò)的Epsilon取1.0，本文對(duì)比了1×10-8和1.0這兩個(gè)值，發(fā)現(xiàn)結(jié)果并沒有什么太大的差異，最終Epsilon值取GoogLeNet網(wǎng)絡(luò)默認(rèn)的1.0。網(wǎng)絡(luò)選擇使用最多的ReLU[16]來作為激活函數(shù)。

本文共訓(xùn)練了4個(gè)網(wǎng)絡(luò)，分別是遷移學(xué)習(xí)預(yù)加載參數(shù)GoogLeNet網(wǎng)絡(luò)、遷移學(xué)習(xí)預(yù)加載參數(shù)ResNet網(wǎng)絡(luò)、隨機(jī)初始化GoogLeNet網(wǎng)絡(luò)和ResNet網(wǎng)絡(luò)。在遷移學(xué)習(xí)訓(xùn)練時(shí)只對(duì)最后的特征識(shí)別網(wǎng)絡(luò)層進(jìn)行參數(shù)訓(xùn)練，其余的網(wǎng)絡(luò)層均保留ImageNet數(shù)據(jù)集訓(xùn)練后的參數(shù)。在訓(xùn)練時(shí)均訓(xùn)練至10 000步。

2.3 實(shí)驗(yàn)工具

本文模型所使用的硬件是：AMD Ryzen 7 3700X CPU、NVIDA GTX2080TI GPU顯存11G。使用Tensorflow2.1 GPU版本作為深度學(xué)習(xí)框架進(jìn)行訓(xùn)練和測試。數(shù)據(jù)預(yù)處理由python和OpenCV編寫的腳本實(shí)現(xiàn)。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 評(píng)價(jià)標(biāo)準(zhǔn)

對(duì)于多類別分類任務(wù)，往往需要從多個(gè)角度對(duì)模型進(jìn)行性能評(píng)估。為方便實(shí)驗(yàn)結(jié)果分析，本節(jié)將對(duì)準(zhǔn)確率(accuracy)、精確率(precision)、召回率(recall)、F1-score進(jìn)行簡單介紹。

分類任務(wù)下預(yù)測結(jié)果與正確標(biāo)簽存在4種不同的組合，構(gòu)成混淆矩陣，如表5和表6所示。根據(jù)混淆矩陣，進(jìn)行如下定義：

1)準(zhǔn)確率：所有預(yù)測正確樣本占總樣本的比例；

2)精確率：真正例占所有預(yù)測為正的比例；

3)召回率：真正例占正樣本的比例；

4)F1-score：精確率和召回率的調(diào)和平均值。

表5 二分類問題的混淆矩陣

表6 性能指標(biāo)公式

速率(speed rate)即每秒鐘所能預(yù)測的圖像幀數(shù)，單位fps。

本文使用準(zhǔn)確率、F1-score和速率作為對(duì)模型的評(píng)價(jià)指標(biāo)。

3.2 結(jié)果分析

首先以準(zhǔn)確率和速率來評(píng)價(jià)4個(gè)網(wǎng)絡(luò)模型。本文分別訓(xùn)練了上文2.2中的4個(gè)網(wǎng)絡(luò)，均訓(xùn)練至10 000步，并將參數(shù)文件保存用于測試，其結(jié)果如表7所示。

表7 4種網(wǎng)絡(luò)模型準(zhǔn)確率和速率對(duì)比

從表7可以明顯看出經(jīng)過遷移學(xué)習(xí)后的網(wǎng)絡(luò)準(zhǔn)確率比未遷移學(xué)習(xí)的網(wǎng)絡(luò)準(zhǔn)確率高了5個(gè)百分點(diǎn)左右。這一點(diǎn)充分說明了在鈦合金磨削燒傷圖片數(shù)據(jù)集較小時(shí)，使用遷移學(xué)習(xí)方法提高模型準(zhǔn)確率的正確性。同時(shí)還可以看出GoogLeNet的準(zhǔn)確率略高于ResNet，這一點(diǎn)說明了GoogLeNet在鈦合金分類識(shí)別上對(duì)燒傷特征強(qiáng)大的提取和識(shí)別能力。而GoogLeNet識(shí)別速率高于ResNet則說明了GoogLeNet使用的網(wǎng)絡(luò)參數(shù)較少，計(jì)算量相對(duì)于ResNet也要少一點(diǎn)，這些都體現(xiàn)了GoogLeNet網(wǎng)絡(luò)良好性能。

接下來，再以不同燒傷程度圖片的F1-score來對(duì)4個(gè)網(wǎng)絡(luò)進(jìn)行評(píng)價(jià)，其結(jié)果如圖3所示。

圖3 4種網(wǎng)絡(luò)模型在F1-score上的對(duì)比

從圖3中可以發(fā)現(xiàn)，預(yù)加載GoogLeNet網(wǎng)絡(luò)除了在輕度燒傷的識(shí)別上略顯不足，在其他類型上的燒傷均達(dá)到可觀的識(shí)別性能，尤其對(duì)中度燒傷的識(shí)別，其F1-score達(dá)到了0.99。

輕度燒傷的F1-score明顯偏低，分類效果最差。分析原因可能有兩點(diǎn)，首先鈦合金磨削輕度燒傷表面顏色、紋理不明顯；其次由于無燒傷的鈦合金表面出現(xiàn)加工振紋等噪聲信息，從而使得輕度燒傷與無燒傷在圖像表現(xiàn)上極為相似。

4 結(jié)語

本文提出了一種基于遷移學(xué)習(xí)的鈦合金燒傷圖像識(shí)別方法，搭建了深層卷積網(wǎng)絡(luò)模型。該模型以較高的準(zhǔn)確率識(shí)別出了無燒傷、輕度燒傷、中度燒傷、重度燒傷鈦合金圖像?；趯?shí)驗(yàn)試錯(cuò)法獲得了鈦合金磨削燒傷試樣，并通過圖像采集獲得了鈦合金燒傷圖像數(shù)據(jù)集。通過該數(shù)據(jù)集訓(xùn)練了遷移學(xué)習(xí)預(yù)加載參數(shù)GoogLeNet網(wǎng)絡(luò)、遷移學(xué)習(xí)預(yù)加載參數(shù)ResNet網(wǎng)絡(luò)、隨機(jī)初始化GoogLeNet網(wǎng)絡(luò)和ResNet網(wǎng)絡(luò)。遷移學(xué)習(xí)預(yù)加載參數(shù)GoogLeNet網(wǎng)絡(luò)模型更適合鈦合金燒傷圖像的分類識(shí)別，分類準(zhǔn)確率達(dá)到了97.71%，在中度燒傷圖片上F1-score更是達(dá)到了99%。使用該網(wǎng)絡(luò)可以每秒鐘預(yù)測約30張圖片，為以后的在線檢測磨削燒傷提供了強(qiáng)有力的支持。