液體火箭發(fā)動(dòng)機(jī)推力室熔焊縫數(shù)字化膠片圖像缺陷識(shí)別方法研究

任文堅(jiān) ，王永紅 ，李春凱 ，石 玗 ，孫忠誠(chéng) ，3，秦建剛

1.西安航天發(fā)動(dòng)機(jī)有限公司，陜西 西安 710100

2.蘭州理工大學(xué) 省部共建有色金屬先進(jìn)加工與再利用國(guó)家重點(diǎn)實(shí)驗(yàn)室，甘肅 蘭州 730050

3.蘭州瑞奇戈德測(cè)控技術(shù)有限公司，甘肅 蘭州 730010

0 前言

推力室是液體火箭發(fā)動(dòng)機(jī)的重要組成部分，由噴注器、燃燒室和噴管等部分構(gòu)成，其中噴注器和燃燒室主要通過(guò)熔焊工藝進(jìn)行連接［1］。在火箭發(fā)動(dòng)機(jī)實(shí)際運(yùn)行過(guò)程中，當(dāng)推力室室壓較高、推進(jìn)劑充分燃燒時(shí)，推力室頭部溫度較高，若焊縫存在焊漏、裂紋和孔洞等缺陷可能會(huì)引起焊縫失效，甚至影響發(fā)動(dòng)機(jī)正常運(yùn)行［2］。因此，研究高效穩(wěn)定的推力室熔焊縫焊接質(zhì)量檢測(cè)方法具有重要意義。

目前焊縫缺陷識(shí)別主要采用X射線檢測(cè)技術(shù)，但在實(shí)際生產(chǎn)中X射線檢測(cè)缺陷評(píng)定過(guò)程仍主要依賴人工識(shí)別，存在檢測(cè)效率低、檢測(cè)結(jié)果受主觀因素影響較大、自動(dòng)化程度低等問(wèn)題［3-4］。通過(guò)數(shù)字圖像處理及模式識(shí)別等方法實(shí)現(xiàn)焊縫缺陷的自動(dòng)檢測(cè)與識(shí)別［5-6］可以很大程度上克服人工識(shí)別的缺點(diǎn)?；诖?，國(guó)內(nèi)外學(xué)者針對(duì)X射線焊縫數(shù)字化膠片圖像缺陷的檢測(cè)與識(shí)別展開(kāi)了大量的研究。羅愛(ài)民等人［7］基于改進(jìn)二叉樹(shù)多分類(lèi)的SVM算法提高了焊縫缺陷分類(lèi)識(shí)別精度。Zhang 等人［8］分別采用基于圖像處理和WGAN處理的數(shù)據(jù)增強(qiáng)方法來(lái)處理缺陷圖像，再通過(guò)多模型集成框架將訓(xùn)練好的CNN圖像結(jié)合起來(lái)對(duì)缺陷進(jìn)行分類(lèi)，成功降低了誤檢率。Liu等人［9］基于深度學(xué)習(xí)提出了一種多尺度特征映射方法，用于低質(zhì)量焊縫圖像的缺陷識(shí)別，通過(guò)特征融合模型來(lái)融合映射的局部和全局特征，從而提高缺陷識(shí)別性能。劉涵等人［10］基于排序點(diǎn)的聚類(lèi)算法對(duì)一定區(qū)域內(nèi)的缺陷和噪聲進(jìn)行分割并構(gòu)建焊縫缺陷圖像的樣本庫(kù)，通過(guò)CNN和Soft‐max分類(lèi)器相結(jié)合的算法實(shí)現(xiàn)了缺陷的準(zhǔn)確識(shí)別。上述研究雖在一定程度上提高了缺陷檢測(cè)的可靠性以及自動(dòng)化程度，但由于成像條件以及算法的復(fù)雜性和局限性，在實(shí)際應(yīng)用中仍存在許多問(wèn)題需要進(jìn)一步研究。

本文提出了一種基于YOLO V3的推力室熔焊縫數(shù)字化膠片圖像缺陷識(shí)別方法，對(duì)膠片圖像進(jìn)行預(yù)處理并構(gòu)建數(shù)據(jù)集樣本，開(kāi)發(fā)了基于深度學(xué)習(xí)理論的YOLO V3缺陷自識(shí)別模型，實(shí)現(xiàn)了推力室熔焊縫膠片數(shù)字化圖像缺陷的智能識(shí)別。

1 膠片圖像預(yù)處理與樣本集構(gòu)建

為了將原始X膠片圖像進(jìn)行數(shù)字化以便于后續(xù)圖像預(yù)處理和深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建，選用VIDAR NDT PRO工業(yè)膠片數(shù)字化掃描儀對(duì)1 034張X膠片圖像進(jìn)行掃描，部分掃描后的數(shù)字圖像如圖1所示?？梢钥闯?，掃描后的膠片數(shù)字化圖像具有以下特點(diǎn)：（1）焊縫缺陷在數(shù)字化圖像中的對(duì)比度低且占比較小；（2）掃描后數(shù)字化圖像尺寸不一致，這是由于原始膠片尺寸規(guī)格不一造成的；（3）單張數(shù)字圖像中存在多種不同類(lèi)型缺陷。

圖1 膠片掃描后數(shù)字圖像Fig.1 Digital image after film scanning

1.1 數(shù)字圖像尺寸歸一化

考慮到掃描后數(shù)字圖像尺寸不一致不利于后續(xù)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建以及AI缺陷識(shí)別效果，需對(duì)掃描后數(shù)字圖像進(jìn)行圖像分割和尺寸歸一化處理。具體流程為：第一步，選定某一尺寸（400×800）作為標(biāo)準(zhǔn)尺寸；第二步，圖像分割與圖像填充操作。將所有數(shù)字圖像與標(biāo)準(zhǔn)尺寸做對(duì)比，若原始圖像大于標(biāo)準(zhǔn)尺寸，按照標(biāo)準(zhǔn)尺寸將原始圖像分割為若干標(biāo)準(zhǔn)尺寸區(qū)域，若部分區(qū)域分割完小于標(biāo)準(zhǔn)尺寸則進(jìn)行圖像邊緣填充，進(jìn)而保證與標(biāo)準(zhǔn)尺寸的一致性；若原始圖像小于標(biāo)準(zhǔn)尺寸，則將小于標(biāo)準(zhǔn)尺寸的區(qū)域進(jìn)行圖像填充運(yùn)算保證與原始圖像大小一致。圖像分割與尺寸歸一化算法詳細(xì)流程如圖2所示。

圖2 圖像分割與歸一化算法流程Fig.2 Image segmentation and normalization algorithm flow

1.2 圖像增強(qiáng)算法

由于膠片在數(shù)字化掃描過(guò)程中無(wú)法避免會(huì)出現(xiàn)信息丟失和噪聲引入，為了盡可能增加圖像中缺陷與背景的對(duì)比度并削弱噪聲的干擾，需對(duì)尺寸歸一化后的圖像進(jìn)行圖像降噪、對(duì)比度增強(qiáng)以及銳化濾波預(yù)處理。

圖像降噪算法采用中值濾波，計(jì)算公式為

式中 （x，y）表示集合R中的元素；Sort表示排序；R表示圖像中心點(diǎn)（x0，y0）周?chē)丶?；T表示集合R中元素的個(gè)數(shù)。

圖對(duì)比度增強(qiáng)算法采用冪律變換，計(jì)算公式為

s(x,y)=c[g(x,y)]γ

式中c為比例因子；γ為伽馬因子，取值范圍［0，1］。

銳化濾波采用拉普拉斯算子作為卷積核對(duì)對(duì)比度增強(qiáng)后圖像進(jìn)行銳化濾波，拉普拉斯算子形式如下

中值濾波和冪律變換前后的數(shù)字圖像對(duì)比如圖3所示，可以看出經(jīng)過(guò)圖像預(yù)處理，原始圖像中缺陷輪廓更為明顯。

圖3 預(yù)處理前后的數(shù)字圖像對(duì)比Fig.3 Comparison of digital images before and after pretreatment

1.3 數(shù)字圖像樣本集構(gòu)建

通過(guò)圖像歸一化和圖像增強(qiáng)處理后共得到了2 650張熔焊縫數(shù)字圖像?？紤]到2 650張對(duì)于后續(xù)構(gòu)建深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型而言樣本集過(guò)少，為此采用旋轉(zhuǎn)、平移、翻轉(zhuǎn)等圖像操作對(duì)原始圖像進(jìn)行了擴(kuò)增，如圖4所示，經(jīng)圖像擴(kuò)增后樣本集的數(shù)量為5 600張，為后續(xù)建立AI智能識(shí)別算法奠定基礎(chǔ)。

圖4 圖像擴(kuò)增Fig.4 Image amplification

2 深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)

為實(shí)現(xiàn)液體火箭發(fā)動(dòng)機(jī)推力室熔焊縫缺陷的智能識(shí)別，提出采用基于YOLO V3的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)算法來(lái)開(kāi)發(fā)AI熔焊縫缺陷智能識(shí)別系統(tǒng)。

2.1 數(shù)字圖像缺陷的人工標(biāo)注

在建立的數(shù)字圖像樣本集中隨機(jī)抽取了3 000張作為模型訓(xùn)練的圖像樣本訓(xùn)練集，200張作為圖像測(cè)試集用于評(píng)價(jià)深度學(xué)習(xí)模型的泛化能力。為了后續(xù)訓(xùn)練基于YOLO V3深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型，對(duì)圖像樣本集中的熔焊縫缺陷進(jìn)行了人工標(biāo)注，缺陷標(biāo)注圖像如圖5所示。

圖5 典型缺陷人工標(biāo)注Fig.5 Manual marking of typical defects

2.2 神經(jīng)網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)

設(shè)計(jì)的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型為YOLO V3網(wǎng)絡(luò)，網(wǎng)絡(luò)架構(gòu)如圖6所示。YOLO V3主要由三部分組成：Backbone骨干網(wǎng)絡(luò)結(jié)構(gòu)的Darknet-53網(wǎng)絡(luò)、特征匯總的FPN網(wǎng)絡(luò)和分類(lèi)回歸輸出網(wǎng)絡(luò)，各塊網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示。其中，Darknet-53網(wǎng)絡(luò)主要功能是提取原圖片信息，分別提取為32*32的大型感受野（共13*13個(gè)），16*16的中型感受野（共26*26個(gè)），以及8*8的小型感受野（共52*52個(gè)），分別用于提取大型、中型以及小型特征信息。之后將提取的信息傳入FPN網(wǎng)絡(luò)中進(jìn)行匯總，并用分類(lèi)回歸網(wǎng)絡(luò)對(duì)圖片每部分進(jìn)行分類(lèi)計(jì)算。

圖6 Darknet-53結(jié)構(gòu)Fig.6 Structure of Darknet-53

圖7 特征匯總及分類(lèi)回歸網(wǎng)絡(luò)結(jié)構(gòu)Fig.7 Feature summary and classification regression network structure

2.3 優(yōu)化算法

該網(wǎng)絡(luò)損失函數(shù)為網(wǎng)絡(luò)各部分損失函數(shù)之和，總表達(dá)式為

其中，目標(biāo)檢測(cè)框回歸損失函數(shù)采用均方誤差損失函數(shù)，類(lèi)別和置信度損失函數(shù)采用交叉熵?fù)p失函數(shù)。在反向傳播過(guò)程中，所使用的優(yōu)化算法為Momentum。設(shè)小批量隨機(jī)梯度為gt，學(xué)習(xí)率為λt，時(shí)間步t的自變量為xt。在t=0時(shí)，創(chuàng)建速度變量v0，并將其元素化為0。在時(shí)間步t>0時(shí)，對(duì)每次迭代的步驟做如下修改：

式中 參數(shù)γ滿足0≤γ≤1。在γ=0時(shí)，Momentum等價(jià)于小批量隨機(jī)梯度下降。

3 模型訓(xùn)練與性能測(cè)試

3.1 模型訓(xùn)練

基于Python編程語(yǔ)言環(huán)境和Tensorflow平臺(tái)編寫(xiě)了YOLO V3算法神經(jīng)網(wǎng)絡(luò)模型，并在Intel Core i7 6700K+GTX 1080的電腦上對(duì)模型進(jìn)行訓(xùn)練。

網(wǎng)絡(luò)四種損失函數(shù)曲線如圖8所示。四種損失函數(shù)曲線都符合如下趨勢(shì)：網(wǎng)絡(luò)在訓(xùn)練集和測(cè)試集上的損失函數(shù)曲線變化趨勢(shì)相同，都表現(xiàn)為在前期訓(xùn)練輪次中網(wǎng)絡(luò)損失函數(shù)下降較快，之后下降速度逐漸減慢，曲線趨于平緩，并逐漸收斂于一個(gè)較小值，且收斂值相近，說(shuō)明網(wǎng)絡(luò)性能及擬合泛化程度良好。但二者仍存在部分差異，表現(xiàn)為：網(wǎng)絡(luò)在訓(xùn)練集上訓(xùn)練時(shí)曲線下降較為平滑，但在測(cè)試集上訓(xùn)練時(shí)在訓(xùn)練集損失函數(shù)曲線附近劇烈波動(dòng)，后期波動(dòng)幅度減小，逐漸逼近收斂于訓(xùn)練集損失函數(shù)曲線收斂值。該差異說(shuō)明網(wǎng)絡(luò)對(duì)訓(xùn)練集樣本的擬合優(yōu)度上升與網(wǎng)絡(luò)泛化性能的提升并非同步，但隨著網(wǎng)絡(luò)擬合優(yōu)度的增加，網(wǎng)絡(luò)泛化性能呈現(xiàn)提升趨勢(shì)，且最終逼近擬合優(yōu)度。

圖8 損失函數(shù)曲線Fig.8 Loss function curve

3.2 性能測(cè)試

為了驗(yàn)證所構(gòu)建YOLO V3深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)AI缺陷識(shí)別模型用于識(shí)別膠片數(shù)字化圖像中熔焊縫缺陷的準(zhǔn)確性以及泛化能力，利用測(cè)試集（200張數(shù)字圖像）對(duì)其進(jìn)行了測(cè)試，YOLO V3模型自動(dòng)識(shí)別的熔焊縫缺陷如圖9所示。

圖9 自動(dòng)識(shí)別的典型缺陷Fig.9 Automatic identification

通過(guò)比對(duì)AI模型自識(shí)別結(jié)果和人工識(shí)別結(jié)果來(lái)評(píng)估所建立YOLO V3算法的識(shí)別準(zhǔn)確性和泛化能力。主要通過(guò)漏檢率、誤判率和準(zhǔn)確率三個(gè)技術(shù)指標(biāo)來(lái)評(píng)估，三個(gè)技術(shù)指標(biāo)的計(jì)算為

通過(guò)比對(duì)測(cè)試集中200張數(shù)字圖像發(fā)現(xiàn)，所建立的AI缺陷自識(shí)別模型對(duì)于氣孔類(lèi)缺陷的漏檢率為2.3%，誤判率為3.3%，準(zhǔn)確率為94.4%；未熔合類(lèi)缺陷的漏檢率為1.4%，誤判率為2.8%，準(zhǔn)確率為95.8%；未焊透類(lèi)缺陷的漏檢率為3.2%，誤判率為3.6%，準(zhǔn)確率為93.2%；裂紋類(lèi)缺陷的漏檢率為5.2%，誤判率為4.4%，準(zhǔn)確率為90.4%。相比較而言，AI缺陷智能識(shí)別模型對(duì)于裂紋類(lèi)缺陷的識(shí)別準(zhǔn)確性與泛化能力明顯低于氣孔、未熔合、未焊透等三類(lèi)缺陷，這主要是兩方面原因造成：一是裂紋類(lèi)缺陷較其他類(lèi)型缺陷樣本數(shù)量較??；二是部分裂紋類(lèi)缺陷的人工標(biāo)注存在一定爭(zhēng)議，導(dǎo)致訓(xùn)練集中存在錯(cuò)誤樣本。對(duì)于上述問(wèn)題可通過(guò)進(jìn)一步增加裂紋類(lèi)樣本數(shù)量、提高人工標(biāo)注的準(zhǔn)確性來(lái)提升模型泛化能力。

4 結(jié)論

（1）設(shè)計(jì)基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的YOLO V3算法模型能夠用于液體火箭發(fā)動(dòng)機(jī)推力室熔焊縫膠片數(shù)字化圖像缺陷的智能識(shí)別與分類(lèi)，且分類(lèi)準(zhǔn)確性均高于90%。

（2）所建立AI模型對(duì)于裂紋類(lèi)缺陷識(shí)別準(zhǔn)確性相對(duì)較低是由于樣本集過(guò)少，且部分樣本人工標(biāo)注存在爭(zhēng)議。

（3）綜合文中漏檢率、誤判率和準(zhǔn)確率三個(gè)評(píng)價(jià)指標(biāo)來(lái)看，缺陷漏判對(duì)于該檢測(cè)技術(shù)在實(shí)際工程應(yīng)用而言存在一定的安全隱患，為了解決現(xiàn)有模型漏檢率相對(duì)較高的問(wèn)題，后續(xù)進(jìn)一步增加訓(xùn)練樣本，并在模型輸出結(jié)果中增加置信度判斷指標(biāo)，對(duì)于置信度相對(duì)較低的膠片采用人工二次核查，以此來(lái)避免缺陷漏判，進(jìn)而保證檢測(cè)質(zhì)量。