基于改進YOLOX的地鐵列車焊接質量檢測

馬瑞，賀德強，賀歲球，陳彥君，靳震震，單晟

(1.廣西大學 機械工程學院，廣西 南寧 530004；2.中車株洲電力機車研究所有限公司，湖南 株洲 412001)

焊接作為金屬連接的主要方式之一，在地鐵列車鋁合金車體的生產制造中發(fā)揮著重要作用[1]。在實際加工過程中，焊接環(huán)境、焊接材料以及焊接技術的局限性導致了焊接缺陷的產生，因此，開展焊接質量檢測非常必要[2]。無損檢測是焊接質量檢測的常用方法，相控陣超聲波檢測技術作為一種便捷高效環(huán)保的無損檢測方式，其檢測靈敏度高，可以檢測出焊縫的表面和內部缺陷，內部缺陷主要有未焊透、未熔合、裂紋、氣孔和夾渣[3]。陳選民等[4]對鋼軌焊縫的相控陣超聲定點掃查工藝進行了研究，發(fā)現扇形掃描角度范圍在30°～70°之間的檢測能力最好。閆彧[5]通過超聲波檢測技術，對焊接缺陷類型、大小、位置做出了檢測與評估。但是傳統(tǒng)的無損檢測方法，需要人工檢測和判別缺陷類型，漏檢率和誤檢率較高。人工智能的發(fā)展為焊接質量檢測提供了新思路，與機器視覺結合的無損檢測方法得到廣泛應用[6]。在傳統(tǒng)機器視覺方面，余勝威等[7]提出基于PCA(Principal Component Analysis)降維的特征焊縫提取方法，有效檢測出轉向架焊接表面缺陷。SUN 等[8]提出了基于高斯混合特征提取的焊縫缺陷檢測模型，實現了焊縫缺陷的識別和分類。ZHANG 等[9]提出了一種基于支持向量機與網格搜索優(yōu)化交叉驗證的焊接缺陷檢測模型，可以識別未焊透、燒穿等焊接缺陷。YANG 等[10]提出了一種向量機多尺度缺陷檢測方法，運用遷移學習和多尺度融合方法，對于弱紋理和弱對比度圖像有較好的識別能力。以上焊縫檢測模型雖然取得一定成效，但是模型魯棒性不足，缺陷識別精度較低，而深度學習算法可以彌補這一缺陷。深度學習可以實現端到端的檢測，無須手動提取焊縫缺陷特征，且具有較強的特征學習和遷移學習能力，檢測效率較高。在深度學習機器視覺方面，鐘嘉俊等[11]提出了基于改進Faster R-CNN(Faster region convolutional neural network)的車體焊縫檢測方法，對焊接缺陷有較高的識別率和魯棒性。FENG 等[12]基于卷積神經網絡對電樞焊接表面缺陷進行了研究，但其網絡層數較少，所學習到的特征有限，檢測精度有待提高。針對焊接缺陷數據樣本不平衡的問題，GUO 等[13]提出了生成對抗網絡對樣本數量擴充，使得各類缺陷數據分布均衡。在實際焊接過程中，焊接缺陷往往并不是單一存在，而是各種缺陷混雜，焊接缺陷密集分布且尺度變化較大，給焊接缺陷檢測帶來了巨大挑戰(zhàn)。常見焊接缺陷的相控陣超聲波圖像如圖1(a)～1(d)所示，按照焊縫缺陷的分布情況可以分為2類，稀疏分布(圖1(a)～1(b))和密集分布(圖1(c)～1(d))，其中焊接缺陷密集分布情況較為常見。各種檢測網絡中，YOLOX 對混雜的焊接缺陷進行精確定位，對密集分布和尺度變化較大的焊接缺陷有較好的特征提取能力，YOLOX 對圖1(a)～1(d)特征提取的熱力圖如圖1(e)～1(h)所示，焊接缺陷被較好地識別。此外，YOLOX 具有YOLO(you only look once)系列不生成候選框直接進行檢測、檢測速度快的優(yōu)勢，也用anchor free方法減少負樣本數，緩解正負樣本不平衡的問題，提高檢測精度[14]。但是YOLOX 模型存在梯度流消失問題，多尺度特征融合能力需要進一步加強。YI等[15]引入MobileViT(mobile vision transformer)模塊對YOLOX 模型改進，增強了其主干網絡的特征提取能力，但其80.67%的檢測精度，40.37 fps 的檢測速度，難于滿足實際應用需求。WU 等[16]在YOLOX 模型中引入Atrous 空間金字塔池化和卷積注意力機制，提高多尺度圖像的檢測能力，但其誤檢率較高。綜上所述，現有的焊接質量檢測網絡雖然取得了一定成效，但其特征提取不全面，缺乏多尺度特征融合，檢測精度和速度還有待提高。針對目前焊接質量檢測智能化水平不高、檢測效率低的問題，提出了一種改進的YOLOX 智能檢測方法，在YOLOX 模型中引入了跨階段分部網絡(Cross-stage Partial Dark Network,CSPDarkNet)、密集連接網絡(Densely Connected Network,DCN)、加權雙向金字塔網絡(Bidirectional Feature Pyramid Network,BiFPN)和自適應空間融合網絡(Adaptively Spatial Feature Fusion,ASFF)，對相控陣超聲波檢測儀采集到的焊接缺陷進行識別，有效提高了焊接質量檢測的效率。

圖1 焊接缺陷圖像Fig.1 Images of welding defects

1 焊接質量檢測模型

1.1 改進的CSPDarkNet

為了解決焊縫缺陷圖像中存在的缺陷密集分布導致檢測精度低、檢測速度不高的問題，改進的YOLOX 將原有的DarkNet 采用跨階段分部CSP結構[17-18]，并將CSPDarkNet 網絡中的殘差網絡改為密集連接網絡DCN[19]，改進的CSPDarkNet 網絡結構如圖2 所示。CSP 結構通過劃分區(qū)域減少信息的重復學習，DCN 減輕梯度消失問題，減少了參數數量，對提高模型的檢測精度和檢測速度具有重要作用。

圖2 改進的CSPDarkNetFig.2 Improved CSPDarkNet

如圖2(a)所示，CSP 結構的作用原理是先采樣，將輸出特征圖經過1*1 卷積分為2 部分，且卷積后的特征圖通道數為輸入特征圖通道數的一半。經過DarkNet 卷積塊之后，再使用1*1 卷積整合通道特征。CSP結構可以最大化梯度聯合的差異，通過梯度流截斷，可以避免不同的卷積層學習到重復的梯度信息，從而提升網絡的學習能力。

CSPDarkNet 的前向傳播與權重計算如式(1)～(6)所示。將圖像的特征圖均分為2部分，分別用和表示，每部分都有k層卷積，如式(1)所示。通過DarkNet 進行特征提取的輸出為xT，不計算，最后將和xT通過concat 操作的結果定義為xU。xi，xk，xT，xU分別表示前向傳播過程中的特征圖，Wk，WT，WU與，，分別表示更新前和更新后的權重，f表示權重更新函數，gi表示第i層卷積的梯度。

如圖2(b)所示，DCN 中dense 單元密集連接加強了不同層之間的連接關系，網絡中的每一層都與前面層相連，實現特征的傳遞和復用，進一步減輕了梯度消失問題，提高了特征提取能力。DCN 比殘差網絡有更少的參數，因為它每一層都設計得比較窄，密集連接使它不需要再重新學習多余的特征圖，即每一層只學習很少的特征就學習到足夠的信息，使得參數量和計算量顯著減少，降低了模型的參數冗余性，有利于模型檢測速度的提高。

1.2 改進的BiFPN

為了解決焊接缺陷圖像中焊接缺陷尺度變化較大導致的檢測精度降低的問題，將原有的YOLOX 中路徑聚合金字塔網絡(Path Aggregation Feature Pyramid Network，PAFPN)改成了加權雙向金字塔網絡BiFPN[20]和自適應空間融合網絡ASFF[21]，從而實現更高層次的特征融合，改進的BiFPN 網絡結構如圖3 所示。BiFPN 可以實現雙向路徑和多尺度融合，雙向表示自頂向下和自底向上，加權表示帶權重進行特征融合。圖3中三箭頭表示自頂向下的通路，傳遞高層特征語義信息；雙箭頭表示自底向上的通路，傳遞低層特征的位置信息。P3-P7分別表示不同層的特征圖，每一層都包含輸入與輸出，P4-P6包含中間層。ASFF 對BiFPNP4-P6輸出的特征信息做自適應空間特征融合，從而提高特征的尺度不變性。ASFF 的核心思想是自適應地學習每個尺度上特征圖融合的空間權值，包含特征圖尺度調整和自適應融合兩部分。ASFF 的輕量化結構使得提高檢測精度的同時，對檢測速度幾乎無影響。

圖3 改進的BiFPNFig.3 Improved BiFPN

BiFPN特征圖的計算如公式(7)～(9)所示。，分別表示第7 級、第6 級特征圖的輸入，表示第6 級特征圖的中間層，分別表示第7級、第6 級特征圖的輸出，Conv表示卷積運算，Resize表示上采樣或者下采樣運算，自頂向下是上采樣，自底向上是下采樣。w1，w2表示第6級特征圖的中間層的權重，，，表示第6級特征圖的輸出層的權重。常數項ε=0.000 1。第3 級到第5級特征圖的計算與第6級類似。

1.3 改進的YOLOX網絡結構

改進的YOLOX 網絡主要由輸入端、特征提取網絡、特征融合網絡和目標檢測網絡四部分組成，如圖4 所示。輸入端將焊縫缺陷圖像尺寸通過多尺度融合重置為640×640，并分為R，G，B 3 個通道輸入到特征提取網絡中，如圖4(a)所示。

圖4 改進的YOLOX結構Fig.4 Structure of improved YOLOX

特征提取網絡如圖4(b)所示。輸入的特征圖圖像依次經過dense-CSPDark2-5，學習焊縫缺陷圖像的特征信息。CSP結構增強了卷積神經網絡的學習能力，占用較少的顯存空間，加快了網絡的推理速度。DCN 網絡加強特征連接和特征復用，減少了參數量，提高了模型訓練和測試的速度?；揪矸e、Focus，dense-CSP結構和SPP(Spatial Pyramid Pooling)的單元構成，如圖4(e)所示。

特征融合網絡如圖4(c)所示。改進的BiFPN 將網絡輸出的有效特征層和SPP結構的輸出進行特征融合。BiFPN為雙向路徑，一個是將低層的語義信息向高層融合，另一個是將高層的語義信息向低層融合。首先，對SPP結構的輸出的特征圖進行卷積和上采樣，對網絡輸出特征圖卷積，將2個結果在通道維度上堆疊，然后將結果再進行卷積和上采樣，將2個特征圖在通道維度上堆疊，完成低層的語義信息向高層融合。同理，可以實現高層的語義信息向低層融合。BiFPN輸出的特征信息分別輸入到ASFF 網絡中，進行自適應空間特征融合。ASFF 在空間領域過濾沖突信息以抑制不一致特征，提升網絡對不同尺度目標的特征融合能力。

目標檢測網絡如圖4(d)所示。目標檢測網絡采用解耦檢測頭結構，可以提高檢測性能，提升收斂速度。不同的分支對應于ASFF 輸出的不同尺度下的特征圖，結合不同的尺度對焊接缺陷進行精確分類。

2 數據采集與處理

地鐵列車車體生產制造中，T 型焊縫較為常見，如圖5(a)～5(h)所示。實驗數據為中車某公司生產的車體焊接試件，如圖5(i)所示。焊縫類型為T 型焊縫，材料為6082 鋁合金，焊接方式為MIG(metal inert-gas welding)，用相控陣超聲波檢測儀采集了1 500 張焊接缺陷圖像，如圖6 所示。用labelme 軟件分別標注為LOF(未熔合)、IP(未焊透)、crack(裂紋)、slag(夾渣)、core(氣孔)，如圖7所示。為了提高數據集的泛化能力，避免過擬合，將1 500 張圖像通過旋轉、平移、改變亮度、增加噪聲等數據增強技術擴增到3 000 張。并以9︰1 的比例劃分訓練集和測試集，即訓練集有2 700 張圖像，測試集有300 張圖像。每張圖像含有1 個或多個焊接缺陷，5種焊接缺陷數量如表1所示。

表1 焊接缺陷數量Table 1 Amount of welding defects

圖5 地鐵列車鋁合金車體和試件Fig.5 Aluminum alloy body of metro train and test piece

圖6 相控陣超聲波檢測T型焊縫焊接缺陷Fig.6 T-type welding defect detection by phased array ultrasound

圖7 5種焊接缺陷類型Fig.7 Five kinds of welding defects

3 模型訓練與測試

3.1 實驗環(huán)境與性能評估指標

模型訓練和測試的軟件系統(tǒng)為Ubuntu20.04 系統(tǒng)，搭建MMDetection 框架，配套安裝Pytorch 1.11.0，TorchVision 0.12.0，Cuda 11.3.1，mmdet 2.25.0 和mmcv-full 1.4.8。硬件系統(tǒng)CPU 為I7-11800H@2.30 GHz，GPU 為英偉達顯卡RTX3070。利用訓練集2 700 張圖像訓練模型，一共訓練300輪，并獲得檢測精度最高的權重文件。利用測試集300張圖像和模型訓練中的權重文件對模型的檢測性能進行測試。模型訓練中batchsize 設置為2，即每次訓練時輸入2 張圖像，每輪訓練1 350 次。具體模型參數設置如表2所示。

表2 模型參數設置Table 2 Model parameter setting

模型的檢測性能評估指標有平均檢測精度mAP(mean average precision)和幀速率FPS(frames per second)。AP(average precision)表示每一類焊縫缺陷的檢測精度，mAP表示5種焊縫缺陷的平均檢測精度。檢測速度用幀速率表示，即每秒檢測的圖像數。

3.2 焊縫檢測模型對比

為了驗證模型的有效性，將改進的YOLOX 模型與主流網絡Faster R-CNN，Cascade R-CNN，YOLO V5 以及YOLOX 進行對比，評估其檢測性能。如表3 所示，改進YOLOX 的平均檢測精度mAP 和檢測速度是最高的，分別達到了97.3%，78.4 fps。在同樣采用CSP 結構的情況下，改進YOLOX 模型比原始YOLOX 的檢測精度提高4.5%，檢測速度提高3.6 fps。改進YOLOX 對于未焊透缺陷的檢測精度最高，達到了98.60%，其次是夾渣缺陷，檢測精度達到了98.50%，表現出優(yōu)秀的檢測性能。

3.3 特征提取網絡對比

將幾種特征提取網絡的檢測效果進行對比，如表4 所示。ResNet 是Faster R-CNN 和Cascade RCNN 的特征提取網絡，Darknet 是YOLOX 的特征提取網絡，CSPDarknet 是YOLO V5 的特征提取網絡。由表4 可知，改進CSPDarknet 的檢測性能最好，CSP 結構和DCN 密集連接有利于充分提取密集分布和多尺度的焊接缺陷特征信息，減少參數量，提高檢測速度。改進CSPDarknet 比原始CSPDarknet 的檢測精度提高了4.14%，檢測速度提高了4.0 fps。

表4 特征提取網絡對比Table 4 Comparison of feature extraction networks

3.4 特征融合網絡對比

將改進BiFPN 與PAN，BiFPN 進行對比，如表5所示，可知改進BiFPN 具有BiFPN 雙向加權融合和ASFF 空間自適應融合的優(yōu)勢，對密集分布的焊接缺陷特征充分學習。相比BiFPN，改進BiFPN在不犧牲檢測速度的情況下，將檢測精度提高了1.8 %。

3.5 模型魯棒性分析

用改進的YOLOX 網絡檢測測試集的300 張圖像，部分檢測結果如圖8 所示。圖8(a)～8(b)為稀疏分布的焊接缺陷圖像，圖8(c)～8(d)為密集分布的焊接缺陷圖像。改進的YOLOX 模型對于密集分布的焊接缺陷具有較高的檢測精度，均在94%以上，模型的抗干擾能力比較強。為了更好的檢測模型的魯棒性，對圖8(a)～8(d)通過添加斑點、改變亮度等方式增加噪聲，如圖8(e)～8(h)所示。對于添加噪聲的焊接缺陷圖像，改進的YOLOX 網絡仍可以準確識別各種焊接缺陷，其檢測精度與無噪聲時相近。如圖8(a)和8(e)所示，有噪聲和無噪聲時，氣孔缺陷(core)的檢測精度均為95%，說明該模型具有較好的魯棒性。

4 結論

1) 將深度學習與相控陣超聲波檢測技術結合，提出了一種基于改進YOLOX 的地鐵列車焊接質量智能檢測方法。在特征提取網絡中，引入CSP 結構和dense 網絡；在特征融合網絡中，引入BiFPN和ASFF 網絡。在同樣采用CSP 結構的情況下，改進后的YOLOX 比原始YOLOX 的檢測精度提高4.5%，檢測速度提高3.6 fps。

2) 改進后的YOLOX 模型對圖像噪聲的抗干擾能力較強，表現出較好的魯棒性。

3) 提出的改進YOLOX智能檢測算法尚未部署到相控陣超聲波檢測儀終端，未來需要在模型的部署方面進一步研究。