基于深度學習的自沖鉚接偏鉚缺陷檢測算法研究*

崔俊佳，張 軍，莦茹茹，蔣 浩，廖宇軒，李光耀

（1.湖南大學汽車車身先進設計制造國家重點實驗室，長沙 410082；2.北京理工大學深圳汽車研究院（電動車輛國家工程實驗室深圳研究院），深圳 518118）

為響應國家可持續(xù)發(fā)展戰(zhàn)略，輕量化已經成為節(jié)能減排的重要方式，特別在航空工業(yè)中，對航空飛行器每一克的自重都錙銖必較，對輕量化的需求十分迫切。針對輕量化需求，多種材料機身成為主流，由此誕生多種異種材料連接工藝。其中自沖鉚接在連接異種材料時穩(wěn)固可靠、方便快捷而備受關注。飛機蒙皮和骨架上，都會大面積運用鉚接完成材料的連接。因此，針對自沖鉚接工藝產生的缺陷以及接頭性能評估的研究就顯得尤為重要。

國內外學者針對自沖鉚接工藝進行了較為全面的研究，Han等[1]以預應變等級為變量，對SPR（Selfpiercing riveting）試件進行剪切拉伸試驗和疲勞試驗，得出預應變等級同抗拉強度和疲勞壽命呈正相關。Rao等[2]研究了兩種不同搭接方式下碳纖維復材– AA6111鋁合金鉚接件的疲勞性能，試驗結果表明鉚接件的釘頭高度對接頭的最大剪切載荷及失效時應力循環(huán)次數有著顯著的影響。黎雄等[3]采用LS – DYNA軟件建立玻璃纖維增強熱塑性復合材料 （GFRTP）的自沖鉚接有限元模型，對SPR過程進行數值模擬和試驗驗證，與金屬SPR接頭釘腿被下工件完全包裹而形成自鎖結構不同，GFRTP工件SPR接頭的形成機理是釘腿穿透下工件而向外翻卷，與釘頭一起形成機械鎖。蔣浩等[4]采用電磁鉚接的方式探究了碳纖維–鋁合金電磁鉚接接頭的力學性能，當以微觀組織等性能作為評價指標時，最優(yōu)放電能量為5.0 kJ；當以接頭剪切力作為評價指標時，最優(yōu)放電能量為5.3 kJ。

針對自沖鉚接質量檢測方法的研究也隨著自沖鉚接工藝的發(fā)展而逐漸深入。Han等[5]使用NDT（Non-Destructive-Testing）技術測試了一系列SPR接頭，研究得出對于一些有兩層或三層的鋁接頭，NDT技術可以檢測到壞的接頭，但是對于涉及非常薄的鋁板和鋼板的接頭，該方法的檢測精度還有待提高。Johnson等[6]引入機器視覺的方式，對鉚釘裝載是否到位、是否存在重復鉚接進行監(jiān)控，并且提供了一些可確定鉚接面板厚度的方法，繼而避免一些可能會在強度和美觀方面損害機械自鎖結構的故障發(fā)生。Haque等[7]研究了不同厚度的碳鋼板和不同硬度等級的鋼鉚釘鉚接時產生的力–位移特性曲線，將力–位移曲線分為四個不同的階段，并提出力–位移曲線可用于監(jiān)測相同工藝參數鉚接接頭質量的可行性。

人工智能技術的逐步成熟和在制造業(yè)中的成功應用，是制造業(yè)實現智能化的關鍵技術保障，目前越來越多基于人工智能的方法被運用到無損檢測的領域。Zhao等[8]采用ANN（Artificial Neural Network）對自沖鉚接內部自鎖結構進行預測，并對鉚釘、鉚模進行最優(yōu)化匹配。Karathanasopoulos等[9]也提出類似的神經網絡對廣泛可能的自穿鉚接場景下的成功接頭的形成進行精確分類。蔣玲[10]構建了兩種基于卷積神經網絡的子圖像裂紋識別網絡，并編寫遍歷搜索算法，將已構建的基于子圖像的裂紋識別網絡的應用范圍拓展到自沖壓鉚接全尺寸圖像的裂紋待檢測區(qū)域，完成自沖鉚接裂紋的自動識別。

雖然針對自沖鉚接工藝的研究比較充分，但針對其工藝產生的缺陷及其缺陷檢測方面的研究卻鮮見。本文針對自沖鉚接偏鉚缺陷提出了一種基于YOLOv5s加ResNet18的檢測算法。算法兼顧效率和正確率，并具有極高的魯棒性和遷移能力。

1 試驗及方法

1.1 自沖鉚接設備與視覺檢測平臺

自沖鉚接的設備和鉚接過程如圖1所示。鉚接步驟主要可以分為4個階段：

圖1 自沖鉚接設備及流程圖Fig.1 Self-piercing riveting equipment and flow chart

（1）夾緊階段，壓邊圈對上板施加壓力，為固定鉚釘、上下板材和凹模之間提供下壓力；

（2）穿刺階段，鉚釘受力持續(xù)下降，刺穿上板，該環(huán)節(jié)鉚釘不會發(fā)生較大的形變，否則會影響自鎖結構的形成；

（3）擴張階段，鉚釘受力下降并受下板和鉚模的阻礙，擴張變形，形成自鎖結構；

（4）卸載階段，鉚接完成，壓邊圈和沖頭上升，鉚接接頭卸力回彈。

本次試驗所有圖像均由一款4800 W像素的CCD（Charge Coupled Device）工業(yè)相機采集得到。為避免偏鉚標定時出現由圖像采集造成的誤差，所有圖像均在設備調試合適后，固定設備同一批次采集。采集設備如圖2所示，最上方為圖像采集設備和廣角鏡頭，中部為環(huán)狀補光燈，下方為鉚接工件。本次試驗共采集了33個自沖鉚接件825張圖像數據。

圖2 視覺檢測平臺Fig.2 Platform of vision detection

1.2 偏鉚缺陷的影響與量化

采用厚度2 mm的5052鋁合金板 （下板）與3 mm的5083鋁合金板（上板）具體尺寸如圖3（a）所示，制作了3組正常件與3組偏鉚件，接頭形貌如圖3（b）所示。采用美國斯特朗公司生產的Instron 5985萬能試驗機對樣件進行2 mm/min的準靜態(tài)剪切試驗 （圖3（c））得到表1的試驗結果。偏鉚件相較于正常件最大剪切力下降了423.64 N，考慮到自沖鉚接作為車身或機身連接方式時總是成批使用，所以積累的力學性能下降會造成連接可靠性下降。

表1 最大剪切力Table 1 Maximum shear force

圖3 準靜態(tài)剪切試驗Fig.3 Quasi-static shear experiment

由于偏鉚程度過大時輪廓不能用標準圓擬合，所以需要一種適用性更廣泛的量化偏鉚方法。如圖4所示，首先標出最大圓的最小外接矩形，通過該矩形找到最大圓圓心。然后以該圓心為中心，以最遠距離、最近距離為半徑畫圓。所作兩圓應該滿足以下條件：輪廓與最近距離圓有且只有一個相切點，且輪廓上其余點均在最近距離圓外；與最遠距離圓有且只有一個相切點，且輪廓上其余點均在最遠距離圓內。最遠距離圓直徑減去最近距離圓直徑的差值，即可量化鉚接接頭的偏鉚程度。為了消除圖像獲取、標記軟件對圖像放大或縮小的影響，將直徑差值除以最大外接圓的最小外接矩形平均邊長，獲得一個無量綱的數。為了更加方便地表述偏鉚程度，在滿足自沖鉚接偏鉚程度從完全無偏鉚到極端偏鉚的情況下，將該數擴大30倍，使該數處于0到10的區(qū)間，偏鉚程度P為

提及體育學科的核心素養(yǎng)，簡單來說，就是自主健身，其核心能力則主要包括運動認知能力、健身實踐能力和社會適應能力，而體育學科核心素養(yǎng)是對知識與技能、過程與方法、情感態(tài)度價值觀的整合，是以學生發(fā)展素養(yǎng)為核心價值追求。

圖4 偏鉚程度量化示意圖Fig.4 Quantification diagram of degree of partial riveting

式中，D1是最大距離圓直徑；D2是最小距離圓直徑；W是鉚接接頭外接矩形的寬；H是該矩形的高。將偏鉚程度按［0，3）、［3，6）、［6，10）分別劃分為正常件、良品和次品。

1.3 單步檢測方法研究

1.3.1 基于YOLOv5s的偏鉚檢測

YOLO是“You Only Look Once”的縮寫，是單階段端對端的目標檢測算法，經過訓練的目標檢測網絡可以根據圖像輸入直接輸出目標邊界框和類別，兼具高效率和高精度，被廣泛應用于工業(yè)質量檢測及缺陷檢測中[11]。YOLOv5是該系列在開源網站維護較為活躍的網絡結構，其中YOLOv5s網絡參數量最小，算力要求小，檢測效率高。因此本文在偏鉚缺陷檢測上選用YOLOv5s網絡，并在后續(xù)雙步檢測中，將YOLOv5s網絡進行剪枝使其充當一個單純的目標檢測網絡，不再兼顧分類任務。

YOLOv5s在對采集到的圖像分訓練集和驗證集進行100輪訓練后的結果如圖5所示。此處YOLOv5s采用CIOU Loss和BCE Loss來計算損失，后續(xù)網絡采用CrossEntropy Loss計算損失，可看出在3個損失中，無論是在訓練集還是在測試集中，邊界盒損失和客觀性損失經過一段急劇下降后，以相對平滑的曲線下降并最終呈現收斂的狀態(tài)。但是在驗證集中的分類損失卻以一種極其夸張的反復跳躍逐步完成下降，并且最終也不收斂，處于反復的振蕩狀態(tài)。經過100輪訓練后，YOLOv5s雖然得到了一個接近于1的精度和召回率 （Recall），但是召回率和正確率始終處于一種振蕩狀態(tài)。召回率在50輪次左右甚至有接近30%的回撤。

圖5 YOLOv5s訓練結果Fig.5 YOLOv5s training results

邊界盒損失和客觀性損失平滑下降并最終收斂于極小的值，由此可知YOLOv5s在找出鉚接接頭并框選出鉚接接頭區(qū)域的任務上表現優(yōu)秀。但是在鉚接接頭分類任務上表現卻不理想，最終實測可得95.18%的正確率。

1.3.2 基于ResNet18的偏鉚檢測

ResNet網絡[12]創(chuàng)造性地提出殘差結構，解決了在深度學習中當網絡堆疊到一定深度會出現的梯度消失或梯度爆炸以及退化問題。在ResNet中按網絡結構的深度又分為若干分支，本文采用網絡結構最為簡單的ResNet18作為分類網絡。

本次試驗用采用ResNet18網絡結構對樣本數據進行100輪訓練。經過100輪訓練后，在訓練集中的訓練損失達到了0.00013862，在驗證集中的準確率達到91.46%，并且在10 ～ 50輪的時候準確率有較大幅度的波動 （圖6）。

圖6 ResNet18訓練結果Fig.6 ResNet18 training results

1.4 雙步檢測方法研究

由于只采用一種深度學習網絡難以達到預期的目標，萌生出將自沖鉚接接頭檢測任務分為鉚接接頭檢出和分類兩個任務，并由不同的方法分別完成，如圖7所示。使用YOLOv5和霍夫2-1圓檢測完成鉚接接頭檢出任務，使 用ResNet18、VGG16和GooLeNet完成鉚接接頭分類。

圖7 檢測流程圖Fig.7 Detection process chart

1.4.1 鉚接接頭檢出

YOLOv5鉚接接頭檢出方法采用基于YOLOv5網絡修改完成，去掉原網絡的分類損失，不再進行鉚接接頭分類，保留其中的客觀性損失和邊界盒損失，檢測圖像中是否存在鉚接接頭和鉚接接頭的具體位置。去掉YOLOv5網絡head部分中用以檢測小目標的80×80檢測部分和用以檢測中等目標的40×40檢測部分，僅保留用以檢測大目標的20×20檢測部分。

經過訓練后特制YOLOv5網絡優(yōu)秀地完成了鉚接接頭檢測的任務（總共825張鉚接工件圖像），檢出825張鉚接接頭圖像，無漏檢無錯檢。檢出的鉚接接頭圖像完整、準確，鉚接接頭基本以最大外圓的最小外接矩形裁剪完成。部分鉚接接頭圖像如圖8所示。

圖8 鉚接接頭類別Fig.8 Types of riveted joints

霍夫2-1圓檢測基本完成鉚接接頭檢測任務 （總共825張鉚接工件圖像），但是出現了1漏檢和1錯檢，檢出823張鉚接接頭圖像。在被檢出的鉚接接頭圖像中同時存在著部分鉚接接頭并不是完整且準確檢出的情況，如圖9所示。

圖9 霍夫檢測中不完整的鉚接接頭Fig.9 Incomplete riveted joint in Hough

由兩種方法對鉚接接頭檢出結果可知，定制的YOLOv5網絡在鉚接接頭檢出任務上的表現更好，檢出的鉚接接頭完整且準確?；舴?-1圓檢測在該任務上不僅沒法做到全部檢出，檢出的鉚接接頭存在殘缺的問題，而且檢出的鉚接接頭區(qū)域不夠準確。但是兩種方法中，霍夫2-1圓檢測的檢測方法擁有更加樸素且可解釋的過程，所需要的計算量相較于YOLOv5網絡更少。在嚴格控制圖像采集環(huán)境和采集方法的工業(yè)化生產線上，霍夫2-1圓檢測具有超過YOLOv5深度學習網絡的潛力。

1.4.2 鉚接接頭分類

在上一步將鉚接接頭檢出的基礎上，需要對鉚接接頭進行分類，以區(qū)分合格品、次品和殘品。常見的CNN（Convolutional neural networks）分類網絡的過程大致可以分為兩步，先通過若干層卷積層提取圖像深層特征，然后展開為全連接層，通過激活函數分別計算圖像所屬各個類別的可能性。不同的CNN分類網絡主要區(qū)別在于采用的特征提取卷積層結構不同，所以本次試驗采用3種常見的CNN分類網絡ResNet18、VGG16和GoogLeNet。

VGG網絡[13]在定位任務和分類任務中有著優(yōu)秀的表現。VGG16分別用霍夫2-1圓檢測和YOLOv5所檢測出的鉚接接頭圖像進行訓練，試驗結果如圖10所示。其中呈下降趨勢的是訓練集分類損失，呈上升趨勢的是驗證集正確率，分類損失越低、正確率越高說明網絡對該分類任務的完成情況越好。VGG16在YOLOv5所采集的鉚接接頭數據集上表現相對較好，相較于在霍夫算法所采集的數據集上的表現，訓練集的分類損失更快下降，驗證集的正確率更快上升。但VGG16網絡在訓練過程中波動較大，分類損失和正確率都無法收斂。

圖10 VGG16訓練結果Fig.10 VGG16 training results

GoogLeNet是一種包含Inception的深度卷積神經網絡體系結構[12]，能較好地完成分類和檢測任務。GoogLeNet分別用霍夫2-1圓檢測和YOLOv5所檢測出的鉚接接頭圖像進行訓練，試驗結果如圖11所示。GoogLeNet在YOLOv5所采集的鉚接接頭數據集上表現相對較好，相較于在霍夫算法所采集的數據集上的表現，其訓練集分類損失幾乎全程都更小。但是在兩種數據上的驗證集正確率都處于巨大的波動中，在YOLOv5采集的數據集上甚至在訓練后期出現了接近30%的反彈。無論是分類損失還是正確率都處于一直振蕩狀態(tài)無法收斂，所以GoogLeNet網絡不能很好地完成該分類任務。

圖11 GoogLeNet訓練結果Fig.11 GoogLeNet training results

ResNet18網絡試驗結果如圖12所示。ResNet18在該分類任務上表現極好，無論是在YOLOv5或是霍夫算法采集的數據集上，訓練集分類損失都能收斂到0，驗證集正確率都能收斂到1，ResNet18網絡展現出了極好的分類效果。令人意外的是該網絡在第10輪訓練時就在YOLOv5采集的數據集上達到了測試集分類誤差為0，驗證集正確率為1的最好狀態(tài)，擁有極快的收斂速度。并且在整個訓練過程中網絡表現都很穩(wěn)定，沒有出現前兩種網絡的大幅振蕩，僅在YOLOv5數據集上訓練初期和霍夫數據集上接近收斂時驗證集正確率出現了5%左右的振蕩，訓練集分類損失僅在急速下降末期和收斂前期出現了小幅振蕩。雖然ResNet18網絡在霍夫算法采集的數據集和在YOLOv5采集的數據集上均有優(yōu)秀的表現，但是可以很明顯地看出YOLOv5采集的數據集在促進ResNet18網絡快速收斂方面更有優(yōu)勢，無論是訓練集分類損失還是驗證集正確率ResNet18網絡在YOLOv5采集的數據集上的表現都更加優(yōu)秀。

圖12 ResNet18訓練結果Fig.12 ResNet18 training results

由以上結果可知，在鉚接接頭分類任務中ResNet18表現最好。ResNet18相較于VGG16和GoogLeNet不僅最終結果達到了測試集分類損失0.000104128，測試集正確率100%，并且ResNet18的訓練過程更平順，收斂速度更快。YOLOv5所采集的鉚接接頭數據集在3種深度學習網絡訓練過程中都對霍夫2-1圓檢測的數據集有著不同程度的領先，這也從側面說明YOLOv5采集的鉚接接頭在質量上更加完整和準確。

2 結果與討論

Grad-CAM[14]使用任何目標概念的梯度流到最后的卷積層，產生一個粗定位地圖，突出圖像中的重要區(qū)域，以預測該概念。Grad-CAM先獲取CNN網絡正向傳播的特征層，一般為最后一個卷積層的輸出，因為越深層的卷積層抽象程度越高，語義信息越豐富，然后獲得未經激活函數處理的網絡預測值y，從中分離出所需的分類類別yc。然后針對該分類反向傳播，獲取其針對目標特征層每個通道的權重，再通過激活函數ReLu就可以獲得該圖像在分類下的Grad-CAM。

式中，A代表某個特征層，在本次試驗中所用的是最后的一個卷積層；k代表特征層A中的第k個通道；c代表類別c；Ak代表特征層A中通道k的數據；代表針對Ak的權重。

式中，yc代表網絡針對類別c預測的未經激活函數處理的分數；代表特征層A在通道k中，坐標為 （i，j）位置處的數據；Z等于特征層的寬度和高度的乘積。

在單步檢測和雙步檢測中均采用了ResNet18，在單步檢測中ResNet18只能達到84.1%正確率，但在雙步檢測中正確率卻可以達到100%，如圖13所示。本試驗保存了在訓練過程中每一次訓練后網絡的權重數據，然后通過Grad-CAM對每個權重數據下ResNet18網絡對于圖像的側重進行可視化顯示，最終結果如圖14和15所示?？梢钥吹皆趩尾綑z測中，ResNet18雖然能夠找到鉚接接頭所在位置，但是其關注的都是鉚接接頭的局部信息，并且還會關注板料所擺放的夾角等無效信息。在單步檢測中，由于畫面含有許多無效信息，這些無效信息明顯干擾了ResNet18網絡對于鉚接接頭種類的判斷。在圖16中，由于雙步檢測將圖像除鉚接接頭外的區(qū)域全部裁剪丟掉，只保留接頭位置圖像。通過ResNet18網絡學習，ResNet18網絡迅速找到鉚接接頭核心區(qū)域，它似乎明白了該分類任務的實質就是找到鉚接接頭內圓和外圓的關系。從最后一輪權重的3種分類的Grad-CAM圖像可以看出，ResNet18在尋找圖像重要區(qū)域的時候，并不是機械地將圖像中心區(qū)域設置為重要，而是將圖像核心區(qū)域隨著鉚接接頭內圓位置而改變。

圖13 ResNet18單–雙步訓練結果Fig.13 ResNet18 single-double step training results

圖14 ResNet18單步訓練Grad-CAM圖像Fig.14 ResNet18 single step training Grad-CAM image

圖15 ResNet18雙步訓練Grad-CAM圖像Fig.15 ResNet18 double step training Grad-CAM image

本試驗研究了VGG16和ResNet18在雙步檢測中面對同樣的訓練數據集出現巨大差異的原因，如圖16所示。VGG16不僅訓練過程振蕩，最終結果也只達到97.5%的正確率。VGG16經過50輪訓練的Grad-CAM圖形如圖17所示，可以發(fā)現VGG16對合格件所采取預測策略令人非常迷惑，不對圖像某個通道側重，而是采取了均等權重的處理方式，在其看來圖像角點的信息和鉚接接頭所產生的信息是等價值的，但是很明顯圖像邊角的圖像信息不提供任何一點鉚接接頭是否偏鉚的判斷數據。并且在次品和殘品類別中，VGG16所側重的只是鉚接接頭核心區(qū)域的某一局部信息，并且該網絡更關注圖像上一小部分區(qū)域的信息。訓練過程中Grad-CAM圖像側重區(qū)域的大幅度變動也解釋了為什么VGG16在訓練過程中反復振蕩的問題，VGG16所迭代的策略比較激進，繼而會出現下一輪權重大面積推翻上一輪預測的情況。

圖16 ResNet18和VGG16雙步訓練結果Fig.16 ResNet18 and VGG16 double step training results

圖17 VGG16雙步訓練Grad-CAM圖像Fig.17 VGG16 double step training Grad-CAM image

3 結論

（1）試驗論證了偏鉚缺陷對自沖鉚接工件最大剪切力有負面影響，偏鉚件最大剪切力為7200.71 N，相較于正常件的7624.35 N，下降了5.6%。

（2）為了實現偏鉚缺陷的正確檢出，提出了剪枝后的YOLOv5s加ResNet18的檢測方案。單獨使用ResNet18時，驗證集中的分類正確率達到91.46%；單獨使用YOLOv5s，驗證集中的分類正確率達到95.18%。而當將YOLOv5s裁剪掉分類功能和適配不同大小目標的分支后，得到一個專用的自沖鉚接接頭檢測算法，再用ResNet18對裁剪出的鉚接接頭進行分類，最后實現驗證集中分類正確率達到100%。

（3）通過Grad-CAM解釋最終結果，ResNet18在雙步檢測中比單步檢測中有更少無關信息干擾，并且經過YOLOv5s裁剪的鉚接接頭圖像能提供更多的鉚接接頭信息，使得雙步檢測中ResNet18能快速且正確地捕捉核心區(qū)域，并做出正確的分類預測。ResNet18擁有殘差模塊，能有效避免梯度消失；VGG16中沒有該結構，在提取圖像信息時，深層網絡受淺層網絡的影響權重快速消失，并不能提取到圖像深層信息，所以完成分類任務時效果不如ResNet18優(yōu)秀。