中圖分類號:TP391.4;TP183 文獻(xiàn)標(biāo)識碼:A 文章編號:2096-4706(2025)12-0068-06
Research on the Application of YOLOv8 Improvement Strategy in Welding External Defect Detection Model
ZHU Yonghong,YANG Kaifu (Jingdezhen Ceramic University,Jingdezhen 333403,China)
Abstract: Aiming at the challenges of missed detection,1 detection and arbitrary distribution of defect angles in smalltargetdefectdetectioninwelding extemaldefectimagedetection,anoptimizedand improvedmodelbasedonYOLOv8, YOLO-weld,isproposed.FirstlySPF-weldandC2f_DBB_CBAMmodulesaredesigned tonhancethecontextinfoation agregationabilityandmulti-scale featurefusioneffectofYOLO-weldmodel.Secondly,theOBBdetectionheadisintroduced toaccuratelycapturedirectionaldefects,soastoimprovethedetectionacuracy.Finalytheexperimentalresultshowthat compared with the YOLOv8 model, the YOLO-weld model improves the accuracy,recall,harmonic mean (F1) and mAP @0.5 by 3.2% 0 2.6% 0 4.0% and 3.9% ,respectively,which fully proves the effectiveness of the YOLO-weld model improvement.
Keywords: welding external defect identification; non-destructive testing; YOLOv8; C2f_DBB
0 引言
隨著現(xiàn)代工業(yè)的迅猛發(fā)展,焊接技術(shù)已在眾多工業(yè)領(lǐng)域中發(fā)揮著不可或缺的作用,保障焊接結(jié)構(gòu)的堅(jiān)固性和穩(wěn)定性,已成為工業(yè)發(fā)展中的關(guān)鍵議題。然而,由于焊接工件的形態(tài)多樣和焊接路徑的復(fù)雜特性,無論是手工焊接還是自動化焊接,焊接缺陷的出現(xiàn)幾乎是無法完全避免的[1]。鑒于此,提高焊接缺陷的檢測能力對于優(yōu)化焊接質(zhì)量和保障工業(yè)安全具有重要意義。
目前,焊接缺陷檢測技術(shù)主要可分為手工檢測和無損檢測兩大類。手工檢測因效率低下、精確度低及檢測過程中存在較強(qiáng)人為主觀性等缺點(diǎn),難以滿足現(xiàn)代工業(yè)對高質(zhì)量焊接結(jié)構(gòu)的需求。因此,無損檢測技術(shù)逐漸成為焊接缺陷檢測的主要發(fā)展方向。學(xué)術(shù)界諸多學(xué)者在此基礎(chǔ)上,衍生出諸多檢測算法和方法以促進(jìn)無損檢測技術(shù)的發(fā)展。例如,Mhamed等人[2]為實(shí)現(xiàn)焊接缺陷圖像的增強(qiáng)、銳化和背景平滑,提出了一種基于各向異性擴(kuò)散算法的X射線膠片缺陷自動檢測方法;Das等人開發(fā)了一種基于小波包變換和希爾伯特-黃變換的分析方法,用于識別攪拌摩擦焊試樣中的內(nèi)部隧道缺陷,并通過瞬時(shí)相位和瞬時(shí)頻率特征有效描述焊接樣本缺陷;Guo等人[提出了一種結(jié)合對比度增強(qiáng)生成對抗網(wǎng)絡(luò)和Xception遷移學(xué)習(xí)的智能檢測模型,以解決焊接缺陷數(shù)據(jù)不平衡和低對比度圖像特征提取問題;Zhang等人[5利用聚類錨框技術(shù)和ResNet-101遷移學(xué)習(xí),提出了改良版的FasterRCNN算法,以適應(yīng)電子產(chǎn)品小型化和高集成化趨勢下對焊接質(zhì)量檢測的嚴(yán)格需求;Liu等人為提高金屬零件批量焊接中缺陷檢測的準(zhǔn)確性和效率,提出了一種改進(jìn)的概率神經(jīng)網(wǎng)絡(luò)(FAST-PNN)算法,以實(shí)現(xiàn)對燒穿、氣孔和裂紋等類型的有效識別;Kim等人[開發(fā)了一個(gè)多分支深度融合網(wǎng)絡(luò) (MBDFN)模型,用以實(shí)現(xiàn)焊接缺陷的無損檢測;Zhang等人[8]針對油氣管道焊接缺陷檢測難的問題,提出了一種結(jié)合殘差膨脹InceptionU-Net和Transformer的RDIUTrans方法,以提取焊接缺陷多尺度全局和局部特征;Li等人[9為識別焊接構(gòu)件中的自然缺陷,開發(fā)了一套基于法拉第磁光效應(yīng)的無損檢測系統(tǒng),并采用多種濾波方法預(yù)處理圖像,結(jié)合CNN和ResNet50模型識別焊接缺陷。
雖然上述檢測算法和方法在一定程度上推動了焊接無損缺陷檢測技術(shù)的進(jìn)步,但它們在實(shí)時(shí)性、多尺度處理和端對端學(xué)習(xí)等方面仍存在一定的局限性。為解決上述問題,研究人員開始將注意力轉(zhuǎn)向YOLO系列算法。YOLOv8作為YOLO系列的經(jīng)典算法,具有實(shí)時(shí)性高、多尺度處理能力強(qiáng)和端對端學(xué)習(xí)效果好等優(yōu)點(diǎn)。因此,本文以YOLOv8作為基準(zhǔn)模型,對其主干網(wǎng)絡(luò)中的SPPF模塊進(jìn)行二次改進(jìn),以增強(qiáng)多尺寸特征融合和上下文信息捕獲能力。同時(shí),將設(shè)計(jì)的DBBCBAM模塊集成到C2f模塊中,以此提高不同層次信息的特征融合能力,增強(qiáng)小目標(biāo)特征提取與融合能力。最后,將Detec檢測頭替換為OBB檢測頭,通過其旋轉(zhuǎn)邊界框提高檢測精度、優(yōu)化特征提取、改善小目標(biāo)檢測、增強(qiáng)場景理解,并提升下游任務(wù)的性能。
1YOL0-weld焊接外部缺陷目標(biāo)檢測算法
YOLO-weld焊接外部缺陷檢測模型結(jié)構(gòu)圖如圖1所示。該算法以YOLOv8為優(yōu)化基準(zhǔn),設(shè)計(jì)了改進(jìn)優(yōu)化模型YOLO-weld,用于對焊接外部缺陷進(jìn)行無損檢測。
圖1YOLO-weld模型網(wǎng)絡(luò)結(jié)構(gòu)圖
1.1基于空間金字塔池化模塊的二次改進(jìn)
SPPF-weld的網(wǎng)絡(luò)框架結(jié)構(gòu)圖如圖2所示,其是在SPPF模塊基礎(chǔ)上進(jìn)行的二次改進(jìn)。該模塊改進(jìn)吸收了SPPF模塊中逐層池化策略的優(yōu)勢,通過實(shí)施尺度不變的池化操作,使網(wǎng)絡(luò)能夠有效捕捉并融合不同空間尺度的顯著焊接圖像特征[10]。此外,SPPF-weld不僅集成了原模塊的優(yōu)點(diǎn),還解決了SPPF模塊僅依賴逐層最大池化、忽視平均池化導(dǎo)致的特征圖平滑性缺失及上下文信息不足的問題。同時(shí),模塊借助引入MPConv模塊,緩解了提取和融合特征圖信息時(shí)細(xì)膩的焊接圖像信息丟失問題。最后,本文將詳細(xì)介紹SPPF-weld模塊的運(yùn)算流程:
1.1.1 SPPF模型
分支一,采用SPPF模塊對不同尺度的特征圖進(jìn)行逐層最大池化,生成固定長度的特征向量,使模塊在不丟失空間信息的情況下處理不同尺寸的輸入圖像,這是實(shí)現(xiàn)端到端目標(biāo)檢測的關(guān)鍵。此外,SPPF模塊通過捕獲多尺度特征,有效聚合焊接缺陷的上下語義特征信息,提高模型對不同大小目標(biāo)的檢測能力,增強(qiáng)魯棒性和準(zhǔn)確性[]。具體操作如式(1)所示:
Branch1=SPPF(xinput)
1.1.2 CBS模塊
分支二,采用CBS模塊對輸入特征進(jìn)行特征圖信息提取,通過卷積操作和批量歸一化,結(jié)合SiLU激活函數(shù),有效提升特征的表達(dá)能力和網(wǎng)絡(luò)的泛化能力。該結(jié)構(gòu)設(shè)計(jì)旨在保持特征圖的空間信息,同時(shí)通過非線性激活增強(qiáng)特征的可區(qū)分性,從而在目標(biāo)檢測任務(wù)中提高小目標(biāo)的識別準(zhǔn)確率。具體操作如式(2)所示:
Branch2=CBS(xinput)
1.1.3跨方向平均池化與深度卷積處理
分支三,采用融合跨方向平均池化操作與深度卷積處理,細(xì)致挖掘特征圖中的空間信息、強(qiáng)化上下文信息提取能力并緩解細(xì)膩特征圖信息丟失問題。
該模塊首先對輸入特征圖在 x 軸和y軸方向上進(jìn)行平均池化,以捕獲特征圖的本質(zhì)空間特征,補(bǔ)全特征圖平滑性缺失及上下文信息不足的問題。接著,通過MPConv模塊對空間特征進(jìn)行深入分析并實(shí)現(xiàn)特征融合,從而豐富模塊對細(xì)膩特征圖的特征表示。最后,在每個(gè)卷積層后,通過批量歸一化層對特征分布進(jìn)行標(biāo)準(zhǔn)化,并通過SiLU激活函數(shù)引入非線性,提高特征的區(qū)分能力,使模塊在處理復(fù)雜場景時(shí)能夠更精確地檢測目標(biāo)。具體操作如式(3)和式(4)所示:
1.1.4 SPPF-weld
如圖2所示,SPPF-weld在三個(gè)分支結(jié)合后,對融合的特征圖信息通過CBS模塊進(jìn)行再次提取,以此增強(qiáng)模塊特征圖的上下文信息聚合能力。具體操作如式(5)所示:
圖2SPPF-weld模塊的網(wǎng)絡(luò)結(jié)構(gòu)圖
1.2 基于C2f_DBB模塊的二次改進(jìn)
C2f模塊通過特征融合技術(shù),將低層次特征圖的細(xì)膩信息與高層次特征圖的語義和上下文信息相結(jié)合。這一融合過程通過卷積操作實(shí)現(xiàn),該操作不僅調(diào)整特征圖的通道數(shù),還改變其空間尺寸,確保不同層級特征圖在維度上的統(tǒng)一。這種統(tǒng)一性促進(jìn)了信息在不同層級間的有效傳遞和融合,從而增強(qiáng)特征表示的豐富性和準(zhǔn)確性[12]。此外,C2f的優(yōu)勢還在于其輕量級設(shè)計(jì),使其能夠在保持較高精度的同時(shí)實(shí)現(xiàn)更快的推理速度,特別適用于實(shí)時(shí)應(yīng)用。然而,C2f也存在一些缺點(diǎn):首先,由于網(wǎng)絡(luò)結(jié)構(gòu)較為簡單,其在處理復(fù)雜焊接缺陷場景時(shí)準(zhǔn)確性有所下降;其次,C2f在小目標(biāo)特征信息融合方面表現(xiàn)不足,容易出現(xiàn)細(xì)膩的焊接缺陷信息丟失和遺漏的情況。
為解決上述問題,本文提出了C2fDBBCBAM模塊,如圖3所示。首先,對原DBB模塊進(jìn)行優(yōu)化改進(jìn),在保持前三個(gè) 1×1 卷積分支結(jié)構(gòu)不變的情況下,將傳統(tǒng)的BN模塊替換為CBAM模塊。CBAM模塊的引入使其能夠自適應(yīng)調(diào)整各通道間的相關(guān)性與重要性以及特征圖的空間權(quán)重,從而讓DBBCBAM模塊更好地關(guān)注輸入數(shù)據(jù)中的關(guān)鍵焊接缺陷信息,提升特征的信息表達(dá)能力。其次,在引入CBAM模塊的基礎(chǔ)上,提出CBS模塊。CBS模塊通過壓縮和融合通道及空間信息,能有效減少特征圖的維度,同時(shí)保留重要信息。這種設(shè)計(jì)不僅提高了模型的計(jì)算效率,還增強(qiáng)了DBB_CBAM模塊對復(fù)雜場景和小目標(biāo)特征提取與融合的適應(yīng)能力。最后,將DBB_CBAM模塊替換原C2f模塊中的Bottleneck,形成C2f_DBB_CBAM模塊,使其能夠更好地關(guān)注小目標(biāo)缺陷信息,同時(shí)減少信息丟失、遺漏和背景噪聲的干擾,從而更高效地對不同層次和尺寸的焊接缺陷信息進(jìn)行特征融合。
圖3C2f_DBB_CBAM模塊的網(wǎng)絡(luò)結(jié)構(gòu)圖
1.3定向檢測框0BB
在焊接外部缺陷檢測領(lǐng)域,由于裂紋、孔隙、飛濺等焊接外部缺陷的任意無方向分布,使得Detect檢測頭容易出現(xiàn)漏檢和檢測不全的問題。而OBB檢測頭能夠通過調(diào)整 θ 角度旋轉(zhuǎn)邊界框,從而更準(zhǔn)確地捕捉這些有方向性的缺陷,以此提高檢測精度、優(yōu)化特征提取能力,故本文采用OBB作為YOLO-weld模型的檢測頭。OBB檢測頭基于角度 θ 的表示方法(如圖4所示),采用五參數(shù)表示方法,即 (x,y,w,h θ )形式。其中, x 和 y 表示OBB檢測頭的中心坐標(biāo),w 和 h 表示寬度和高度, θ 表示旋轉(zhuǎn)角度。 θ 按照角度表示方法可分為OpenCV表示法和長邊表示法兩種[13],本文采用 θ 取值范圍為 [-45° , 135° )的長邊表示法,其可覆蓋更廣泛的角度變化,確保對各種方向的缺陷均能有效檢測,從而使OBB檢測頭更準(zhǔn)確地捕捉焊接外部缺陷的方向和形狀,進(jìn)而提高檢測精度和效率。
(a)OpenCV表示法,0∈ (0° , 90° ](b)長邊表示法, θ∈[-90° , 90° )(c)長邊表示法,0∈[-45°, 135° )
圖4OBB檢測頭基于角度 θ 的表示方法
2 實(shí)驗(yàn)結(jié)果機(jī)及其分析
2.1數(shù)據(jù)集的構(gòu)成
本數(shù)據(jù)集源自Roboflow平臺,為開源數(shù)據(jù)集(https://universe.roboflow.com/trial-z2qzo/weld-ddeij-fkpig)。該數(shù)據(jù)集共包含四種焊接缺陷,分別是裂紋、孔洞、飛濺和焊接線,共計(jì)6000張,經(jīng)過數(shù)據(jù)增強(qiáng)后,將樣本擴(kuò)充至17923張,按照8:1:1的比例劃分為訓(xùn)練集、測試集和驗(yàn)證集。
2.2實(shí)驗(yàn)環(huán)境配置
本研究的所有實(shí)驗(yàn)優(yōu)化均在同一臺配置固定的臺式計(jì)算機(jī)上執(zhí)行。實(shí)驗(yàn)環(huán)境的具體參數(shù)如表1所示。此外,模型的超參數(shù)設(shè)置如下:緩存為禁用狀態(tài),輸入圖像分辨率為 640×640 像素,訓(xùn)練迭代次數(shù)設(shè)為300個(gè)周期,每個(gè)批次的樣本數(shù)量為4。除特別指明外,其余超參數(shù)均保持默認(rèn)設(shè)置。
表1試驗(yàn)環(huán)境配置
2.3模型性能評價(jià)指標(biāo)
為全面評估焊接外部缺陷檢測模型的性能,研究選擇精度 (P) 、召回率 (R) 、調(diào)和平均值 (F1) 及平均精度均值(mAP)作為關(guān)鍵性能評估指標(biāo)。并引入每秒幀數(shù)(FPS)、浮點(diǎn)運(yùn)算量(GFLOPs)及參數(shù)量(參數(shù)量 /106 )作為衡量模型推理檢測性能的核心指標(biāo)。
2.4 消融實(shí)驗(yàn)
為驗(yàn)證所設(shè)計(jì)模塊的有效性,本研究對模型進(jìn)行了四組消融實(shí)驗(yàn)。實(shí)驗(yàn)以YOLOv8為基準(zhǔn),記為A組。在A組基礎(chǔ)上,添加基于SPPF二次改進(jìn)的優(yōu)化模塊SPPF-weld,記為B組。然后,在B組基礎(chǔ)上繼續(xù)添加其他模塊,依次類推直至D組。通過表2和表3中A組和D組實(shí)驗(yàn)結(jié)果可知,相較于未改進(jìn)的YOLOv8模型,YOLO-weld模型的檢測性能顯著提高,精度 (P) 、召回率(R)、調(diào)和平均值 (F1) 及平均精度均值 (mAP@0.5) )分別提升 3.2% , 2.6% 、 4.0% 和 3.9% ,但模型的推理能力弱于原模型,尤其是每秒幀數(shù)(FPS)降低至 56.3% 。這表明,本研究模型檢測性能優(yōu)越,但實(shí)時(shí)性較弱。
表2消融實(shí)驗(yàn)中模型檢測性能對比結(jié)果單位/%
(續(xù)表)
表3消融實(shí)驗(yàn)中模型推理性能對比結(jié)果
2.5 對比實(shí)驗(yàn)
為驗(yàn)證YOLO-weld模型在檢測焊接外部缺陷時(shí)的有效性,本研究在相同實(shí)驗(yàn)環(huán)境下,采用相同數(shù)據(jù)集訓(xùn)練了9組當(dāng)前先進(jìn)的網(wǎng)絡(luò)模型進(jìn)行性能對比,結(jié)果如圖5所示。通過圖5和表4可以看出,YOLO-weld模型在精度(P)、召回率(R)和平均精度均值 mAP(?0.5) 等檢測性能上均優(yōu)于其他模型,而在推理能力上弱于其他YOLO系列模型,尤其是相較于YOLOv11n有明顯差距。但綜合權(quán)衡模型性能和推理速度,YOLO-weld模型在焊接外部缺陷檢測任務(wù)中具有較高實(shí)用價(jià)值。
圖5不同模型的檢測性能對比圖
表4不同模型的檢測性能對比
3結(jié)論
針對焊接外部缺陷圖像檢測中存在小目標(biāo)缺陷易漏檢或誤檢、缺陷角度任意分布的問題,本文提出一種基于YOLOv8的優(yōu)化改進(jìn)模型一YOLO-weld模型。首先,模型對YOLOv8主干網(wǎng)絡(luò)中的SPPF模塊進(jìn)行二次優(yōu)化,設(shè)計(jì)出SPPF-weld模塊。該模塊通過融合自主設(shè)計(jì)的兩個(gè)分支網(wǎng)絡(luò)結(jié)構(gòu)與原模塊分支結(jié)構(gòu),增強(qiáng)上下文信息聚合能力、不同層次多尺寸特征融合能力,并緩解細(xì)膩焊接圖像信息丟失問題。其次,YOLO-weld模型在原頸部網(wǎng)絡(luò)C2f模塊框架不變的情況下,將自主設(shè)計(jì)的DBBCBAM模塊替換原C2f模塊中的Bottleneck,形成C2fDBBCBAM模塊,從而在增強(qiáng)不同層次和特征圖尺寸信息融合能力的同時(shí),兼顧關(guān)注小目標(biāo)缺陷信息,減少細(xì)膩特征圖信息的丟失與遺漏。接下來,為解決焊接缺陷角度任意分布的問題,YOLO-weld模型將原Detect檢測頭替換為OBB檢測頭,使其能夠通過調(diào)整 θ 角度旋轉(zhuǎn)邊界框,更準(zhǔn)確地捕捉有方向性的缺陷,進(jìn)而提高檢測精度、優(yōu)化特征提取能力。最后,消融和對比實(shí)驗(yàn)表明,相較于未改進(jìn)的YOLOv8模型,YOLO-weld模型檢測性能顯著提高,精度 (P) 、召回率(R)、調(diào)和平均值 (F1)和平均精度均值 (mAP@0.5) 分別提升 3.2%.2.6% , 4.0% 和 3.9% ,且在與其他先進(jìn)的YOLO系列和RT-DETR等不同網(wǎng)絡(luò)結(jié)構(gòu)模型的檢測性能對比中表現(xiàn)最優(yōu),充分說明YOLO-weld模型的有效性和適用性。
盡管YOLO-weld模型在檢測性能上取得了顯著提升,但其模型推理能力仍存在不足,導(dǎo)致實(shí)時(shí)檢測效率未能達(dá)到理想狀態(tài)。因此,后續(xù)研究應(yīng)致力于優(yōu)化模型輕量化設(shè)計(jì)并提升檢測速度,以進(jìn)一步提高YOLO-weld模型的實(shí)時(shí)檢測能力。
參考文獻(xiàn):
[1]KERMORGANT O.AMagnetic ClimbingRobot to Perform
AutonomousWeldingin the Shipbuilding Industry[J].Roboticsand
Computer-IntegratedManufacturing,2018,53:178-186.
[2]MHAMEDIB,ABIDS,F(xiàn)NAIECHF.WeldDefect
Detection Using a Modified Anisotropic Diffusion Model[J].
EURASIP Journal on Advances in Signal Processing,2012,
2012:1-12.
[3]DASB,PALS,BAGS.ACombinedWaveletPacket
and Hilbert-Huang Transform for Defect Detection and Modelling
ofWeld Strength in Friction StirWeldingProcess[J].Journal of
ManufacturingProcesses,2016,22:260-268.
[4]GUORY,LIUH,XIEG,etal.Weld Defect
Detection From Imbalanced Radiographic Images Based on
Contrast EnhancementConditional Generative Adversarial
Network and Transfer Learning[J].IEEE Sensors Journal,2021,
21(9):10844-10853.
[5] ZHANGKH,SHENHK.Solder Joint DefectDetection
in the Connectors Using Improved Faster-RCNNAlgorithm[J/
OL].Applied Sciences,2021,11 (2):576[2025-01-03].
https://doi.org/10.3390/app11020576.
[6]LIUJX,LIKX.IntelligentMetalWeldingDefect
Detection Model on Improved FAST-PNN[J/OL].Coatings,
2022,12 (10):1523[2025-01-10].https://doi.org/10.3390/
coatings12101523.
[7]KIMK,KIMKS,PARKHJ.Multi-Branch Deep
FusionNetwork-Based Automatic DetectionofWeldDefects
UsingNon-DestructiveUltrasonic Test[J].IEEEAccess,2023,
11:114489-114496. [8] ZHANG S W,WANG XQ,ZHANG T.Combining
Multi-ScaleU-NetWithTransformerforWeldingDefectDetection
ofOil/GasPipeline[J].IEEEAccess,2024,13:5437-5445.
[9]LIYF,GAOPY,LUOYB,etal.Automatic
Detection and Classification of Natural Weld Defects Using
Alternating Magneto-Optical Imaging and ResNet50 [J/OL].
Sensors,2024,24 (23):7649[2025-01-17].https://doi.
org/10.3390/s24237649.
[10]ZHANGG,WANGCT,XIAODQ.A Novel Daily
Behavior Recognition Model for Cage-reared Ducks by Improving
SPPF and C3 of YOLOv5s[J/OL].Computers and Electronics
inAgriculture,2024,227:109580[2024-12-23].https://doi.
org/10.1016/j.compag.2024.109580.
[11] JOOSHINHK,NANGIRM,SEYEDARABIH.
Inception-YOLO:ComputationalCostandAccuracyImprovement
oftheYOLOv5ModelBasedonEmployingModifiedCSP,SPPF,
and Inception Modules [J].IET Image Processing,2024,18(8):
1985-1999.
[12]LUO Z,WANGC,QI Z,etal.LA_YOLOv8s:A
Lightweight-Attention YOLOv8s for Oil Leakage Detection in
Power Transformers [J].Alexandria Engineering Journal,2024,
92:82-91. [13]鄒振濤.面向遙感圖像目標(biāo)檢測的YOLO算法改進(jìn)
[D].貴陽:貴州大學(xué),2024.
作者簡介:朱永紅(1965一),男,漢族,江西鄱陽人,教授,博士,研究方向:智能檢測與控制、圖像處理、信息融合和網(wǎng)絡(luò)控制;楊開富(1997—),男,漢族,湖北宜昌人,碩士在讀,研究方向:智能檢測與控制、圖像處理和信息融合。