摘要:為解決連鑄生產(chǎn)過程中鑄坯表面缺陷檢測準(zhǔn)確率低、檢測速度慢、模型參數(shù)量大難以部署等問題,提出一種融合重參數(shù)化和注意力機(jī)制的輕量化鑄坯表面缺陷檢測算法YOLOv7-TSCR。首先,利用Mish和SiLU激活函數(shù)、SimAM注意力機(jī)制,構(gòu)建了改進(jìn)的高效層聚合模塊ELAN-S,以有效增強(qiáng)對多尺度缺陷特征的提??;其次,設(shè)計(jì)了C2f_RG模塊改進(jìn)特征融合網(wǎng)絡(luò),減少參數(shù)量的同時(shí)獲得更豐富的梯度流信息,增強(qiáng)特征融合能力;最后,根據(jù)采集實(shí)際生產(chǎn)中的缺陷圖像,構(gòu)建鑄坯缺陷數(shù)據(jù)集并進(jìn)行驗(yàn)證。結(jié)果表明:YOLOv7-TSCR相較其他網(wǎng)絡(luò)模型檢測效果顯著提升,在模型參數(shù)量減小的情況下,精確率達(dá)93.5%,平均精度均值提高了2.8%,檢測速度可達(dá)120FPS;在NEU-DET公開數(shù)據(jù)集上進(jìn)行的泛化性對比實(shí)驗(yàn)證明了算法具有較強(qiáng)的泛化性。改進(jìn)算法在保證較高檢測精度的基礎(chǔ)上,具有較快的檢測速度和較小的參數(shù)量,為鑄坯表面缺陷的高效檢測提供了技術(shù)參考。
關(guān)鍵詞:煉鋼;鑄坯表面缺陷;注意力機(jī)制;多尺度特征;YOLOv7
中圖分類號:TP391.4
文獻(xiàn)標(biāo)識(shí)碼:A
DOI:10.7535/hbkd.2024yx04002
Surfacedefectdetectionofcontinuouscastingbillets"basedonYOLOv7-TSCR
ZENGKai1,2,3,CHENBo1,MAZhihua1,XIAOPengcheng2,3,WANGYan2,3,ZHULiguang4
(1.CollegeofElectricalEngineering,NorthChinaUniversityofScienceandTechnology,Tangshan,Hebei063210,China;
2.CollegeofMetallurgyandEnergy,NorthChinaUniversityofScienceandTechnology,Tangshan,Hebei063210,China;
3.HebeiHighQualitySteelContinuousCastingEngineeringTechnologyResearchCenter,Tangshan,Hebei063000,China;
4.SchoolofMaterialsScienceandEngineering,HebeiUniversityofScienceandTechnology,Shijiazhuang,Hebei050018,China)
Abstract:
Tosolvetheproblemsoflowaccuracy,slowdetectionspeed,anddifficultyindeployingmodelparametersinsurfacedefectdetectionofcontinuouscastingproductionprocess,alightweightsurfacedefectdetectionalgorithmYOLOv7-TSCRthatintegratesheavyparameterizationandattentionmechanismwasproposed.Firstly,basedontheMishandSiLUactivationfunctionsandtheSimAMattentionmechanism,animprovedhigh-efficiencylayeraggregationmoduleELAN-Swasconstructedtoeffectivelyenhancetheextractionofmulti-scaledefectfeatures.Secondly,theC2f_RGmodulewasdesignedtoimprovethefeaturefusionnetwork,reducingthenumberofparameterswhileobtainingrichergradientflowinformationandenhancingfeaturefusioncapabilities.Finally,basedonthecollecteddefectimagesfromactualproduction,adatasetofcastingdefectswasconstructedandvalidated.TheresultsshowthatYOLOv7-TSCRhassignificantlyimproveddetectionperformancecomparedtoothernetworkmodels;Withareducednumberofmodelparameters,theaccuracyreaches93.5%,theaverageaccuracyincreasesby2.8%,andthedetectionspeedreaches120FPS;ThegeneralizationcomparisonexperimentontheNEU-DETpublicdatasetprovesthatthealgorithmhasstronggeneralization.Onthebasisofensuringhighdetectionaccuracy,theimprovedalgorithmhasafastdetectionspeedandasmallnumberofparameters,whichprovidesatechnicalreferencefortheefficientdetectionofsurfacedefectsincastingbillets.
Keywords:
steelmaking;surfacedefectofcastingbillet;attentionmechanism;multi-scalefeature;YOLOv7
連鑄是鋼鐵生產(chǎn)流程中承上啟下的重要環(huán)節(jié),鑄坯表面質(zhì)量是決定鋼材產(chǎn)品優(yōu)劣的核心因素。鑄坯生產(chǎn)過程中受工藝參數(shù)波動(dòng)影響,鑄坯表面可能會(huì)形成裂紋[1]、皮下氣泡[2]、結(jié)疤、劃傷等表面缺陷。各類缺陷的產(chǎn)生會(huì)嚴(yán)重影響后續(xù)的軋制生產(chǎn)效率及鋼材產(chǎn)品質(zhì)量,是阻礙企業(yè)生產(chǎn)高品質(zhì)鋼材產(chǎn)品的重要因素,因此開展鑄坯表面缺陷檢測技術(shù)的創(chuàng)新研究,對減少能耗、提高鋼產(chǎn)品質(zhì)量具有重要意義。
隨著鋼鐵領(lǐng)域智能制造技術(shù)的深入推進(jìn),傳統(tǒng)的人工檢測、紅外檢測方法檢測效率低、精度差、具有較大的滯后性,難以直觀呈現(xiàn)表面缺陷的具體形貌,不能實(shí)現(xiàn)實(shí)時(shí)的生產(chǎn)在線檢測與連鑄生產(chǎn)工藝的智能調(diào)節(jié),難以滿足以ESP、MCCR為代表的板坯連鑄連軋高效、低碳生產(chǎn)模式的發(fā)展
[3]。近年來,基于人工智能的視覺檢測技術(shù)飛速發(fā)展,為鑄坯質(zhì)量檢測領(lǐng)域帶來了新的變革。ZHAO等[4]設(shè)計(jì)了一種融合全連接網(wǎng)絡(luò)的深度卷積神經(jīng)網(wǎng)絡(luò)模型,實(shí)現(xiàn)了對連鑄板坯表面缺陷的分類檢測。DESHPANDE等[5]提出了一種SiameseCNN算法并對鋼鐵表面進(jìn)行識(shí)別,顯著降低了模型對訓(xùn)練數(shù)據(jù)的要求,實(shí)現(xiàn)了對鋼板表面質(zhì)量的實(shí)時(shí)檢測。
相比于上述的檢測方法,基于深度學(xué)習(xí)的SSD[6]、YOLO[7]缺陷檢測算法在檢測速度和精度上具有較好的平衡,在檢測領(lǐng)域逐步得到發(fā)展應(yīng)用。YOLO系列目標(biāo)檢測算法能在保證精度的前提下提升檢測速度,在表面缺陷檢測領(lǐng)域具有顯著優(yōu)勢。為解決復(fù)雜工業(yè)生產(chǎn)環(huán)境下熱軋鋼條表面缺陷檢測準(zhǔn)確率不高、小范圍信息表現(xiàn)差等問題,劉艷菊等[8]提出一種改進(jìn)的YOLOv4熱軋鋼條缺陷實(shí)時(shí)檢測算法,在保證檢測速度的前提下提升檢測精度。趙春華等[9]提出了PC-YOLOv7缺陷檢測算法,通過引入雙向特征金字塔結(jié)構(gòu)有效提高了缺陷識(shí)別精度。盧俊哲等[10]使用可變形卷積替代常規(guī)卷積降低模型參數(shù)量和模型權(quán)重,解決因資源受限設(shè)備難以部署高精度模型的問題。王睿澤等[11]提出了基于MobileNetv2主干網(wǎng)絡(luò)的YOLOv3算法,提升了對連鑄坯表面缺陷的檢測速度,但實(shí)驗(yàn)過程僅針對劃痕和裂紋2類表面缺陷。竇智等[12]在YOLOv7網(wǎng)絡(luò)中的ELAN模塊中加入SE模塊[13],增強(qiáng)了鋼板表面缺陷特征的提取,同時(shí)利用ACmix注意力機(jī)制,提升了對鋼板上小型缺陷的檢測能力,但未對模型的參數(shù)量大小和運(yùn)算速度進(jìn)行分析。高春艷等[14]提出CDN-YOLOv7鋼材表面缺陷檢測算法,通過加入CARAFE輕量化采樣算子,并設(shè)計(jì)新的檢測頭網(wǎng)絡(luò),優(yōu)化了網(wǎng)絡(luò)特征融合能力,降低了缺陷漏檢率,但模型的參數(shù)量較大。李偉等[15]將SimAM、GAM2種注意力機(jī)制融入YOLOv7的池化卷積模塊,提升了對缺陷信息提取的完整性,并利用K-means++對數(shù)據(jù)集聚類,提高了缺陷識(shí)別的穩(wěn)定性,但檢測速度較YOLOv7網(wǎng)絡(luò)略有降低。
上述YOLO模型存在模型權(quán)重過大、檢測速度慢、識(shí)別效率低、難以部署的問題。為有效提升對鑄坯表面缺陷的檢測效率,解決因模型權(quán)重過大檢測結(jié)果較為滯后的問題,同某鋼鐵企業(yè)展開合作,采集連鑄在線生產(chǎn)的鑄坯表面圖像,構(gòu)建鑄坯表面缺陷檢測數(shù)據(jù)集,開展缺陷檢測實(shí)驗(yàn),提出了一種基于YOLOv7-TSCR的連鑄坯表面缺陷檢測模型。
1連鑄坯缺陷檢測算法結(jié)構(gòu)
1.1YOLOv7-Tiny網(wǎng)絡(luò)結(jié)構(gòu)
YOLOv7-Tiny是在YOLOv7[16]的基準(zhǔn)上簡化而來的一種高效的輕量級目標(biāo)檢測算法,是專為邊緣計(jì)算機(jī)、單片機(jī)等計(jì)算資源有限設(shè)備設(shè)計(jì)的小型模型。YOLOv7算法相比上一代YOLO算法在準(zhǔn)確度上得到進(jìn)一步的提高,但網(wǎng)絡(luò)結(jié)構(gòu)過于復(fù)雜,參數(shù)量過大,對設(shè)備性能要求過高[17]。YOLOv7-Tiny在YOLOv7算法的基礎(chǔ)上采用了更緊湊的網(wǎng)絡(luò)架構(gòu)和優(yōu)化的訓(xùn)練策略,雖犧牲了一定程度的精度,但在實(shí)時(shí)性檢測上具有優(yōu)勢。
YOLOv7-Tiny的整個(gè)模型網(wǎng)絡(luò)如圖1所示,可以分為數(shù)據(jù)輸入端(Input)、網(wǎng)絡(luò)主干特征提?。˙ackbone)、特征融合(Neck)與多尺度特征及預(yù)測回歸分類(Head)4部分。將圖像預(yù)處理后,對輸入的不同尺寸圖像重新規(guī)定大小,采用動(dòng)態(tài)標(biāo)簽分配策略確定正負(fù)樣本;Backbone由卷積模塊、高效層聚合網(wǎng)絡(luò)、MP模塊構(gòu)成,進(jìn)行圖像特征提?。籒eck與Head層對特征圖進(jìn)行多尺度融合和預(yù)測。YOLOv7-Tiny算法沿襲了以往YOLO系列算法的優(yōu)點(diǎn),擁有較快的模型推理速度,相比于其他模型更容易部署在需要滿足實(shí)時(shí)檢測要求的工業(yè)領(lǐng)域,非常適合應(yīng)用于鑄坯表面缺陷實(shí)時(shí)檢測。
YOLOv7-Tiny模型以犧牲一定檢測精度為前提,簡化了對圖像特征提取的網(wǎng)絡(luò)結(jié)構(gòu),降低了模型參數(shù)量,使模型得以輕量化,但受鑄坯表面缺陷特征種類多樣、形貌復(fù)雜的影響,輕量化模型容易因特征信息提取能力不足,導(dǎo)致缺陷檢測性能變差,產(chǎn)生對缺陷的誤檢和漏檢。
1.2YOLOv7-TSCR網(wǎng)絡(luò)結(jié)構(gòu)
為增強(qiáng)模型對特征信息的提取能力,提升缺陷檢測精度,同時(shí)滿足缺陷檢測的快速性、實(shí)時(shí)性要求,提出了基于YOLOv7-Tiny結(jié)構(gòu)的改進(jìn)網(wǎng)絡(luò)模型YOLOv7-TSCR,具體算法框架如圖2所示。在YOLOv7-TSCR網(wǎng)絡(luò)中,對YOLOv7-Tiny網(wǎng)絡(luò)Backbone層中的ELAN模塊進(jìn)行改進(jìn),將其中原有的Leaky_ReLU激活函數(shù)替換為Mish、SiLU激活函數(shù),并引入SimAM(similarity-basedattentionmodule)注意力機(jī)制,構(gòu)成新的高效層聚合模塊ELAN-S,能夠更好地挖掘鑄坯表面缺陷的多尺度特征,使網(wǎng)絡(luò)接納更多特征信息,同時(shí)提高計(jì)算效率并增強(qiáng)魯棒性。其次,使用更緊湊的C2f_RG模塊替換Head層中的ELAN模塊,C2f_RG可利用不同層級的特征圖進(jìn)行信息融合,在減少參數(shù)量的同時(shí)獲得更豐富的梯度流信息,增強(qiáng)網(wǎng)絡(luò)特征融合能力。
1.3改進(jìn)的高效層聚合網(wǎng)絡(luò)ELAN-S
選擇合適的激活函數(shù)能使模型更好地學(xué)習(xí)多種尺度特征。為避免在正負(fù)輸入值之間建立一致聯(lián)系的困難,將激活函數(shù)Leaky_ReLU[18]替換為Mish[19]和SiLU。它們所具有的方程如下:
Leaky_ReLU(x)=
x,xgt;0,
αx,[DW]x≤0,(1)
Mish(x)=x·tanh(ln(1+ex)),(2)
SiLU=x1+e-x。(3)
通過引入可導(dǎo)的激活函數(shù)Mish和SiLU,使梯度計(jì)算變得更容易,替換的激活函數(shù)可以在零處達(dá)到最小值,可保持穩(wěn)定并緩沖權(quán)重。如圖3所示,與Leaky_ReLU激活函數(shù)相比,Mish和SiLU激活函數(shù)更加平滑,增加了更多的非線性表達(dá),增強(qiáng)了模型的學(xué)習(xí)能力。
注意力機(jī)制是模仿人類視覺和認(rèn)知系統(tǒng)的方法,不局限于特定網(wǎng)絡(luò)的模塊?,F(xiàn)有注意力模塊在空間和通道維度上缺乏靈活性,同時(shí)參數(shù)量較高。YANG等[20]提出了一種無參數(shù)的SimAM注意力機(jī)制,通過計(jì)算能量函數(shù)給予重要神經(jīng)元更大權(quán)重。相比其他注意力機(jī)制,SimAM可無需引入額外的學(xué)習(xí)參數(shù),能夠減少其他特征干擾,增強(qiáng)對缺陷的特征提取。能量函數(shù)定義如式(4)所示:
et(wt,bt,y,xi)=
(yt-[AKt^])2+1M-1∑M-1i=1[DD)]
(y0-[AKx^]i)2,(4)
式中:t為目標(biāo)神經(jīng)元;xi為其他神經(jīng)元;M為通道上神經(jīng)元個(gè)數(shù);wt表示權(quán)重;bt表示偏置。
考慮到模型需要在不影響精度和不增加部署成本的情況下滿足實(shí)時(shí)檢測需求,因此需要進(jìn)行較少的特征提取操作來維持模型參數(shù)量和計(jì)算量的規(guī)模。本文在原有YOLOv7-Tiny模型高效層聚合網(wǎng)絡(luò)的基準(zhǔn)上,引入Mish和SiLU激活函數(shù)以及SimAM無參數(shù)注意力機(jī)制,構(gòu)成改進(jìn)的ELAN-S結(jié)構(gòu),如圖4所示。
1.4C2f_RG模塊
C2f(CSPDarknet53to2-StageFPN)[21]是YOLOv8網(wǎng)絡(luò)中的多尺度特征融合模塊,參考了YOLOv5中C3模塊與YOLOv7中ELAN模塊的設(shè)計(jì)思想,能夠利用不同層級的特征圖進(jìn)行信息融合,可從粗糙的特征圖,逐漸細(xì)化到更細(xì)致的特征圖,對不同尺度目標(biāo)的檢測效果較好。添加C2f模塊能在保證輕量化的同時(shí)獲得更加豐富的梯度流信息。與使用自注意力機(jī)制的ELAN特征融合模塊相比計(jì)算量更小,更適合應(yīng)用于實(shí)時(shí)檢測場景。
RepGhost模塊[22]是一個(gè)輕量級的卷積模塊,利用重參數(shù)化技術(shù),通過替換Ghost模塊中低效的連接操作符,實(shí)現(xiàn)特征重用以節(jié)省推理時(shí)間。RepGhostBottleneck結(jié)構(gòu)如圖5所示。
為了更好地進(jìn)行鑄坯缺陷檢測,本文使用YOLOv8中C2f和RepGhostBottleneck設(shè)計(jì)如圖6所示的C2f_RG特征融合模塊,在提升非線性表達(dá)、減少參數(shù)量的同時(shí)獲得梯度流更加豐富的結(jié)構(gòu),以便提取到更豐富的多尺度缺陷特征。
2數(shù)據(jù)集構(gòu)建及評價(jià)指標(biāo)
2.1實(shí)驗(yàn)場景與數(shù)據(jù)采集
通過與某鋼廠合作,共同開展連鑄坯表面缺陷檢測技術(shù)的研發(fā),采集板坯連鑄生產(chǎn)線上的鑄坯表面圖像。如圖7所示,在鋼廠連鑄生產(chǎn)線上,搭建在線視覺檢測設(shè)備,其中包括缺陷視覺檢測平臺(tái)、數(shù)據(jù)分析平臺(tái)、冷卻設(shè)備等裝置,圖右側(cè)部分所示為缺陷圖像采集設(shè)備,可在線完成鑄坯表面圖像數(shù)據(jù)的采集工作,為后續(xù)鑄坯表面缺陷在線檢測研究提供真實(shí)的缺陷圖像數(shù)據(jù)集。
2.2數(shù)據(jù)集構(gòu)建
圖像采集后,經(jīng)過圖像預(yù)處理、圖像增強(qiáng),統(tǒng)一圖像質(zhì)量,將圖像像素大小設(shè)為500×500,構(gòu)建連鑄坯表面缺陷圖像數(shù)據(jù)集。如圖8所示,數(shù)據(jù)集由1類正常圖像和5類缺陷圖像組成,分別為分布在鑄坯角部的劃痕(cornerscratch,Cs)、角裂紋(cornercrack,Cc),出現(xiàn)在鑄坯寬面上的縱裂紋(longitudinalcrack,Lc)、結(jié)疤(scarring,Sc)和夾渣、凹陷等其他缺陷(otherdefects,Od),每類缺陷600張,共計(jì)3600張,按7∶2∶1的比例劃分訓(xùn)練集、驗(yàn)證集和測試集,并使用Mosaic數(shù)據(jù)增強(qiáng)[23],進(jìn)行模型訓(xùn)練。
2.3實(shí)驗(yàn)設(shè)備及評價(jià)指標(biāo)
缺陷檢測算法訓(xùn)練和測試使用的顯卡為NVIDIAGeForceRTX4070Ti,使用Pytorch作為深度學(xué)習(xí)框架搭建模型,具體環(huán)境配置為Python3.9+PyTorch2.0.0+Cuda11.8+cuDNN8.9.3,訓(xùn)練批次(BatchSize)為16,學(xué)習(xí)率為0.01,模型訓(xùn)練周期(Epoch)為200。
對于改進(jìn)前后的模型,選用精確率P(Precision)、召回率R(Recall)、F1參數(shù)、平均精度均值mAP(meanaverageprecision)為評價(jià)指標(biāo)。
P=TPTP+FP,(5)
R=TPTP+FN,(6)
式中:TP為預(yù)測待測缺陷被正確檢測到的數(shù)量;FP為預(yù)測非待測缺陷被檢測為待測缺陷的數(shù)量;FN為預(yù)測待測缺陷被錯(cuò)誤檢測到的數(shù)量。
F1=2PRP+R,(7)
式中:F1為P和R的加權(quán)調(diào)和平均。F1越大,模型穩(wěn)定性越好。
AP=∫10P(R)dR,(8)
mAP=∑Ni=1[DD)]APiN,(9)
式中:AP為檢測某一類缺陷的平均準(zhǔn)確率;N為被測類別數(shù)量。選取mAP@0.5作為模型準(zhǔn)確度的評價(jià)指標(biāo)(mAP@0.5代表將IOU閾值取0.5時(shí)的mAP值)。
使用幀率FPS(framespersecond)、參數(shù)量(params)、計(jì)算量即每秒浮點(diǎn)運(yùn)算次數(shù)(GFLOPs),衡量模型處理圖像的速率、參數(shù)量大小和計(jì)算復(fù)雜程度(計(jì)算量越小,運(yùn)行效率越高)。
3實(shí)驗(yàn)分析
3.1注意力機(jī)制實(shí)驗(yàn)
為驗(yàn)證ELAN-S模塊中SimAM注意力機(jī)制的先進(jìn)性,基于對YOLOv7-Tiny網(wǎng)絡(luò)的改進(jìn),引入SimAM等4種不同注意力機(jī)制,進(jìn)行對比實(shí)驗(yàn),生成注意力機(jī)制熱圖,并使用XGrad-CAM進(jìn)行可視化分析[24]。將5種不同注意力機(jī)制即SimAM、CA、SE、ECA、CBAM分別加入后進(jìn)行對比試驗(yàn)。圖9為加入不同注意力機(jī)制的熱力圖,表1為使用不同注意力機(jī)制后模型的實(shí)驗(yàn)數(shù)據(jù)。
由圖9可以得出,對于角部劃痕缺陷,加入注意力機(jī)制后,對缺陷目標(biāo)的關(guān)注度明顯提高,對比其他注意力機(jī)制,SimAM對缺陷位置的關(guān)注度最高、檢測效果更好,從可視化的角度說明了SimAM注意力機(jī)制的優(yōu)越性。
由表1可得出,YOLOv7-Tiny模型加入不同注意力機(jī)制后,其F1值和mAP@0.5值均有相應(yīng)提升,加入SimAM后,相較于其他模型F1值提升了3%,網(wǎng)絡(luò)模型穩(wěn)定度較高;其mAP@0.5值和模型召回率R值提升較為明顯,分別提升了2.8%和3.9%,是5種注意力對比實(shí)驗(yàn)中的最高值,證明了加入SimAM注意力機(jī)制的模型具備更好的檢測能力和更高的穩(wěn)定性。
綜上所述,注意力機(jī)制對比實(shí)驗(yàn)從數(shù)據(jù)指標(biāo)和可視化角度共同表明,加入SimAM注意力機(jī)制可以有效提高模型對目標(biāo)的關(guān)注程度,加強(qiáng)細(xì)節(jié)特征,提升網(wǎng)絡(luò)模型的容錯(cuò)率,提高模型的檢測性能。
3.2消融實(shí)驗(yàn)
為了驗(yàn)證對YOLOv7-Tiny算法所做的各項(xiàng)改進(jìn)對表面缺陷檢測的影響,在改進(jìn)模型的基準(zhǔn)上,保持相同實(shí)驗(yàn)條件的同時(shí)對ELAN-S和C2f_RG進(jìn)行效果驗(yàn)證,開展了如表2所示的實(shí)驗(yàn)(“√”為添加此模塊)。
由表2中消融實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn),Model2中引入ELAN-S模塊改進(jìn)高效層聚合網(wǎng)絡(luò)后,模型的檢測精度mAP@0.5值為88%,提高了2.4%,效果顯著,但模型的計(jì)算量和參數(shù)量都有小幅增加;Model3配置C2f_RG模塊后,與Model1相比,其檢測精度值提高了1.5%,計(jì)算量值減少了0.9GFLOPs、參數(shù)量下降0.47×106,明顯降低了模型所需的運(yùn)算成本;Model4為將2個(gè)模塊同時(shí)引入原模型,與YOLOv7-Tiny模型相比,在計(jì)算量和參數(shù)量分別減少0.9GFLOPs和0.46×106的情況下,檢測精度值為88.4%,提高了2.8%。實(shí)驗(yàn)表明:2種模塊相結(jié)合對模型改進(jìn)和檢測效果的提升幫助明顯,且優(yōu)于單一模塊的作用。
消融實(shí)驗(yàn)訓(xùn)練結(jié)果如圖10所示。圖10a)表示Epoch-mAP@0.5曲線圖,圖10b)表示Epoch-Recall曲線圖。從圖中可以看出本文提出的YOLOv7-Tiny+ELAN-S+C2f-RG綜合對比其他改進(jìn)算法效果最好,具有更好的模型檢測性能和更高的模型穩(wěn)定性。
3.3YOLOv7-TSCR與其他算法對比實(shí)驗(yàn)
為了進(jìn)一步驗(yàn)證YOLOv7-TSCR算法的有效性和先進(jìn)性,設(shè)計(jì)了改進(jìn)算法與其他主流YOLO目標(biāo)檢測算法間的對比試驗(yàn),在保持實(shí)驗(yàn)環(huán)境不變且統(tǒng)一訓(xùn)練200輪的情況下,實(shí)驗(yàn)結(jié)果如表3所示。本文提出的改進(jìn)網(wǎng)絡(luò)模型的性能均優(yōu)于表中其他模型;對比輕量化YOLOv3-Tiny和YOLOv5s模型,改進(jìn)算法mAP@0.5指標(biāo)分別提升了27.6%和2.6%,檢測速度提升了25FPS;改進(jìn)后的網(wǎng)絡(luò)較原YOLOv7-Tiny模型的每類缺陷檢測準(zhǔn)確度都有提升,參數(shù)量減少了0.46×106,mAP@0.5值提升了2.8%,速度提升了9FPS。實(shí)驗(yàn)結(jié)果表明,本文提出的YOLOv7-TSCR算法具有更好的缺陷檢測性能,SimAM無參數(shù)注意力機(jī)制的引入使網(wǎng)絡(luò)模型更加關(guān)注缺陷形貌特征,提升了各類缺陷的識(shí)別精度;C2f_RG模塊的引入在增強(qiáng)網(wǎng)絡(luò)特征融合能力的同時(shí)保持較少的計(jì)算量和參數(shù)量,提升了模型運(yùn)算和決策速度,有效提升檢測效率。綜上所述,改進(jìn)模型在檢測精度、速度和參數(shù)量等方面取得了較好的平衡,可以滿足連鑄坯表面缺陷檢測需求。
算法改進(jìn)前后的部分缺陷檢測效果對比如圖11所示,方框數(shù)值代表檢測置信度。由圖11a)可知,基準(zhǔn)網(wǎng)絡(luò)能識(shí)別出形貌特征較為明顯的缺陷,但在復(fù)雜背景的干擾下部分缺陷的形貌特征難以識(shí)別,存在較為嚴(yán)重的缺陷漏檢情況;由圖11b)可知,YOLOv7-TSCR算法能彌補(bǔ)角部裂紋等缺陷識(shí)別效果不佳的現(xiàn)象,且算法預(yù)測框能夠精準(zhǔn)地包裹在缺陷特征周圍,提高了對缺陷目標(biāo)的定位準(zhǔn)確度,充分說明了改進(jìn)的YOLOv7-TSCR算法具有較強(qiáng)的特征感知和特征提取能力,從檢測結(jié)果可視化的角度證明改進(jìn)算法具有一定的優(yōu)勢。
3.4泛化性對比實(shí)驗(yàn)
為了更加全面的評價(jià)YOLOv7-TSCR網(wǎng)絡(luò)的檢測性能,選取東北大學(xué)公開的鋼板表面缺陷數(shù)據(jù)集(NEU-DET)進(jìn)行模型泛化能力實(shí)驗(yàn)。其中包含圖12中熱軋帶鋼表面的6類缺陷(每類300張圖片),分別為劃痕(Sc)、斑塊(Pa)、夾雜物(In)、點(diǎn)蝕表面(Ps)、軋制氧化皮(Rs)和開裂(Cr)。將1800張圖像按照8∶2的比例,劃分為訓(xùn)練集和驗(yàn)證集(訓(xùn)練集1440張、驗(yàn)證集360張),進(jìn)行算法缺陷檢測對比實(shí)驗(yàn)。由表4可知,除對軋制氧化皮(Rs)缺陷的平均檢測精度低以外,改進(jìn)后算法在其他缺陷種類的平均檢測精度上均有所提升,證明了在公開數(shù)據(jù)集上YOLOv7-TSCR模型的檢測效果優(yōu)于原網(wǎng)絡(luò)架構(gòu),具有一定的廣泛應(yīng)用價(jià)值。
4結(jié)語
本文利用機(jī)器視覺在線檢測設(shè)備,建立了連鑄坯表面缺陷數(shù)據(jù)集,基于YOLOv7網(wǎng)絡(luò)提出了一種融合重參數(shù)化和注意力機(jī)制的鑄坯表面缺陷輕量化檢測算法。改進(jìn)算法將原網(wǎng)絡(luò)Backbone層中的ELAN模塊替換為融合Mish和SiLU激活函數(shù)及SimAM注意力機(jī)制的高效聚合模塊ELAN-S,提升了網(wǎng)絡(luò)特征提取能力。將原網(wǎng)絡(luò)Head層中的ELAN模塊替換為C2f_RG模塊,使算法在參數(shù)量減少的同時(shí)獲得更豐富的梯度流信息,有效提高了檢測精度并且保證了算法的輕量化。通過在自制連鑄坯表面缺陷數(shù)據(jù)集上的對比實(shí)驗(yàn),證明了YOLOv7-TSCR模型的先進(jìn)性,與YOLOv7-Tiny模型相比,參數(shù)量減少了0.46×106,檢測精度均值提高了2.8%,處理速度達(dá)到120FPS。同時(shí),該算法在公開的NEU-DET帶鋼缺陷數(shù)據(jù)集上進(jìn)行檢測實(shí)驗(yàn),體現(xiàn)出良好的缺陷檢測準(zhǔn)確性,具有較強(qiáng)的檢測泛化能力,符合在線檢測的要求。
參考文獻(xiàn)/References:
[1]康旭輝.連鑄方坯的常見表面缺陷及控制[J].中國金屬通報(bào),2023(1):156-158.
KANGXuhui.Commonsurfacedefectsandcontrolofcontinuouscastingbillets[J].ChinaMetalBulletin,2023(1):156-158.
[2]王田田,楊樹峰,李京社,等.連鑄坯皮下氣泡缺陷成因及控制[J].中國冶金,2020,30(12):35-43.
WANGTiantian,YANGShufeng,LIJingshe,etal.Causesandcontrolofsubcutaneousbubbledefectsincontinuouscastingbillets[J].ChinaMetallurgy,2020,30(12):35-43.
[3]黃軍,王寶峰,張雪元,等.高溫鑄坯表面缺陷在線檢測技術(shù)開發(fā)及應(yīng)用[J].連鑄,2022(6):61-67.
HUANGJun,WANGBaofeng,ZHANGXueyuan,etal.Developmentandapplicationofonlinedetectiontechnologyforsurfacedefectsofhightemperaturebillets[J].ContinuousCasting,2022(6):61-67.
[4]ZHAOLiming,LIFangfang,ZHANGYi,etal.Adeep-learning-based3DdefectquantitativeinspectionsysteminCCproductssurface[J].Sensors,2020.DOI:10.3390/s20040980.
[5]DESHPANDEAM,MINAIAA,KUMARM.One-shotrecognitionofmanufacturingdefectsinsteelsurfaces[J].ProcediaManufacturing,2020,48:1064-1071.
[6]LIUWei,ANGUELOVD,ERHAND,etal.SSD:SingleshotMultiBoxdetector[C]//14thEuropeanConferenceComputerVision:ECCV2016.Amsterdam:Springer,2016:21-37.
[7]REDMONJ,DIVVALAS,GIRSHICKR,etal.Youonlylookonce:Unified,Real-Timeobjectdetection[C]//2016IEEEConferenceonComputerVisionandPatternRecognition(CVPR).LasVegas:IEEE,2016:779-788.
[8]劉艷菊,王秋霽,趙開峰,等.基于卷積神經(jīng)網(wǎng)絡(luò)的熱軋鋼條表面實(shí)時(shí)缺陷檢測[J].儀器儀表學(xué)報(bào),2021,42(12):211-219.
LIUYanju,WANGQiuji,ZHAOKaifeng,etal.Real-timedefectdetectionofhotrollingsteelbarbasedonconvolutionneuralnetwork[J].ChineseJournalofScientificInstrument,2021,42(12):211-219.
[9]趙春華,羅順,譚金鈴,等.基于PC-YOLOv7算法鋼材表面缺陷檢測[J].國外電子測量技術(shù),2023,42(9):137-145.
ZHAOChunhua,LUOShun,TANJinling,etal.DetectionofsteelsurfacedefectsbasedonPC-YOLOv7algorithm[J].ForeignElectronicMeasurementTechnology,2023,42(9):137-145.
[10]盧俊哲,張鋮怡,劉世鵬,等.面向復(fù)雜環(huán)境中帶鋼表面缺陷檢測的輕量級DCN-YOLO[J].計(jì)算機(jī)工程與應(yīng)用,2023,59(15):318-328.
LUJunzhe,ZHANGChengyi,LIUShipeng,etal.LightweightDCN-YOLOforstripsurfacedefectdetectionincomplexenvironments[J].ComputerEngineeringandApplications,2023,59(15):318-328.
[11]王睿澤,孫鐵強(qiáng),宋超,等.基于改進(jìn)YOLOv3算法的連鑄坯表面缺陷檢測[J].組合機(jī)床與自動(dòng)化加工技術(shù),2023(1):75-78.
WANGRuize,SUNTieqiang,SONGChao,etal.SurfacedefectdetectionofcontinuouscastingslabbasedonimprovedYOLOv3algorithm[J].ModularMachineToolamp;AutomaticManufacturingTechnique,2023(1):75-78.
[12]竇智,胡晨光,李慶華,等.改進(jìn)YOLOv7的小樣本鋼板表面缺陷檢測算法[J].計(jì)算機(jī)工程與應(yīng)用,2023,59(23):283-292.
DOUZhi,HUChenguang,LIQinghua,etal.ImprovedYOLOv7algorithmforsmallsamplesteelplatesurfacedefectdetection[J].ComputerEngineeringandApplications,2023,59(23):283-292.
[13]HUJie,SHENLi,SUNGang.Squeeze-and-Excitationnetworks[C]//2018IEEE/CVFConferenceonComputerVisionandPatternRecognition.SaltLakeCity:IEEE,2018:7132-7141.
[14]高春艷,秦?zé)?,李滿宏,等.改進(jìn)YOLOv7算法的鋼材表面缺陷檢測研究[J].計(jì)算機(jī)工程與應(yīng)用,2024,60(7):282-291
GAOChunyan,QINShen,LIManhong,etal.ResearchonsteelsurfacedefectdetectionwithimprovedYOLOv7algorithm[J].ComputerEngineeringandApplications,2024,60(7):282-291.
[15]李偉,姚小敏,張鵬超,等.改進(jìn)的YOLO-V7鋼材表面缺陷檢測算法研究[J/OL].機(jī)械科學(xué)與技術(shù).(2023-12-22)[2024-03-02].https://link.cnki.net/doi/10.13433/j.cnki.1003-8728.20230368.
LIWei,YAOXiaomin,ZHANGPengchao,etal.ResearchonimprovedYOLO-V7steelsurfacedefectdetectionalgorithm[J/OL].MechanicalScienceandTechnologyforAerospaceEngineering.(2023-12-22)[2024-03-02].https://link.cnki.net/doi/10.13433/j.cnki.1003-8728.20230368.
[16]WANGCY,BOCHKOVSKIYA,LIAOH.YOLOv7:Trainablebag-of-freebiessetsnewstate-of-the-artforreal-timeobjectdetectors[C]//2023IEEE/CVFConferenceonComputerVisionandPatternRecognition(CVPR).VancouverBC:IEEE,2023:7464-7475.
[17]劉浩翰,樊一鳴,賀懷清,等.改進(jìn)YOLOv7-tiny的目標(biāo)檢測輕量化模型[J].計(jì)算機(jī)工程與應(yīng)用,2023,59(14):166-175.
LIUHaohan,F(xiàn)ANYiming,HEHuaiqing,etal.ImprovedYOLOv7-tiny′sobjectdetectionlightweightmodel[J].ComputerEngineeringandApplications,2023,59(14):166-175.
[18]XUJin,LIZishan,DUBowen,etal.Reluplexmademorepractical:LeakyReLU[C]//2020IEEESymposiumonComputersandCommunications(ISCC).Rennes:IEEE,2020:1-7.
[19]NADERA,AZARD.Searchingforactivationfunctionsusingaself-adaptiveevolutionaryalgorithm[C]//Proceedingsofthe2020GeneticandEvolutionaryComputationConferenceCompanion.Cancun:Associationforcomputingmachinery,2020:145-146.
[20]YANGLingxiao,ZHANGRuyuan,LILida,etal.Simam:Asimple,parameter-freeattentionmoduleforconvolutionalneuralnetworks[J].ProceedingsofMachineLearningResearch,2021,139:11863-11874.
[21]ZHAOZhiwei,SONGLili,HANJianfeng.Animprovedobjectdetectionmodelforautonomouspilotofengineeringinspection[C]//Proceedingsofthe20215thInternationalConferenceonDigitalSignalProcessing.Chengdu:AssociationforComputingMachinery,2021:243-248.
[22]CHENC,GUOZ,ZENGH,etal.Repghost:Ahardware-efficientghostmoduleviare-parameterization[EB/OL].(2022-11-11)[2024-03-02].https://arxiv.org/abs/2211.06088.
[23]WANGHao,SONGZhili.Improvedmosaic:Algorithmsformorecompleximages[J].JournalofPhysics:ConferenceSeries,2020.DOI:10.1088/1742-6596/1684/1/012094.
[24]SELVARAJURR,COGSWELLM,DASA,etal.Grad-CAM:VisualexplanationsfromdeepnetworksviaGradient-Basedlocalization[C]//2017IEEEInternationalConferenceonComputerVision(ICCV).Venice:IEEE,2017:618-626.
收稿日期:2024-03-04;修回日期:2024-04-11;責(zé)任編輯:馮民
基金項(xiàng)目:
國家自然科學(xué)基金(51904107);中央引導(dǎo)地方科技發(fā)展資金項(xiàng)目(236Z1017G);河北省博士研究生創(chuàng)新資助項(xiàng)目(CXZZBS2021096);
唐山市市級科技計(jì)劃項(xiàng)目(22130220G)
第一作者簡介:
曾凱(1990—),男,河北唐山人,講師,碩士,主要從事連鑄坯質(zhì)量檢測與控制方面的研究。
通信作者:陳波,教授。E-mail:chenbo182001@163.com
曾凱,陳波,馬智華,等.
基于YOLOv7-TSCR的連鑄坯表面缺陷檢測[J].河北科技大學(xué)學(xué)報(bào),2024,45(4):351-361.
ZENGKai,CHENBo,MAZhihua,etal.SurfacedefectdetectionofcontinuouscastingbilletsbasedonYOLOv7-TSCR
[J].JournalofHebeiUniversityofScienceandTechnology,2024,45(4):351-361.