基于YOLO的鋁型材料表面小缺陷檢測(cè)

沈希忠,吳 迪

(上海應(yīng)用技術(shù)大學(xué) 電氣與電子工程學(xué)院,上海 201418)

鋁型材料通常指鋁合金材料,它是一種對(duì)表面處理要求比較高的材料。如果鋁型材料的表面沒有被處理好,或者因?yàn)槟承┩饨缭蚱浔砻娈a(chǎn)生了缺陷,那么它的各種屬性將會(huì)被嚴(yán)重影響,小到外觀、形狀,大到性能、使用壽命。隨著生產(chǎn)的不斷發(fā)展,各類型鋁型材料的需求量也越來越大,鋁型材料表面的缺陷檢測(cè)也變得更加重要。早期的表面缺陷檢測(cè)任務(wù)多依賴于機(jī)器視覺的檢測(cè)方法,Yang等[1]提出一種使用平穩(wěn)小波變換的表面缺陷檢測(cè)的方法,該法采用Sobel算子分割圖像,再用索引以及非線性濾波去噪,提取出物體表面的缺陷特征。Li等[2]結(jié)合離散Curvelet變換和紋理分析提出了一種圖像裂紋缺陷的檢測(cè)方法。Xie等[3]利用Shearlet變換優(yōu)化了磁瓦表面的缺陷特征提取方法。隨著技術(shù)的發(fā)展,深度學(xué)習(xí)的檢測(cè)方法已得到了廣泛的應(yīng)用。自從Krizhevsky等[4]初步解決了激活函數(shù)以及過擬合問題,開啟了深度學(xué)習(xí)的新時(shí)代之后,卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)被應(yīng)用到各種圖像處理領(lǐng)域中,包括缺陷檢測(cè)領(lǐng)域。Park等[5]提出一種利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)零件表面缺陷進(jìn)行檢測(cè)的方法,Cha[6]等利用卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)混凝土表面的裂紋,這些都是比較典型的卷積神經(jīng)網(wǎng)絡(luò)在表面缺陷檢測(cè)上應(yīng)用的案例。姚明海等[7]還提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的自適應(yīng)加權(quán)池化算法,加強(qiáng)了表面特征提取工作的精密度,提高了缺陷檢測(cè)的準(zhǔn)確率以及速度。

表面缺陷檢測(cè)任務(wù)的核心是特征的提取,早期表面缺陷檢測(cè)方法的本質(zhì)是用算法進(jìn)行特征提取,這種方法能夠輕松識(shí)別種類較少、形狀固定和干擾較少的物體表面缺陷。而目前深度學(xué)習(xí)的檢測(cè)方法是通過訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)模型去提取缺陷特征,這就在提取精度上提升了多個(gè)檔次,它已經(jīng)能夠輕松地檢測(cè)出表面特征較為明顯、相對(duì)面積較大的缺陷,然而它在小缺陷檢測(cè)任務(wù)中的表現(xiàn)卻并不優(yōu)秀。小缺陷雖不起眼,但往往不可忽視,例如在航空業(yè)以及工業(yè)中所使用的鋁型材料表面的斑點(diǎn)、漏洞等隱蔽性小缺陷,隨著時(shí)間的推移很可能由小變大,最終釀成災(zāi)禍。因此,小缺陷檢測(cè)在物體表面缺陷檢測(cè),尤其是鋁型材料的表面缺陷檢測(cè)任務(wù)中尤為重要。

1 缺陷檢測(cè)方法與小缺陷檢測(cè)分析

物體表面的缺陷檢測(cè)是當(dāng)今工業(yè)生產(chǎn)及檢修的重要項(xiàng)目,它的核心是特征提取,根據(jù)特征提取方法的不同,目前的檢測(cè)方法主要分為傳統(tǒng)檢測(cè)方法和現(xiàn)代檢測(cè)方法兩種。物體表面缺陷檢測(cè)領(lǐng)域面臨著很多困難,例如反光表面的缺陷檢測(cè)、小缺陷的檢測(cè)以及未給定缺陷的識(shí)別等,其中的小缺陷檢測(cè)就是一個(gè)重大難點(diǎn)。

1.1 傳統(tǒng)缺陷檢測(cè)方法

機(jī)器視覺檢測(cè)法是被廣泛使用的傳統(tǒng)缺陷檢測(cè)法,該方法利用邊緣檢測(cè)[8]等算法提取出物體表面的特征,再通過像素對(duì)比法選擇出缺陷特征,進(jìn)而判斷缺陷的種類。該方法雖然已發(fā)展為利用支持向量機(jī)等數(shù)學(xué)分類的方法對(duì)缺陷特征進(jìn)行選擇以及分類,但是它仍然有很大的限制性,而且可靠度較低。

傳統(tǒng)缺陷檢測(cè)方法在物體表面輪廓缺陷的檢測(cè)任務(wù)中表現(xiàn)較為優(yōu)秀,這是因?yàn)檩喞毕莸臋z測(cè)任務(wù)不需要進(jìn)行復(fù)雜的分類處理,僅僅使用一個(gè)標(biāo)準(zhǔn)的“模具輪廓”對(duì)所需檢測(cè)的樣本進(jìn)行重疊對(duì)比,通過重疊率這一數(shù)值即可表現(xiàn)出表面輪廓缺陷的大小程度,甚至再通過一些標(biāo)記比對(duì)還能夠顯示出表面輪廓缺陷的位置。然而,用傳統(tǒng)缺陷檢測(cè)方法去進(jìn)行其他表面缺陷的檢測(cè)就略顯不足,有時(shí)甚至檢測(cè)不出裂紋、凹坑等一些細(xì)節(jié)上的缺陷。因此,傳統(tǒng)缺陷檢測(cè)方法已逐漸不能滿足當(dāng)前的需求。

1.2 現(xiàn)代缺陷檢測(cè)方法

現(xiàn)代缺陷檢測(cè)法通常指的是現(xiàn)代人工智能的檢測(cè)方法,也就是深度學(xué)習(xí)的檢測(cè)方法。物體表面缺陷的檢測(cè)屬于圖像的處理領(lǐng)域,因此普遍使用卷積神經(jīng)網(wǎng)絡(luò)及其變體的各種神經(jīng)網(wǎng)絡(luò)模型。蔣美仙等[9]提出基于Deeplab-V3模型的焊縫缺陷檢測(cè)方法,用Deeplab-V3網(wǎng)絡(luò)池化分割出焊縫特征,實(shí)現(xiàn)對(duì)焊縫缺陷的檢測(cè)。Kim等[10]通過一種基于殘差卷積自編碼器的深度學(xué)習(xí)檢測(cè)方法對(duì)印制電路板表面的缺陷進(jìn)行了檢測(cè)。胡嘉成等[11]通過一種基于卷積神經(jīng)網(wǎng)絡(luò)的方法對(duì)連鑄胚表面的缺陷進(jìn)行了高準(zhǔn)確度的檢測(cè)。

雖然現(xiàn)代檢測(cè)方法較傳統(tǒng)方法取得了明顯的進(jìn)步,識(shí)別率以及識(shí)別速度都有了很大的改善,但是對(duì)于不同的實(shí)際應(yīng)用和任務(wù)需求,還有很大的改進(jìn)和優(yōu)化空間。

1.3 小缺陷檢測(cè)分析

1.3.1 小缺陷的定義

在目標(biāo)檢測(cè)任務(wù)中,當(dāng)所要檢測(cè)目標(biāo)的尺寸相對(duì)整個(gè)原樣本圖像的尺寸較小時(shí),將這些檢測(cè)目標(biāo)定義為小目標(biāo)。這個(gè)“較小”在不同領(lǐng)域中的定義也各不相同。例如,在交通識(shí)別領(lǐng)域中通常將自身長(zhǎng)度在整幅圖中的占比小于20%的目標(biāo)定義為小目標(biāo);而COCO數(shù)據(jù)集則將小于32×32的目標(biāo)定義為小目標(biāo);還有國(guó)際組織SPIE,它對(duì)小目標(biāo)的定義是在256×256的原始圖像中所占面積小于80個(gè)像素的目標(biāo),從廣義的角度來說就是自身面積占比小于一幅圖像0.12%的目標(biāo)。

因此,在不同的領(lǐng)域中小目標(biāo)的定義也各不相同。在缺陷檢測(cè)領(lǐng)域中,小缺陷即是小目標(biāo),因?yàn)樾∪毕莶煌趶V義小目標(biāo)的特殊性,結(jié)合小缺陷檢測(cè)的要求,這里將在640×640的圖像中所占面積小于50個(gè)像素的目標(biāo)(即占原樣本圖像面積小于0.012%的目標(biāo))定義為小缺陷。

1.3.2 小缺陷的特征及分類

小缺陷具有模糊度高、所占面積小、攜帶信息量少以及易與物體表面其他特征混淆等特點(diǎn)。根據(jù)特征的不同,小缺陷可以被分為3種類型:與原物體表面特征相似的小缺陷、與原物體表面特征差異較大的小缺陷以及多重小缺陷組合形成的缺陷。前兩種類型仍然屬于小目標(biāo)的范疇,第3種類型雖然本質(zhì)上是小目標(biāo)的集合,但是在檢測(cè)的時(shí)候根據(jù)情況可能會(huì)將其視為一個(gè)整體。這里所說的與原物體表面特征相似或相異的“表面特征”指的是原物體表面的各種屬性,如顏色、形狀和紋理等,圖1為3種類型的小缺陷樣例圖,分別是兩個(gè)斑點(diǎn)類型的缺陷以及一個(gè)漆泡類型的缺陷。

圖1 小缺陷的分類樣例圖Fig.1 Sample diagram of small defect classification

1.3.3 小缺陷檢測(cè)困難的原因

小缺陷的檢測(cè)被視為缺陷檢測(cè)領(lǐng)域中的一個(gè)難點(diǎn),從小缺陷的自身角度分析,小缺陷很難通過常見的特征提取算法進(jìn)行處理,因?yàn)樘崛±щy,所以人工智能對(duì)其特征的學(xué)習(xí)也就變得困難。而且小缺陷的樣本比較難獲取,在一些常見的表面缺陷數(shù)據(jù)集中小缺陷所占的比重是最小的,數(shù)據(jù)量的缺乏也加大了人工智能學(xué)習(xí)的難度。從當(dāng)前的技術(shù)條件分析,目前沒有任何一個(gè)特征提取算法能夠完全攻克小缺陷的特征提取難關(guān)。受制于目前制式化的網(wǎng)絡(luò)模型,深度學(xué)習(xí)法對(duì)小缺陷的檢測(cè)效果也不盡如人意。對(duì)小缺陷檢測(cè)效果較好的網(wǎng)絡(luò)模型大多過于龐大,大大降低了檢測(cè)的實(shí)時(shí)性,導(dǎo)致其不具有實(shí)際的應(yīng)用性。小缺陷會(huì)給生產(chǎn)生活以及工程研究帶來不同程度的影響,特別是對(duì)精密工程以及航空工程的影響較大,因此在工程研究中往往十分重視小缺陷的檢測(cè)。

2 YOLO模型的改進(jìn)與訓(xùn)練

根據(jù)缺陷檢測(cè)的方法與難點(diǎn),筆者使用YOLO模型作為基礎(chǔ)網(wǎng)絡(luò)對(duì)其進(jìn)行改進(jìn)。YOLO是目標(biāo)檢測(cè)任務(wù)中使用較廣泛的網(wǎng)絡(luò)模型之一,它在缺陷檢測(cè)任務(wù)中的表現(xiàn)也比較優(yōu)秀。YOLO的最新一代網(wǎng)絡(luò)模型是YOLO-v5[12],相較于前幾代網(wǎng)絡(luò)YOLO-v4[13]和YOLO-v3[14]，YOLO-v5有了很大的改進(jìn)。

YOLO-v5根據(jù)深度和寬度分成了4個(gè)網(wǎng)絡(luò)結(jié)構(gòu):YOLO-v5s,YOLO-v5m,YOLO-v5l,YOLO-v5x。第1個(gè)YOLO-v5s是其中深度、寬度以及網(wǎng)絡(luò)體積最小的網(wǎng)絡(luò),后面3個(gè)網(wǎng)絡(luò)結(jié)構(gòu)都以此為基礎(chǔ)加深、加寬和加大規(guī)模,這就保證了YOLO-v5在應(yīng)用方面的靈活度。YOLO-v5加入了自適應(yīng)初始錨框(Anchor box)的計(jì)算,不同于YOLO-v3以及YOLO-v4根據(jù)訓(xùn)練集的不同還要使用獨(dú)立的程序去計(jì)算初始錨框,YOLO-v5將其嵌入到了基本框架的代碼中。每當(dāng)訓(xùn)練開始進(jìn)行,YOLO-v5就可以直接通過這一嵌入代碼計(jì)算出所使用的各種數(shù)據(jù)集的最佳錨框值,如果自動(dòng)計(jì)算出的結(jié)果不理想,可以直接關(guān)閉其功能,使用另外的獨(dú)立程序進(jìn)行計(jì)算。正確的錨框設(shè)定是目標(biāo)檢測(cè)任務(wù)的關(guān)鍵所在,在錨框上的改進(jìn)減少了捕捉目標(biāo)所需的時(shí)間,增加了目標(biāo)檢測(cè)任務(wù)成功的概率。自適應(yīng)圖片縮放也是YOLO-v5的一個(gè)重要改進(jìn)功能,通常在目標(biāo)檢測(cè)算法中,不同分辨率的圖片會(huì)被統(tǒng)一縮放并且填充黑邊,變成同一個(gè)標(biāo)準(zhǔn)尺度后再被送到檢測(cè)網(wǎng)絡(luò)中,YOLO-v5對(duì)其進(jìn)行了改進(jìn),實(shí)現(xiàn)了自適應(yīng)填充黑邊的功能,這種自適應(yīng)圖片縮放能夠根據(jù)圖片的屬性不同,計(jì)算出填充黑邊最少的縮放尺度,間接地提升了網(wǎng)絡(luò)的檢測(cè)速度。在YOLO-v5的主干(Backbone)中,還增加了切片卷積(Focus)結(jié)構(gòu),這是前兩代所沒有的結(jié)構(gòu),它的作用是將樣本圖像進(jìn)行切片操作,切成1/4大小的特征圖后再進(jìn)行卷積操作，得到最終的特征圖,這讓所獲得的特征圖的特征損失變少。

總體來說,YOLO-v5雖然在性能上并不是最好的,但是它在靈活度、檢測(cè)速度以及模型的尺寸上具有明顯的優(yōu)勢(shì),最小的YOLO-v5s模型尺寸僅有14.8 M,證明其具有較高的可移植性,讓以后在通訊受阻的場(chǎng)景或條件下用機(jī)器人攜帶移動(dòng)設(shè)備進(jìn)行缺陷檢測(cè)并整修的設(shè)想成為可能。

根據(jù)YOLO-v5的這些優(yōu)點(diǎn),筆者提出了一種基于YOLO-v5的尺度擴(kuò)張網(wǎng)絡(luò)模型,并將該模型用于物體表面缺陷的檢測(cè)任務(wù)，主要貢獻(xiàn)如下:1) 提出一種新的基于YOLO-v5的多尺度物體表面缺陷檢測(cè)模型,該模型在原有YOLO-v5模型上擴(kuò)張了一個(gè)特征提取以及檢測(cè)尺度,使其能夠提取并檢測(cè)更小的缺陷,彌補(bǔ)缺陷檢測(cè)尺度的不足,同時(shí)為了進(jìn)一步解決小缺陷檢測(cè)的難點(diǎn),該模型還優(yōu)化了錨框的計(jì)算方法;2) 運(yùn)用Net2Net[15]以及遷移學(xué)習(xí)的方法,對(duì)訓(xùn)練網(wǎng)絡(luò)的權(quán)重及其他參數(shù)進(jìn)行多重遷移化處理,使得短期訓(xùn)練的程度更加充分;3) 在鋁型材料表面缺陷數(shù)據(jù)集上的實(shí)驗(yàn)表明,所提出的模型在小缺陷檢測(cè)上的P—R曲線,在各種缺陷檢測(cè)上的AP、mAP以及檢測(cè)速度評(píng)價(jià)指標(biāo)上均達(dá)到了較好的效果。

2.1 改進(jìn)的YOLO模型

為了設(shè)計(jì)預(yù)測(cè)結(jié)果更精確、檢測(cè)范圍更廣的缺陷檢測(cè)模型,經(jīng)過試改進(jìn),最終敲定通過增加提取和識(shí)別尺度以及改進(jìn)自適應(yīng)錨框的計(jì)算來擴(kuò)大原本網(wǎng)絡(luò)的檢測(cè)范圍,提升網(wǎng)絡(luò)對(duì)小缺陷的檢測(cè)效果,網(wǎng)絡(luò)改進(jìn)之后的整體結(jié)構(gòu)如圖2所示。

圖2 改進(jìn)的YOLO-v5結(jié)構(gòu)圖Fig.2 Improved YOLO-v5 structure diagram

2.1.1 主干網(wǎng)絡(luò)

如圖2所示,改進(jìn)的YOLO-v5模型結(jié)構(gòu)主要分成Backbone,Neck和Head 3部分。其中主干網(wǎng)絡(luò)Backbone中包括了新增的Focus結(jié)構(gòu)、CSPNet、CBL和SPP[16](圖3,4)。

圖3 模型模塊介紹1Fig.3 Model module introduction 1

圖4 模型模塊介紹2Fig.4 Model module introduction 2

切片卷積結(jié)構(gòu)(Focus)先對(duì)輸入其中的640×640×3對(duì)象圖片進(jìn)行切片操作,讓其成為320×320×12的特征圖,然后再將其進(jìn)行一次卷積,使其變?yōu)?20×320×32的特征圖。該結(jié)構(gòu)減少了特征提取的損失,降低了計(jì)算量,提升了速度。

CSPNet(Cross stage partial network)全稱是跨階段局部網(wǎng)絡(luò),它將梯度變化集成到了特征圖之中,其中包含有殘差組件[17],在保證速度以及準(zhǔn)確率的前提下減少了模型的參數(shù)量,解決了梯度重復(fù)問題,減小了模型的尺寸。

CBL原本指Conv-BN-Leaky Relu,因?yàn)閅OLO-v5的網(wǎng)絡(luò)模型仍在不斷更新整改中,原本在這一結(jié)構(gòu)中被使用的Leaky Relu激活函數(shù)因?yàn)閅OLO-v5版本的變換被多次替換成其他激活函數(shù),為了方便繪圖,仍使用CBL指代這一結(jié)構(gòu)卷積層+BN層+激活函數(shù),這是YOLO中的一個(gè)基本下采樣組件。

最后的SPP(Spatial pyramid pooling)空間金字塔池化通過不同內(nèi)核大小的池化(Pooling)層提取出不同尺度的特征,然后將這些特征疊加融合,這就使得多尺度特征提取得到了進(jìn)一步的融合。

為了提高模型的訓(xùn)練速度,提升模型的檢測(cè)精度,筆者在模型的主干網(wǎng)絡(luò)中加入一系列預(yù)先處理模塊,這些模塊位于模型的輸入之前,其功能是對(duì)將要輸入模型的數(shù)據(jù)圖片進(jìn)行預(yù)先處理,例如進(jìn)行圖像增強(qiáng)[18]、濾波去噪和形態(tài)學(xué)變換等操作。

2.1.2 特征金字塔多尺度預(yù)測(cè)層

頸部(Neck)以及最后的頭部(Head)組合成了特征金字塔多尺度預(yù)測(cè)層。頸部中使用了改進(jìn)的路徑聚合網(wǎng)絡(luò)(PANet)結(jié)構(gòu),使用張量拼接代替了原本的疊加,讓特征進(jìn)行堆疊。頸部的作用是特征融合,它通過形成特征金字塔結(jié)構(gòu),使得模型可以進(jìn)行多尺度的目標(biāo)檢測(cè)。在最后的頭部檢測(cè)層進(jìn)行最終的檢測(cè)工作。頭部檢測(cè)層的功能是在模型所獲取的最后的特征圖中使用預(yù)設(shè)的錨框(Anchor box)將類別、框(Box)坐標(biāo)以及置信度都整合到最終的輸出結(jié)果中去,從而生成帶有類別、置信度以及框的輸出結(jié)果,每個(gè)尺度不同的頭部用于檢測(cè)大小不同的物體。

2.1.3 多尺度擴(kuò)張

原本的YOLO-v5基礎(chǔ)模型能夠在3個(gè)尺度上進(jìn)行檢測(cè),檢測(cè)尺度比較均衡。如果輸入640×640的圖片,最后所得到的檢測(cè)尺度就是80×80,40×40,20×20,即圖2中的y2,y3,y4,也就是說對(duì)于一張待檢測(cè)的圖片,最小能夠檢測(cè)出其中的1/(80×80),1/(40×40)以及1/(20×20)的目標(biāo)。

因?yàn)樵谌毕葜写嬖跇O小目標(biāo),表面缺陷檢測(cè)任務(wù)對(duì)小目標(biāo)的檢測(cè)有需求,所以筆者在頸部中讓模型多進(jìn)行了一次上采樣和張量拼接,也就是多提取了一層特征和多進(jìn)行了一次張量拼接,這就擴(kuò)充了特征維的數(shù)據(jù)量,進(jìn)一步加強(qiáng)了模型對(duì)小目標(biāo)檢測(cè)的準(zhǔn)確度。

經(jīng)過改進(jìn)后的模型增加了一個(gè)檢測(cè)尺度,即如圖2所示的y1,檢測(cè)尺度為160×160,對(duì)于一張待檢測(cè)的圖片,最小能夠檢測(cè)出其中的1/(160×160)的目標(biāo)。

2.1.4 改進(jìn)自適應(yīng)錨框計(jì)算

目標(biāo)檢測(cè)任務(wù)通常使用邊界框(Bounding box)來表達(dá)所檢測(cè)目標(biāo)的位置。邊界框通常是矩形,其位置通過對(duì)角兩點(diǎn)的坐標(biāo)確定。而錨框(Anchor box)就是判斷待檢測(cè)圖像中的某片區(qū)域內(nèi)是否含有目標(biāo)的工具,它可以被理解為一種“網(wǎng)”,不同類型的目標(biāo)能夠被不同形狀大小的“網(wǎng)”所捕捉。

通常情況下缺陷檢測(cè)任務(wù)是在大的特征圖中去檢測(cè)小缺陷,因此在大的特征圖中通常將錨框設(shè)置得比較小,然而這卻又增加了檢測(cè)時(shí)間,所以錨框的設(shè)置是缺陷檢測(cè)任務(wù)的一個(gè)重點(diǎn)。

YOLO-v5具有自適應(yīng)錨框計(jì)算的功能,在訓(xùn)練還未開始時(shí),模型會(huì)對(duì)目標(biāo)數(shù)據(jù)集中所有標(biāo)注的信息進(jìn)行確認(rèn),并且計(jì)算內(nèi)置的9種預(yù)設(shè)錨框?qū)@些信息的BPR(Best possible recall),當(dāng)計(jì)算出來的BPR小于0.98時(shí),就會(huì)通過K均值聚類算法(K-means)算法[19]以及遺傳學(xué)習(xí)算法[20]對(duì)這些信息進(jìn)行分析,然后重新計(jì)算適合于目標(biāo)數(shù)據(jù)集的錨框。

為了解決小缺陷檢測(cè)難的問題,除了擴(kuò)張模型的檢測(cè)尺度,在錨框的計(jì)算上也進(jìn)行了改進(jìn)。對(duì)于小缺陷,在所計(jì)算出的所有錨框中很可能只有很少部分與小缺陷的真實(shí)大小相匹配,這就導(dǎo)致了正負(fù)樣本的不平衡,并且與小缺陷尺寸相近的錨框較少也大大降低了網(wǎng)絡(luò)的檢測(cè)性能,從而造成小缺陷特征的丟失。因?yàn)槌跏贾行狞c(diǎn)的選取很容易影響K-means算法的聚類效果,所以引入了K-means++算法對(duì)初始聚類中心進(jìn)行計(jì)算,以此來彌補(bǔ)自適應(yīng)錨框計(jì)算的不足,然而這樣的改進(jìn)還不完全,因?yàn)椴还苁荎-means算法還是K-means++算法,它們的聚類對(duì)于小目標(biāo)的效果是很差的,其計(jì)算出的錨框往往會(huì)比最適合的錨框更大一些。通過實(shí)驗(yàn)發(fā)現(xiàn):在進(jìn)行小目標(biāo)的檢測(cè)任務(wù)時(shí),可以通過對(duì)計(jì)算出的錨框加入尺度放縮的方法來減小這一問題帶來的影響。具體的操作是對(duì)計(jì)算出的所有錨框的尺寸進(jìn)行放縮,將最小的錨框放縮到和標(biāo)注信息中最小的真實(shí)框相近的大小,其余的錨框根據(jù)這一放縮比例進(jìn)行線性放縮,這樣就可以在一定程度上減小聚類所產(chǎn)生的錨框大小與最適錨框大小相差過大所產(chǎn)生的一系列影響。

2.2 遷移訓(xùn)練

深度神經(jīng)網(wǎng)絡(luò)通常情況下是建立在大量樣本訓(xùn)練以及“深度”訓(xùn)練的基礎(chǔ)上的,因?yàn)檫@樣所得到的模型的各項(xiàng)指標(biāo)會(huì)更加優(yōu)秀。由于沒有大量的樣本以及時(shí)間進(jìn)行訓(xùn)練,為了縮短實(shí)驗(yàn)周期,提高短期訓(xùn)練網(wǎng)絡(luò)所得預(yù)測(cè)結(jié)果的準(zhǔn)確度,提升短期訓(xùn)練所得模型的性能,筆者在模型訓(xùn)練的過程中使用了遷移學(xué)習(xí)以及Net2Net的訓(xùn)練方法,為了方便敘述將這兩種方法統(tǒng)稱為遷移訓(xùn)練的方法。

遷移學(xué)習(xí)其實(shí)就是知識(shí)遷移,在機(jī)器學(xué)習(xí)中,它指的是將一個(gè)預(yù)訓(xùn)練的模型重新使用在另一個(gè)任務(wù)中。在深度學(xué)習(xí)領(lǐng)域?qū)?shù)據(jù)的標(biāo)注通常會(huì)耗費(fèi)大量的人力以及時(shí)間成本,因此遷移學(xué)習(xí)的方法廣受歡迎。

遷移學(xué)習(xí)包括基于實(shí)例的遷移、基于特征的遷移以及基于共享參數(shù)的遷移?；趯?shí)例的遷移就是從大數(shù)據(jù)的預(yù)訓(xùn)練模型中尋找和目標(biāo)任務(wù)模型相接近的預(yù)訓(xùn)練模型,進(jìn)而進(jìn)行更有效的權(quán)重分配,建立更可靠的模型;基于特征的遷移就是將預(yù)訓(xùn)練模型的特征空間映射到目標(biāo)任務(wù)模型的特征空間中去,利用這些特征進(jìn)行知識(shí)遷移;基于共享參數(shù)的遷移是找到預(yù)訓(xùn)練模型和目標(biāo)任務(wù)模型之間的共同參數(shù)或者先驗(yàn)分布,將之處理之后再進(jìn)行知識(shí)遷移。

筆者所用到的遷移學(xué)習(xí)流程:1) 選擇預(yù)訓(xùn)練源模型,選用開發(fā)者們?cè)诖笮蛿?shù)據(jù)集上訓(xùn)練過的預(yù)訓(xùn)練模型;2) 重新使用模型,將第1步的預(yù)訓(xùn)練模型作為下一個(gè)深度學(xué)習(xí)任務(wù)的起點(diǎn),直接取其相應(yīng)的結(jié)構(gòu)參數(shù)以及權(quán)重進(jìn)行下一個(gè)任務(wù)的訓(xùn)練;3) 調(diào)整模型,根據(jù)目標(biāo)數(shù)據(jù)集的具體屬性對(duì)模型進(jìn)行微調(diào),讓模型適應(yīng)新的目標(biāo)檢測(cè)任務(wù)。

通過遷移學(xué)習(xí)的方法可以將預(yù)訓(xùn)練模型“遷移”到當(dāng)前的訓(xùn)練問題中,將已經(jīng)獲取的模型參數(shù)(也可理解為模型學(xué)到的“知識(shí)”)通過某種方式分享給新模型,即讓自己的模型學(xué)習(xí)到新的“知識(shí)”,從而優(yōu)化模型的學(xué)習(xí)效率,不用像訓(xùn)練大多數(shù)網(wǎng)絡(luò)那樣從零學(xué)習(xí)。

除了運(yùn)用遷移學(xué)習(xí)的訓(xùn)練方法,筆者還使用了Net2Net的訓(xùn)練方法,該方法是Chen等[15]提出的,其目的是加速訓(xùn)練出一個(gè)更大的網(wǎng)絡(luò),其基本思想是以小網(wǎng)絡(luò)的訓(xùn)練為基礎(chǔ)去訓(xùn)練更大的網(wǎng)絡(luò),這就使得在小網(wǎng)絡(luò)中訓(xùn)練完成的權(quán)重能夠被運(yùn)用到后續(xù)所要訓(xùn)練的更大的網(wǎng)絡(luò)中去,從而達(dá)到加速訓(xùn)練更大的網(wǎng)絡(luò)的目的。

Net2Net主要分為Net2WiderNet和Net2DeeperNet兩種轉(zhuǎn)換模式,前者通過等效模型去拓寬網(wǎng)絡(luò),后者則通過等效模型去加深網(wǎng)絡(luò)。利用Net2Net的方法去訓(xùn)練一個(gè)更大的神經(jīng)網(wǎng)絡(luò),可以更快速地訓(xùn)練網(wǎng)絡(luò)并且提升網(wǎng)絡(luò)的識(shí)別性能。

YOLO-v5的4個(gè)網(wǎng)絡(luò)結(jié)構(gòu)YOLO-v5s,YOLO-vm,YOLO-v5l和YOLO-v5x具有不斷加深加寬,不斷遞進(jìn)的關(guān)系,使得Net2Net在YOLO-v5的訓(xùn)練中能夠達(dá)到到很好的效果。

運(yùn)用遷移訓(xùn)練的方法能夠降低模型對(duì)訓(xùn)練數(shù)據(jù)量的需求,減輕訓(xùn)練過程中硬件設(shè)備的劣勢(shì)所帶來的影響,減少訓(xùn)練大網(wǎng)絡(luò)所需的時(shí)間,極大地縮短實(shí)驗(yàn)周期,圖5為遷移訓(xùn)練過程示意圖。

圖5 遷移訓(xùn)練過程Fig.5 Migration training process

3 鋁型材料的表面缺陷檢測(cè)實(shí)驗(yàn)

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)平臺(tái)在Win10系統(tǒng)上進(jìn)行,CPU為Intel core i5-10400F,GPU為NVIDIA GeForce RTX3070,深度學(xué)習(xí)環(huán)境安裝CUDA及cuDNN圖形加速,深度學(xué)習(xí)框架PyTorch,編譯語言為Python 3.8集成工具opencv等擴(kuò)展庫(kù)。

3.2 鋁型材料表面缺陷數(shù)據(jù)集制作

3.2.1 數(shù)據(jù)說明

鋁型材料圖像數(shù)據(jù)的原樣本來自阿里云,原樣本一共有5 000張未被處理過的60系列鋁型材料原始樣本圖片,這些原始樣本圖片分辨率大多為1 000～2 000,包含了有缺陷、多缺陷以及無缺陷的鋁型材料圖片,其中單缺陷的樣本有4 000張,多缺陷的樣本有400張,無缺陷的樣本有600張。

3.2.2 缺陷分類

對(duì)原樣本的單缺陷數(shù)據(jù)進(jìn)行分類篩選,根據(jù)缺陷類型的不同將其分為8部分,去掉其中不常見的3種缺陷,最終得到了5種類型的缺陷圖片,分別是斑點(diǎn)(Spot)、擦花(Scratch)、碰傷(Bruise)、漆泡(Bubble)和噴流(Jet)缺陷,圖6為每種缺陷的具體樣式。分類篩選過后,每種類型的缺陷圖片各有500張,根據(jù)缺陷的大小再進(jìn)行檢測(cè)類別分類,斑點(diǎn)類型的缺陷屬于小缺陷,其余的缺陷類型中,碰傷以及漆泡根據(jù)其自身的大小以及形態(tài)分類成近似小缺陷和普通缺陷,而擦花和噴流則屬于普通缺陷。

圖6 缺陷分類Fig.6 Defect classification

3.2.3 數(shù)據(jù)集的制作

首先,將分類好的5種類型的缺陷圖片進(jìn)行處理,通過旋轉(zhuǎn)、裁剪和拼接等圖像處理方法,將原始的樣本圖片進(jìn)行優(yōu)化并且擴(kuò)充樣本的數(shù)量,將每種樣本擴(kuò)充至700張;然后,對(duì)屬于小缺陷以及可能屬于近似小缺陷的3種類型的缺陷(斑點(diǎn)、碰傷和漆泡)進(jìn)行額外的擴(kuò)充,使用無缺陷的相似樣本進(jìn)一步對(duì)其進(jìn)行裁剪、旋轉(zhuǎn)和拼接,將其擴(kuò)充至每種類型800張,提高了數(shù)據(jù)的魯棒性;最后,使用labelImg標(biāo)注軟件標(biāo)注好缺陷的位置以及種類,形成自制的鋁型材料表面缺陷數(shù)據(jù)集。

3.3 訓(xùn)練參數(shù)及數(shù)據(jù)預(yù)處理

基本參數(shù)采用余弦退火策略動(dòng)態(tài)調(diào)整學(xué)習(xí)率,初始學(xué)習(xí)率設(shè)定為0.01,衰減設(shè)定為0.000 5,最大迭代數(shù)設(shè)置為4 000次。在訓(xùn)練之前,模型會(huì)對(duì)圖像進(jìn)行預(yù)處理,首先通過歸一化將圖像變成640×640×3,然后通過色彩增強(qiáng)、對(duì)比度增強(qiáng)等圖像增強(qiáng)方法以及空間形態(tài)學(xué)操作、空間濾波等濾波方法對(duì)圖像進(jìn)行進(jìn)一步處理,提高了圖像的魯棒性,保證了訓(xùn)練的效率。

3.4 LOSS分析

YOLO-v5使用GIOU Loss作為邊界框(Bounding box)的損失函數(shù)。GIOU Loss較其他方法具有更快的收斂和更好的性能,它提高了預(yù)測(cè)框的描繪速度以及精度,并且加入了Box相交尺度的度量,避免了其他方法有時(shí)會(huì)產(chǎn)生兩個(gè)Box不相交的情況。損失函數(shù)值越小,說明此時(shí)的檢測(cè)效果越好。LGIOU和IIOU的計(jì)算式分別為

(1)

(2)

式中:A表示預(yù)測(cè)框(Prediction box);B表示真實(shí)框(Ground truth box);C表示含有預(yù)測(cè)框A與真實(shí)框B的最小區(qū)域;IIOU表示預(yù)測(cè)框A與真實(shí)框B的交并比。

圖7為模型在訓(xùn)練時(shí)的損失曲線圖,由圖7可知:在前400次迭代中損失函數(shù)值較大,并且下降迅速;當(dāng)?shù)鷶?shù)達(dá)到800次以后,雖然損失值仍在明顯下降,但是下降的速度變緩;直到迭代數(shù)達(dá)到1 800次以后,損失值開始緩慢下降;當(dāng)?shù)鷶?shù)達(dá)到3 500次時(shí),損失值很小并趨于平穩(wěn),此時(shí)模型達(dá)到了較好的識(shí)別效果。

圖7 損失曲線圖Fig.7 Loss curve

3.5 評(píng)價(jià)指標(biāo)

采用被廣泛認(rèn)可使用的P—R曲線、AP、mAP以及FPS評(píng)價(jià)指標(biāo)作為模型性能評(píng)價(jià)的量化指標(biāo)。P—R曲線就是以精確率(Precision)作為縱坐標(biāo),召回率(Recall)作為橫坐標(biāo)的二維曲線。P—R曲線所圍成的面積就是AP(Average precision),AP越高表示網(wǎng)絡(luò)對(duì)這一目標(biāo)的檢測(cè)效果越好。mAP(Mean average precision)即平均AP,它是對(duì)多個(gè)驗(yàn)證集所求的平均AP,反映了網(wǎng)絡(luò)對(duì)任務(wù)總體的檢測(cè)效果。FPS(Frame per second)是檢測(cè)速度評(píng)價(jià)指標(biāo),表示每秒內(nèi)模型可以檢測(cè)的樣本圖片數(shù)量。

針對(duì)每一種鋁型材料缺陷,計(jì)算精確度P和召回率R,畫出P—R曲線,計(jì)算P—R曲線的面積可以得到平均精度AP。mAP是指所有鋁型材料缺陷的平均精度。具體計(jì)算式分別為

(3)

(4)

(5)

(6)

式中:TP表示檢測(cè)出的鋁型材料缺陷中判斷正確的數(shù)目;FP表示判斷錯(cuò)誤數(shù)目;FN表示沒有檢測(cè)出的鋁型材料缺陷的數(shù)目。

3.6 結(jié)果分析

根據(jù)3.5節(jié)所提到的評(píng)價(jià)指標(biāo),對(duì)改進(jìn)模型進(jìn)行評(píng)價(jià)。精確率與召回率反映了目標(biāo)檢測(cè)模型正確檢測(cè)目標(biāo)的能力。圖8為筆者改進(jìn)模型對(duì)斑點(diǎn)(小缺陷)進(jìn)行檢測(cè)的P—R曲線,由圖8可知:訓(xùn)練完的鋁型材料表面缺陷檢測(cè)模型對(duì)小缺陷的精確率和召回率都比較高。

圖8 小缺陷目標(biāo)檢測(cè)的P—R曲線Fig.8 P-R curve of dirty spot small target detection

為了驗(yàn)證改進(jìn)模型的可行性,將其與原模型以及未經(jīng)過遷移訓(xùn)練的改進(jìn)模型進(jìn)行實(shí)驗(yàn)對(duì)比。圖9為近似小缺陷的實(shí)際檢測(cè)效果對(duì)比圖,由圖9可知:改進(jìn)模型優(yōu)于原模型,原模型將某些較明顯的近似小缺陷(漆泡)視為整體缺陷,沒有對(duì)其進(jìn)行分開檢測(cè),并且檢測(cè)準(zhǔn)確率也較低。圖10為小缺陷檢測(cè)的實(shí)際檢測(cè)效果對(duì)比圖,由圖10可知:改進(jìn)模型的優(yōu)勢(shì)更加明顯,原模型除了準(zhǔn)確率較低以外甚至還漏檢了一個(gè)斑點(diǎn)小缺陷,這就證明了改進(jìn)模型在小目標(biāo)檢測(cè)上的可行性。表1,2為經(jīng)過遷移訓(xùn)練的原模型、改進(jìn)模型以及未經(jīng)過遷移訓(xùn)練的改進(jìn)模型在同一個(gè)檢測(cè)任務(wù)下的AP、mAP以及FPS的對(duì)比。根據(jù)對(duì)比可知:針對(duì)正常缺陷的識(shí)別率,改進(jìn)模型基本不比原模型差,僅在對(duì)噴流缺陷的檢測(cè)上比原模型略差,這是因?yàn)楦倪M(jìn)模型的重點(diǎn)偏向了小缺陷的檢測(cè),從而降低了對(duì)大面積缺陷檢測(cè)的識(shí)別率。改進(jìn)模型的mAP比原模型高8.08%,進(jìn)行遷移訓(xùn)練的mAP比未進(jìn)行遷移訓(xùn)練的mAP高2.49%,這就說明了改進(jìn)模型及其訓(xùn)練方法在檢測(cè)精度上達(dá)到了較好的效果,進(jìn)一步證明了改進(jìn)模型的可行性。改進(jìn)模型檢測(cè)速度略低,這是因?yàn)楦倪M(jìn)模型擴(kuò)張了特征提取和檢測(cè)的尺度,從而導(dǎo)致計(jì)算量增加。

表1 不同模型的AP對(duì)比Table 1 Comparison of AP value under different models

表2 不同模型的mAP與FPS對(duì)比Table 2 Comparison of mAP and FPS valueunder different models

圖9 近似小缺陷檢測(cè)效果對(duì)比Fig.9 Comparison of approximate small defect detection effect

圖10 小缺陷檢測(cè)效果對(duì)比Fig.10 Comparison of dirty spot defect detection effect

4 結(jié) 論

在物體表面缺陷檢測(cè)的任務(wù)中普遍存在小缺陷識(shí)別不清甚至檢測(cè)不出的問題。為解決這些問題,筆者提出了一種基于YOLO-v5的多尺度物體表面缺陷檢測(cè)模型。該模型不僅擴(kuò)張了原本模型的特征提取和檢測(cè)尺度,而且改進(jìn)了自適應(yīng)錨框的計(jì)算方法,很大程度上提升了網(wǎng)絡(luò)對(duì)小目標(biāo)的檢測(cè)性能。此外,筆者還引入了遷移學(xué)習(xí)以及Net2Net的訓(xùn)練思路,通過對(duì)預(yù)訓(xùn)練權(quán)重以及訓(xùn)練參數(shù)進(jìn)行知識(shí)遷移,再通過將小網(wǎng)絡(luò)遷移訓(xùn)練到大網(wǎng)絡(luò)進(jìn)行知識(shí)繼承,不僅縮短了實(shí)驗(yàn)周期,而且提升了短期訓(xùn)練所得到的模型性能。實(shí)驗(yàn)結(jié)果表明:筆者所提出的改進(jìn)模型對(duì)鋁型材料表面的小缺陷檢測(cè)效果以及評(píng)價(jià)指標(biāo)較好;改進(jìn)模型僅在對(duì)噴流缺陷的檢測(cè)效果上略差于改進(jìn)之前;改進(jìn)模型的檢測(cè)速度較改進(jìn)之前也沒有特別明顯的下降。因此,筆者所提出的改進(jìn)方案以及訓(xùn)練方法對(duì)小目標(biāo)檢測(cè)以及短期訓(xùn)練具有一定的借鑒意義。實(shí)驗(yàn)也反映了改進(jìn)模型的不足,比如在擦花(Scratch)缺陷的檢測(cè)上AP較低,后續(xù)會(huì)進(jìn)一步優(yōu)化網(wǎng)絡(luò)模型的結(jié)構(gòu),增強(qiáng)特征的提取,加強(qiáng)模型對(duì)大面積輕度缺陷的檢測(cè)。