基于改進(jìn)YOLOv7算法的PCB裸板缺陷檢測

周賢勇，?？≥x，王 圓，徐明升，侯津津，陳 琳

(長江大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院，湖北 荊州 434023)

0 引言

印刷電路板(PCB)制造作為電子工業(yè)中最基礎(chǔ)且最活躍的產(chǎn)業(yè)之一發(fā)展迅速,在日常工業(yè)生產(chǎn)過程中如何制造出高質(zhì)量的PCB是行業(yè)面臨的巨大挑戰(zhàn)。PCB上毫不起眼的微小缺陷亦可能造成數(shù)以萬計(jì)的巨大損失,因此對PCB成品出廠前的缺陷檢測是一項(xiàng)不可或缺的質(zhì)量檢測任務(wù)。

傳統(tǒng)PCB檢測主要是工人們通過特定的檢測儀器,在肉眼觀測以及個(gè)人經(jīng)驗(yàn)的幫助下判斷其是否存在缺陷。然而此種方式無論是檢測的準(zhǔn)確率還是效率都差強(qiáng)人意。緊接著,行業(yè)內(nèi)又利用其導(dǎo)電性通過將PCB與檢測器相連來判斷是否存在缺陷,但是由于檢測器產(chǎn)生電能的不穩(wěn)定性,過強(qiáng)的電能可能會(huì)損壞PCB中的微小元件,造成不必要的經(jīng)濟(jì)損失。

在深度學(xué)習(xí)技術(shù)日漸成熟的今天,PCB缺陷檢測任務(wù)也選擇性地引入了相關(guān)的技術(shù)[1]以滿足高效、無損、低成本的工業(yè)生產(chǎn)需求。目前應(yīng)用比較廣泛的目標(biāo)檢測算法可以分為2種:一種是經(jīng)過單次檢測即可直接得到最終結(jié)果的一階段目標(biāo)檢測算法,比較典型的如文獻(xiàn)[2-3]中提出的SSD以及文獻(xiàn)[4-7]中提及的YOLO系列有著更快的檢測速度,一定程度上滿足了實(shí)時(shí)檢測的應(yīng)用要求,但是在識(shí)別準(zhǔn)確率上會(huì)有所欠缺;另一種則是將檢測問題劃分為2個(gè)階段的二階段目標(biāo)檢測算法,如文獻(xiàn)[8-11]中涉及的Faster R-CNN以及文獻(xiàn)[11-14]中研究的Mask R-CNN均能較好地避免錯(cuò)檢、漏檢的問題,但是會(huì)犧牲檢測速度,導(dǎo)致不能完全滿足實(shí)時(shí)檢測場景的需求。

由此從應(yīng)用的角度出發(fā),設(shè)計(jì)出了基于改進(jìn)YOLOv7的PCB裸板缺陷檢測算法。該算法旨在提升PCB裸板的檢測精度,希望能在一定程度上滿足工業(yè)生產(chǎn)的要求。消融實(shí)驗(yàn)結(jié)果驗(yàn)證了對YOLOv7算法改進(jìn)的有效性,對比實(shí)驗(yàn)的結(jié)果表明改進(jìn)之后的算法在PCB裸板缺陷檢測上具有優(yōu)越性。

1 改進(jìn)YOLOv7模型

1.1 FSE_YOLOv7模型

針對利用YOLOv7原始模型進(jìn)行缺陷檢測過程中遇到的具體問題對YOLOv7整體網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了 3處改進(jìn),改進(jìn)后網(wǎng)絡(luò)結(jié)構(gòu)FSE_YOLOv7如圖1所示。

首先,針對原始YOLOv7模型空間特征提取能力較弱的問題,在主干特征提取網(wǎng)絡(luò)(Backbone)部分引入在圖像視覺方面更有優(yōu)勢的FReLU激活函數(shù),將原始Conv2D_BN_SiLU模塊替換為Conv2D_BN_FReLU模塊,具體如圖1的Backbone部分所示;隨后,針對模型對小目標(biāo)的識(shí)別能力不足的問題,在特征融合網(wǎng)絡(luò)對信息進(jìn)行融合前,引入了SE注意力機(jī)制功能模塊,令網(wǎng)絡(luò)更加關(guān)注小目標(biāo)的信息,如圖1的FPN部分所示;最后,針對原始模型識(shí)別缺陷在精度上有所不足的問題,融入更淺層的信息,將主干特征提取網(wǎng)絡(luò)中stage2部分的信息加入特征提取網(wǎng)絡(luò)中的同時(shí)添加4個(gè)從主干網(wǎng)絡(luò)部分開始的跳躍連接,用以降低信息傳遞過程中無法避免的信息損耗,具體的連接方式如圖1的FPN部分中虛線跳躍連接部分所示。

圖1 FSE_YOLOv7整體網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Overall network structure of FSE_YOLOv7

1.2 更換激活函數(shù)

原始YOLOv7模型網(wǎng)絡(luò)結(jié)構(gòu)延用了YOLOv5 中所使用的SiLU激活函數(shù),函數(shù)詳述見文獻(xiàn)[15],激活函數(shù)的圖像如圖2所示(自變量x取值-4～10且間隔2個(gè)單位標(biāo)刻)。SiLU激活函數(shù)的具體表達(dá)如下:

f(x)=x×sigmoid(x)。

(1)

SiLU激活函數(shù)處處可導(dǎo)且連續(xù)光滑,在深層模型上應(yīng)用SiLU激活函數(shù)能夠有效提高分類的準(zhǔn)確率,然而由于其引入了指數(shù)函數(shù)增加了計(jì)算量。

圖2 SiLU激活函數(shù)圖像Fig.2 SiLU activation function image

在YOLOv7網(wǎng)絡(luò)中利用文獻(xiàn)[16]研究的視覺激活函數(shù)FReLU替換SiLU,ReLU圖像及其變式FReLU圖像如圖3所示。

圖3 ReLU和FReLU激活函數(shù)圖像Fig.3 ReLU and FReLU activation function images

ReLU和FReLU的表達(dá)式如下:

式中:F為非線性激活函數(shù),x為自變量,T(x)為一種高效的空間特征提取方式,不會(huì)給網(wǎng)絡(luò)帶來太多的負(fù)擔(dān)。使用參數(shù)化的池化窗口加強(qiáng)對空間的關(guān)注具體T(x)如下:

(4)

FReLU通過增加一個(gè)空間條件來改善之前 幾個(gè)版本激活函數(shù)不依賴于空間條件的現(xiàn)狀,如 圖4所示。將文獻(xiàn)[17]中研究的ReLU和文 獻(xiàn)[18]中提及的PReLU擴(kuò)展為具有像素化建模能力的視覺參數(shù)化ReLU,提升了激活函數(shù)的空間敏感性,而這一改進(jìn)落實(shí)到公式上只增加了一個(gè)可以忽略不計(jì)的計(jì)算開銷,并且實(shí)現(xiàn)起來并不會(huì)太難。

消融實(shí)驗(yàn)的結(jié)果表明,應(yīng)用FReLU激活函數(shù)能有效提高PCB裸板缺陷檢測模型的mAP值。

圖4(c)中將漏斗條件(funnel condition)定義為T(X),相較于圖4(a)中手動(dòng)設(shè)計(jì)零值和圖4(b)中增加一個(gè)參數(shù)化的pX,FReLU設(shè)計(jì)了一個(gè)依賴于空間上下文的二維漏斗狀條件利用這個(gè)空間條件T(X)和MAX函數(shù)的特性,可以提供像素級的建模能力或者說空間布局能力,理論上來說可以輕易地提取任何形狀物體的空間結(jié)構(gòu)。

圖4 FReLU增加空間條件演變過程Fig.4 Evolution process of adding spatial condition to FReLU

1.3 引入SE注意力機(jī)制

由于大部分PCB裸板缺陷屬于小目標(biāo)范疇而利用YOLOv7模型預(yù)測目標(biāo)時(shí)會(huì)根據(jù)預(yù)先設(shè)計(jì)的不同尺度,分別檢測小、中和大3種尺度的目標(biāo),因此在YOLOv7中賦予3種不同尺度目標(biāo)相同的權(quán)重的設(shè)定無形中會(huì)增加網(wǎng)絡(luò)的負(fù)擔(dān),降低檢測的效率。為了使網(wǎng)絡(luò)更加關(guān)注對小目標(biāo)的檢測,文中引入了文獻(xiàn)[19]研究的SE通道注意力機(jī)制直接在原有的網(wǎng)絡(luò)結(jié)構(gòu)中添加SE_block,希望賦予小目標(biāo)檢測通道更大的權(quán)重,以提高模型檢測小目標(biāo)的精度。 SE_block詳細(xì)結(jié)構(gòu)如圖5所示。

圖5中首先對輸入進(jìn)來的特征圖X經(jīng)過轉(zhuǎn)化Ftr(Transformation)操作生成特征圖U,接下來對特征圖U進(jìn)行全局平均池化Fsq(Squeeze),然后通過Fex(Excitation)對2層全連接層進(jìn)行處理賦予不同通道不同的權(quán)重信息,最后在Fscale(Scale)步驟中利用上一步得到的權(quán)重信息對特征圖U進(jìn)行權(quán)重賦值。

圖5 SE_block結(jié)構(gòu)Fig.5 SE_block structure

1.4 改進(jìn)特征融合網(wǎng)絡(luò)

文中原YOLOv7特征融合部分的信息來源于主干特征提取網(wǎng)絡(luò)的stage3、stage4和stage5三部分,如圖6所示。這樣只選取部分提取到的信息進(jìn)行特征加強(qiáng)的方式在一定程度上會(huì)忽略掉淺層信息,從而影響到模型識(shí)別小目標(biāo)的精度。為了讓特征加強(qiáng)部分融入更多的淺層信息,將Backbone部分中提取到的stage2部分的信息也融入FPN過程中,希望借此提高模型的識(shí)別精度。在特征加強(qiáng)過程中為了盡量減輕隨著網(wǎng)絡(luò)加深卷積模塊增多而產(chǎn)生的信息損失問題,原模型不斷地對載入的信息進(jìn)行上采樣和下采樣,這無疑會(huì)損失許多的細(xì)節(jié)信息并且降低模型檢測小目標(biāo)時(shí)的精度。在之前改進(jìn)的基礎(chǔ)上將stage2、stage3、stage4、stage5直接與P2、P3、P4、P5跳躍連接以保留住更多的細(xì)節(jié)信息減少信息的損耗,改進(jìn)后的特征融合部分結(jié)果如圖7所示。

圖6 原YOLOv7網(wǎng)絡(luò)特征融合網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 The original YOLOv7 network feature fusion network structure

圖6和圖7用式(5)來表示特征融合的過程,其中F表示經(jīng)過融合后的得到的結(jié)果,符號(hào)[]表示對內(nèi)部的特征圖按照通道維度進(jìn)行拼接融合,f1、f2和f3表示需要進(jìn)行融合的特征圖。

F=[f1,f2,f3]。

(5)

圖7 改進(jìn)后YOLOv7特征融合網(wǎng)絡(luò)結(jié)構(gòu)Fig.7 Improved YOLOv7 feature fusion network structure

由式(5)能夠得出圖6和圖7中F2、F3、F4可以分別用用式(6)～式(8)表示,并用式(9)表示F5:

(6)

(7)

(8)

(9)

在進(jìn)行Upsampling2D之前會(huì)進(jìn)行一個(gè)Conv操作,SE_stage表示對經(jīng)過特征提取網(wǎng)絡(luò)得到的stage特征圖經(jīng)過一個(gè)SE注意力機(jī)制模塊。

P2、P3、P4、P5表示如下:

(10)

(11)

(12)

(13)

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)條件

YOLO系列算法從曾經(jīng)的YOLOv1發(fā)展到如今的YOLOv7,其高效率的識(shí)別能力已經(jīng)得到了廣泛的認(rèn)可。根據(jù)訓(xùn)練實(shí)驗(yàn)條件(GPU)的不同,有YOLOv7Tiny和YOLOv7、YOLOv7-W6三種模型供選擇,本文采用的是YOLOv7。

實(shí)驗(yàn)所需要的軟件以及硬件配置如表1所示。由于實(shí)驗(yàn)過程中用到的數(shù)據(jù)集中的圖片總數(shù)以及各類別的圖片數(shù)量均無法滿足要求,在實(shí)驗(yàn)之前會(huì)對數(shù)據(jù)集進(jìn)行擴(kuò)充。文中實(shí)驗(yàn)開始前會(huì)同時(shí)采用2種數(shù)據(jù)增強(qiáng)方式,分別是文獻(xiàn)[20]中提及的mosaic以及文獻(xiàn)[21]中研究的mixup,對來數(shù)據(jù)進(jìn)行增強(qiáng)操作,mosaic數(shù)據(jù)增強(qiáng)后的圖片會(huì)有50%的概率進(jìn)行mixup處理。

表1 實(shí)驗(yàn)所需軟硬件配置情況Tab.1 Hardware and software configurations required for the experiment

文中使用的CPU為AMD Ryzen 7 5800H with Radeon Graphics @ 3.20 GHz,GPU配置為GeForce RTX3060,整個(gè)實(shí)驗(yàn)均利用Python語言進(jìn)行開發(fā),使用的是PyTorch深度學(xué)習(xí)框架。

2.2 數(shù)據(jù)集介紹

表2 數(shù)據(jù)集詳細(xì)信息

2.3 評估標(biāo)準(zhǔn)

為了更全面客觀地對訓(xùn)練后的模型性能進(jìn)行評估,文中采用2種常用的評價(jià)指標(biāo)分別為F1因子以及平均精度(mAP)。

文中設(shè)置判斷正負(fù)樣本的IoU閾值為0.5,當(dāng)樣本檢測框和真實(shí)框之間的IoU值大于所設(shè)的閾值時(shí),該樣本被標(biāo)記為正樣本,用TP(真陽性)表示;而IoU值低于0.5時(shí)則將樣本標(biāo)記為負(fù)樣本,用FP(假陽性)表示。將正樣本數(shù)量除以檢測出的該類目標(biāo)的總數(shù)量,記為精確度(P):

(14)

用FN(假陰性)表示正樣本被誤判為負(fù)樣本的樣本數(shù),召回率記為R,表示如下:

(15)

以P為縱軸,R為橫軸,畫出二維的P-R曲線,P-R曲線下的陰影面積稱為平均精度值(AP),計(jì)算如下:

(16)

分別求出各類別的AP值,對所有的AP值求和后除以類別數(shù)得到mAP。

用F-Measure評價(jià)模型檢測能力,當(dāng)α=1時(shí),P和R的諧波平均值用F1因子表示:

(17)

(18)

2.4 消融實(shí)驗(yàn)

針對文中對原始YOLOv7算法提出的3處改進(jìn),通過逐一增加改進(jìn)模塊的方法設(shè)計(jì)了消融實(shí)驗(yàn)以驗(yàn)證各個(gè)改進(jìn)模塊的有效性。實(shí)驗(yàn)中利用mAP以及F1因子對改進(jìn)模塊的效果進(jìn)行評判,結(jié)果如 表3所示。利用FReLU激活函數(shù)替換SiLU激活函數(shù),在增強(qiáng)激活空間靈敏度的同時(shí)顯著改善了圖像視覺,與原始YOLOv7相比,mAP值提高了2.34%,F1因子提高了3.01%;在此基礎(chǔ)上通過把SE_block注意力機(jī)制模塊引入進(jìn)特征融合網(wǎng)絡(luò),mAP值提高了0.57%,F1因子提高了1.04%。最后,在前2次變更后的網(wǎng)絡(luò)中,使用改進(jìn)后特征融網(wǎng)絡(luò)結(jié)構(gòu),讓網(wǎng)絡(luò)融入更多的淺層信息以減少融合過程中的信息損耗,使mAP值從最初的92.53%提高到了95.89%。消融實(shí)驗(yàn)結(jié)果表明,文中對YOLOv7算法的3次改進(jìn)均能夠提高其對于PCB裸板缺陷檢測的精度。

表3 消融實(shí)驗(yàn)結(jié)果分析Tab.3 Analysis of ablation experiment results

原始YOLOv7算法和文中算法在同一個(gè)PCB裸板缺陷數(shù)據(jù)集上的檢測結(jié)果如圖8所示,圖的左側(cè)為原始YOLOv7模型檢測結(jié)果,右側(cè)為文中算法檢測結(jié)果。圖中不同的錨框顏色代表檢測出的不同的缺陷類型,一共6種類型。

HU Yi-jun, LIU Shu-peng, CHENG Kai, XU Gui-xia, HU Jing-jing, LIU Shan-rong

從圖8中可以發(fā)現(xiàn),本文算法在同一組數(shù)據(jù)上能夠檢測出更多的PCB裸板的缺陷,這表明本文算法相較于原算法在檢測精度上有了較大提升,同時(shí)也證實(shí)了文中針對原始模型3處改進(jìn)的有效性。

圖8 檢測結(jié)果對比Fig.8 Comparison of test results

2.5 對比實(shí)驗(yàn)

將目前主流的目標(biāo)檢測模型YOLOv5s、YOLOX、Faster R-CNN和SSD訓(xùn)練后對測試集中的PCB裸板進(jìn)行檢測,得出的結(jié)果與改進(jìn)后YOLOv7模型的檢測結(jié)果進(jìn)行對比,以驗(yàn)證文中算法檢測性能的優(yōu)越性。利用mAP值作為模型的評價(jià)指標(biāo),結(jié)果如表4所示。

表4 對比實(shí)驗(yàn)結(jié)果分析Tab.4 Comparative analysis of experimental results

由表4可知,本文算法的mAP值最高,其值比Faster R-CNN、SSD、YOLOX、YOLOv5和YOLOv7網(wǎng)絡(luò)模型的mAP值分別高1.92%、8.26%、5.45%、 2.58%和3.36%。對比實(shí)驗(yàn)的結(jié)果表明,本文算法對PCB裸板的缺陷檢測的精度是最高的。

3 結(jié)束語

為了解決PCB裸板缺陷檢測精度低,易錯(cuò)檢、漏檢的難題,提出了基于改進(jìn)YOLOv7的檢測算法。首先引入視覺激活函數(shù)FRelU替換SiLU優(yōu)化網(wǎng)絡(luò)的視覺提取方式,以捕獲更多的空間視覺信息,提高識(shí)別精度。然后引入SE注意力機(jī)制,令網(wǎng)絡(luò)更關(guān)注對小目標(biāo)的識(shí)別以檢測出更多的小型目標(biāo),在一定程度上避免漏檢情況發(fā)生。接著采用改進(jìn)的特征融合網(wǎng)絡(luò)對提取到的特征信息進(jìn)行融合,融合入更多淺層信息的同時(shí)通過跳轉(zhuǎn)連接減少網(wǎng)絡(luò)傳遞過程中信息的損耗,提升模型識(shí)別小目標(biāo)的準(zhǔn)確率。隨后在公開的PCB板缺陷數(shù)據(jù)集上和原始YOLOv7模型進(jìn)行消融實(shí)驗(yàn),驗(yàn)證了本文的3種改進(jìn)方式能夠提升原始YOLOv7模型對小目標(biāo)的識(shí)別準(zhǔn)確率。最后通過與其他經(jīng)典目標(biāo)檢測算法進(jìn)行對比,實(shí)驗(yàn)結(jié)果表明,同等實(shí)驗(yàn)條件下,改進(jìn)后的YOLOv7模型的F1因子和mAP值均為最高值且實(shí)際缺陷檢測效果要優(yōu)于其他經(jīng)典算法,對于PCB裸板缺陷檢測在工業(yè)上的部署有一定的應(yīng)用價(jià)值。