基于改進(jìn)YOLOv5的PCB板表面缺陷檢測(cè)

王淑青,張子言,朱文鑫,劉逸凡,王娟,李青玨

(1.湖北工業(yè)大學(xué)電氣與電子工程學(xué)院,湖北武漢 430068;2.華中科技大學(xué)武漢光電國(guó)家研究中心,湖北武漢 430074)

0 引言

進(jìn)入工業(yè)4.0時(shí)代以來(lái),電子設(shè)備與我們的生活緊密相連,而精密的電子產(chǎn)品往往依賴于PCB板進(jìn)行走線和裝配[1-3]。在工業(yè)生產(chǎn)中會(huì)因?yàn)楣I(yè)設(shè)備操作不當(dāng),而破壞PCB板原有的電路屬性,造成資源浪費(fèi)。目前,用于PCB板缺陷檢測(cè)的主要方法有:人工檢測(cè)法和在線測(cè)試[4]。人工檢測(cè)法受檢測(cè)人員主觀因素較大,且在檢測(cè)過(guò)程中可能會(huì)人為造成其他缺陷,檢測(cè)效率低、人工成本高[5]。在線測(cè)試通過(guò)電氣性能來(lái)識(shí)別缺陷,常見的有針床測(cè)試儀和飛針測(cè)試儀,但制造夾具的成本高,檢測(cè)速度慢[6-7]。

隨著機(jī)器視覺的快速發(fā)展,一種高精度、非接觸性的實(shí)時(shí)檢測(cè)方法逐漸進(jìn)入人們視角[8],通過(guò)終端與高精度工業(yè)相機(jī)連接[9],可精準(zhǔn)、高效的檢測(cè)PCB板多類缺陷。如胡珊珊等[10]提出了一種上采樣和跳層連接(Skip Connect)進(jìn)行特征融合的方法,實(shí)現(xiàn)對(duì)PCB板微小缺陷的檢測(cè),但速度有待提高;楊慶華等[11]采用Hough變換和仿射變換配準(zhǔn)獲取缺陷區(qū)域,但檢測(cè)數(shù)據(jù)集較少,實(shí)驗(yàn)結(jié)果缺少說(shuō)服力;J.Shen等[12]提出一種輕量化模型實(shí)現(xiàn)對(duì)PCB板的缺陷檢測(cè),檢測(cè)精度較高,有良好魯棒性。

針對(duì)上述研究中PCB板表面缺陷檢測(cè)存在的各種問題,以YOLOv5深度學(xué)習(xí)模型為基礎(chǔ),提出了一種更加輕量化的模型。采用EfficientNetV2替代YOLOv5的主干網(wǎng)絡(luò),減少模型運(yùn)算參數(shù)。改進(jìn)注意力機(jī)制,引入CA注意力機(jī)制代替SE注意力機(jī)制,增強(qiáng)模型空間識(shí)別能力,提高模型對(duì)小目標(biāo)缺陷的檢測(cè)效果。引入α族群損失函數(shù),在不增加模型額外參數(shù)的情況下,提升模型檢測(cè)精度和加快模型收斂速度。實(shí)驗(yàn)結(jié)果表明,改進(jìn)后的模型針對(duì)PCB表面缺陷檢測(cè),能夠以更高的檢測(cè)精度和更快的收斂速度,完成PCB板工業(yè)檢測(cè)系統(tǒng)部署[13-14]。

1 YOLOv5模型分析與改進(jìn)

1.1 YOLOv5檢測(cè)模型

YOLOv5作為當(dāng)前單階段目標(biāo)檢測(cè)算法中[15],表現(xiàn)較為高效、穩(wěn)定的深度學(xué)習(xí)框架,可將模型分為輸入端(Input)、主干網(wǎng)絡(luò)(Backbone)、頸部網(wǎng)絡(luò)(Neck)和輸出端(Output):

1.1.1 Input

內(nèi)嵌數(shù)據(jù)增強(qiáng),通過(guò)將數(shù)據(jù)集進(jìn)行拼接組合和調(diào)整色度、飽和度的方法,實(shí)現(xiàn)數(shù)據(jù)集的擴(kuò)充,以增加檢測(cè)數(shù)據(jù)的豐富性;采用自適應(yīng)錨框計(jì)算,通過(guò)對(duì)比預(yù)測(cè)框和真實(shí)框的差距,自適應(yīng)性反向更新,迭代網(wǎng)絡(luò)參數(shù);自適應(yīng)圖片縮放,為使圖片達(dá)到檢測(cè)所需尺寸,在黑邊最少的情況下,選擇性地對(duì)圖片進(jìn)行縮放。

1.1.2 Backbone

為更高效的使用現(xiàn)有GPU設(shè)備,首次提出Focus結(jié)構(gòu),采用切片操作,在不丟失語(yǔ)義信息的情況下,使輸入通道擴(kuò)充為原來(lái)的4倍,經(jīng)過(guò)卷積操作后,得到2倍下采樣圖。

1.1.3 Neck

采用FPN+PAN結(jié)構(gòu),引入SPPF模塊,通過(guò)將不同大小的最大池化層串行操作和卷積操作,將不同等級(jí)的特征層進(jìn)行融合,得到語(yǔ)義信息更豐富的新特征圖,通過(guò)PAN結(jié)構(gòu)自底向上傳達(dá)強(qiáng)語(yǔ)義信息,從而實(shí)現(xiàn)對(duì)不同檢測(cè)層的參數(shù)聚合。

1.1.4 Output

GIOU_Loss在IOU_Loss的基礎(chǔ)上增加了相交尺度的衡量方式,解決了邊界框不重合的問題;采用加權(quán)NMS非極大值抑制的方式,使其效果更優(yōu)。

1.2 EfficientnetV2主干特征提取網(wǎng)絡(luò)

針對(duì)EfficientNetV1在網(wǎng)絡(luò)淺層和深層使用深度卷積(depthwise convolution),卻無(wú)法充分利用現(xiàn)有加速器等問題,擬采用EfficientNetV2作為主干特征提取網(wǎng)絡(luò),其主要由移動(dòng)反向瓶頸卷積結(jié)構(gòu)(MBConv)和融合移動(dòng)反向瓶頸卷積結(jié)構(gòu)(Fused MBConv)2個(gè)模塊組成,其結(jié)構(gòu)如圖1所示。MBConv結(jié)構(gòu)主要由1*1卷積層、深度可分離卷積(depthwise separable conv)、批量歸一化(batch normalization,BN)、SiLU激活函數(shù)、SE注意力機(jī)制和殘差邊組成,使用深度可分離卷積可以較大程度上減少模型參數(shù)量,提升網(wǎng)絡(luò)的訓(xùn)練速度。Fused MBConv則是將MBConv中的1*1卷積和3*3深度可分離卷積替換成3*3卷積層,使淺層網(wǎng)絡(luò)可以更好的利用現(xiàn)有加速器,從而進(jìn)一步提升模型的訓(xùn)練速度。

(a)MBConV結(jié)構(gòu) (b)Fused-MBConv結(jié)構(gòu)

深度可分離卷積由深度卷積和逐點(diǎn)卷積(pointwise convolution)兩部分組成,深度卷積在不改變輸入特征圖深度的情況下,對(duì)每一個(gè)通道進(jìn)行卷積操作;逐點(diǎn)卷積則是利用1*1卷積對(duì)輸入特征圖進(jìn)行升維或降維,卷積過(guò)程如圖2所示。

圖2 卷積過(guò)程圖

若假設(shè)輸入特征圖的大小尺寸為DF*DF*M,卷積核尺寸為DK*DK*M,輸出特征圖大小尺寸為DF*DF*N,N表示為卷積核的個(gè)數(shù),分別計(jì)算上述各類卷積的參數(shù)量:

圖2中標(biāo)準(zhǔn)卷積的參數(shù)量如式(1)所示:

N_sc=(DK*DK*M)*N

(1)

圖2中深度卷積通過(guò)與輸入特征圖的每一層特征獨(dú)立的在二維平面上進(jìn)行卷積操作,減少了模型在深度方向的計(jì)算量,但由于沒有充分利用不同通道在空間上的特征信息,故需要逐點(diǎn)卷積(見圖2右圖)提取空間語(yǔ)義信息,深度卷積的參數(shù)量如式(2)所示:

N_DC=(DK*Dk*1)*M

(2)

逐點(diǎn)卷積通過(guò)1*1卷積來(lái)對(duì)輸入的特征圖進(jìn)行空間上的加權(quán)組合,從而生成與卷積核數(shù)量相同的輸出特征圖,逐點(diǎn)卷積的參數(shù)量如式(3)所示:

N_PC=1*1*M*N

(3)

將式(2)、式(3)相加,就可以得到深度可分離卷積的參數(shù)量如式(4)所示:

N_DSC=DK2*M+N*M

(4)

因此深度可分離卷積與標(biāo)準(zhǔn)卷積的參數(shù)量之比k如式(5)所示:

(5)

由式(5)可以看出,卷積核尺寸越大、數(shù)量越多,則深度可分離卷積就相比于標(biāo)準(zhǔn)卷積使用更少的參數(shù)量,且在PCB板表面缺陷類型多而密的情況下,需要挖掘更深層次的語(yǔ)義信息,故深度可分離卷積在理論上可以為模型訓(xùn)練減少大量時(shí)間成本,并提升檢測(cè)精度。

1.3 CA坐標(biāo)注意力機(jī)制

為進(jìn)一步提升PCB板對(duì)于細(xì)小缺陷的檢測(cè)能力,采用CA坐標(biāo)注意力機(jī)制替換EfficientNetV2中的SE注意力模塊。CA坐標(biāo)注意力機(jī)制通過(guò)將通道注意力分解為2個(gè)一維特征編碼的方式,分別沿垂直和水平2個(gè)方向,獨(dú)立地獲取空間方向遠(yuǎn)程依賴關(guān)系以及保留精確的位置信息,最后將2個(gè)方向的注意力圖整合到輸入特征圖,以提升EfficientNetV2特征提取網(wǎng)絡(luò)的特征表達(dá)能力,如圖3所示。

圖3 CA坐標(biāo)注意力機(jī)制

對(duì)于給定的輸入X,采用范圍為(H,1)和(1,W)分別沿水平坐標(biāo)和垂直坐標(biāo)對(duì)每個(gè)通道進(jìn)行編碼,H表示輸入特征張量X的高度、W表示寬度,因此,第c個(gè)通道在高度h處的輸出可以表示為:

(6)

式中:W為通道寬度特征向量;xc為第c個(gè)通道的輸入值。

同理可以得出第c個(gè)通道在寬度w處的輸出表達(dá)式,如式(7)所示。

(7)

式中H為通道高度特征向量。

與SE模塊中的擠壓操作不同,上述2種轉(zhuǎn)換分別沿2個(gè)空間方向聚合特征,生成一對(duì)方向感知特征映射,也允許注意力模塊捕捉沿著一個(gè)空間方向的長(zhǎng)期依賴關(guān)系,并保留另一個(gè)空間方向上的精確位置信息,使網(wǎng)絡(luò)能夠更精確的定位感興趣區(qū)域。

通過(guò)上述信息嵌入之后,將生成的聚合特征映射進(jìn)行連接,然后通過(guò)1*1卷積變換函數(shù)F1對(duì)其進(jìn)行變換,如(8)式所示。

f=δ(F1([zh,zw]))

(8)

式中:[zh,zw]為沿空間維度的連接操作;f為中間信息在水平和垂直方向上編碼操作的特征表達(dá);δ為非線性激活函數(shù)。

通過(guò)批量歸一化和非線性操作后,將函數(shù)分解為2個(gè)方向的張量,即fh∈RC/r×H和fw∈RC/r×W。經(jīng)過(guò)1×1卷積變換函數(shù)Fh和Fw分別將fh和fw變換為同一通道數(shù)量的張量,輸入到X中,如式(9)所示。

(9)

δ為sigmoid激活函數(shù),r為減少f通道數(shù)的控制模塊縮減率,最后各方向的輸入值xc重新加權(quán)構(gòu)成CA模塊的最終輸出,如式(10)所示。

(10)

使用CA模塊使其在水平和垂直方向同時(shí)施加注意力作用于輸入張量,以確認(rèn)兩種特征表示中的每個(gè)元素都存在于感興趣區(qū)域內(nèi)。這種操作方式使CA模塊能更精確地定位有效特征位置,從而實(shí)現(xiàn)對(duì)PCB板各類缺陷的精準(zhǔn)識(shí)別。

1.4 損失函數(shù)的改進(jìn)

當(dāng)預(yù)測(cè)框被目標(biāo)框包含時(shí),3種情況所得到的損失值相同,如圖4所示,使得GIoU退化為IoU,從而未能真實(shí)反映出最佳的預(yù)測(cè)框位置。

圖4 LossGIoU檢測(cè)圖

針對(duì)上述問題,本文采用Lossα-CIOU對(duì)LossCIOU進(jìn)行改進(jìn),Lossα-CIOU將LossIOU推廣到冪IoU損失,以可變的功率參數(shù)作為旋鈕,調(diào)整損耗,來(lái)滿足不同水平的bbox回歸精度,而無(wú)需向訓(xùn)練模型引入額外的計(jì)算參數(shù)。

當(dāng)0<α<1時(shí),α-IoU會(huì)降低對(duì)高IoU對(duì)象的訓(xùn)練權(quán)重,此時(shí)會(huì)損害模型回歸精度;當(dāng)α>1時(shí),模型可獲取高回歸精度,但α對(duì)于不同數(shù)據(jù)集和模型的敏感度不同,經(jīng)過(guò)多次訓(xùn)練表明,本模型在選取α=3時(shí),損耗族可以很容易地應(yīng)用于不同環(huán)境bbox設(shè)置下,改進(jìn)性能效果最先進(jìn)的檢測(cè)器。Lossα-CIoU的定義如式(11)所示。

(11)

式中:c為同時(shí)包含預(yù)測(cè)框和真實(shí)框的最小矩形的對(duì)角線距離;b為一個(gè)大于0的權(quán)衡參數(shù);v用來(lái)衡量檢測(cè)框長(zhǎng)寬比的一致性;r為預(yù)測(cè)框到真實(shí)框中心點(diǎn)的歐幾里得距離。

v可用式(12)、式(13)表示:

(12)

(13)

2 數(shù)據(jù)集準(zhǔn)備與實(shí)驗(yàn)配置

2.1 數(shù)據(jù)集準(zhǔn)備

PCB板的表面缺陷類型主要有毛刺(spur)、缺口(mouse bite)、短路(short)、余銅(spurious copper)、漏焊(missing hole)、開路(open circuit)等[16],如圖5所示。產(chǎn)生PCB板表面缺陷的主要問題是由于其多個(gè)生產(chǎn)過(guò)程,包括:開料、內(nèi)層干膜、棕化、層壓、鉆孔、沉銅板鍍、外層干膜、外層圖形電鍍、阻焊、絲印字符、表面處理等[17-18],其中內(nèi)層干膜所包括的顯影和蝕刻等需要使用到化學(xué)藥品進(jìn)行沖洗,加上工業(yè)機(jī)械壓力和人工操作不當(dāng),極易產(chǎn)生各類缺陷。

圖5 PCB板缺陷類型

本次實(shí)驗(yàn)部分?jǐn)?shù)據(jù)集來(lái)自于MS COCO、ImageNet等公共數(shù)據(jù)集,針對(duì)已有PCB板各類缺陷圖像收集數(shù)據(jù)不均和總體數(shù)據(jù)集較少等問題,采用預(yù)處理的方式對(duì)已有圖像進(jìn)行擴(kuò)充,主要為:高斯模糊、銳化、隨機(jī)翻轉(zhuǎn)、隨機(jī)裁剪等方式對(duì)數(shù)量較少的缺陷進(jìn)行擴(kuò)充。最終得到6 000張圖片,將圖片按照8∶2的比例劃分為訓(xùn)練集和測(cè)試集。

2.2 實(shí)驗(yàn)配置

本次實(shí)驗(yàn)環(huán)境為Ubuntu16.04操作系統(tǒng),使用pytorh1.7框架,CPU:NVIDIA GeForce RTX3060 Laptop,顯存:6G,加速器為CUDA 11.3。

通過(guò)LableImage對(duì)PCB板數(shù)據(jù)集進(jìn)行缺陷類型標(biāo)記,生成包含:毛刺、缺口、短路、余銅、漏焊、開路6類缺陷類型以及缺陷標(biāo)注框?qū)?yīng)的寬、高和位置坐標(biāo)。輸入圖像尺寸設(shè)定為640像素×640像素,batch size設(shè)為8,最大迭代次數(shù)為500,初始學(xué)習(xí)率為0.001,在第100次和第200次迭代后逐漸衰減,權(quán)重衰減系數(shù)為0.000 5。

3 實(shí)驗(yàn)結(jié)果與分析

模型的損失函數(shù)(Loss)表示的是模型對(duì)于實(shí)際數(shù)據(jù)預(yù)測(cè)的差距程度,損失值越趨于0表示模型的預(yù)測(cè)效果越好。將數(shù)據(jù)集訓(xùn)練完成后的損失值曲線,通過(guò)平滑處理后的曲線如下圖6所示。

圖6 損失值對(duì)比

實(shí)驗(yàn)結(jié)果表明,改進(jìn)YOLOv5模型的損失值隨著迭代次數(shù)的增加越來(lái)越趨近于0,并在迭代次數(shù)小于200時(shí),相比于YOLOv5有更快的收斂速度,在迭代次數(shù)大于300之后損失值基本平穩(wěn),表明本算法模型的魯棒性較好。

精確率P(precision)也稱為查準(zhǔn)率,表示所有成功檢測(cè)到缺陷的情況下,正確檢測(cè)到PCB板缺陷的概率;平均精度AP的平均值mAP用以衡量模型對(duì)PCB板缺陷檢測(cè)的準(zhǔn)確性;FPS用以衡量模型的檢測(cè)速度。

圖7展示了本文算法與YOLOv5的精度對(duì)比圖,試驗(yàn)結(jié)果表明:本文算法由于迭代前期損失函數(shù)的復(fù)雜性,導(dǎo)致波形浮動(dòng)較大,但隨著迭代次數(shù)的不斷增加,訓(xùn)練精度逐漸趨于平穩(wěn),并始終超越原始網(wǎng)絡(luò)模型,證明改進(jìn)后的模型對(duì)于PCB板缺陷特征的訓(xùn)練有顯著提升。

圖7 訓(xùn)練精度對(duì)比

為了更直觀的突出本文算法相比于原始網(wǎng)絡(luò)在整體性能方面的優(yōu)勢(shì),選用網(wǎng)絡(luò)層數(shù)、參數(shù)量、每秒浮點(diǎn)運(yùn)算次數(shù)、訓(xùn)練時(shí)間作為評(píng)估標(biāo)準(zhǔn),如表1、表2所示。

表1 模型整體對(duì)比

表2 PCB板表面缺陷檢測(cè)AP對(duì)比 %

通過(guò)表1、表2數(shù)據(jù)可以看出,改進(jìn)YOLOv5模型比原模型的網(wǎng)絡(luò)層數(shù)增加了20%,但參數(shù)量約減少了47%,網(wǎng)絡(luò)模型的推理速度和訓(xùn)練時(shí)間分別減少了6.6s/G和1.9 h;毛刺、缺口、短路、余銅、漏焊、開路的檢測(cè)精度分別提高了3.3%、2.4%、4.8%、1.9%、0.9%、2%。

由表3可以看出,本文改進(jìn)YOLOv5模型與Faster-RCNN、EfficientDet、SSD、YOLOv5深度學(xué)習(xí)模型相比,mAP分別提高了9.6%、5.3%、14%、2.6%;檢測(cè)速度分別提升了37.3、28.3、9、5.3幀;改進(jìn)后的YOLOv5模型在檢測(cè)精度和檢測(cè)速度上,較原模型有大幅度提升,檢測(cè)結(jié)果如圖8所示。

表3 模型檢測(cè)性能對(duì)比

圖8 檢測(cè)結(jié)果

由圖8檢測(cè)結(jié)果可知,改進(jìn)后的YOLOv5模型對(duì)于PCB板中細(xì)小目標(biāo)依然有較高的檢測(cè)精度,在線路與銅板的顏色相近的情況下,能有較高置信度來(lái)辨別毛刺、余銅這類不易檢測(cè)到的缺陷。改進(jìn)YOLOv5模型檢測(cè)查準(zhǔn)率達(dá)98%,平均檢測(cè)速度約為17 ms,可完全滿足在高速流水線上的實(shí)時(shí)檢測(cè)。

4 結(jié)束語(yǔ)

提出了一種改進(jìn)YOLOv5的PCB電路板表面缺陷檢測(cè)的方法,針對(duì)PCB板表面缺陷類型多、檢測(cè)數(shù)量多的情況,引入EfficientNetV2作為輕量化主干網(wǎng)絡(luò),減少了訓(xùn)練模型參數(shù)量,提升了檢測(cè)速度;針對(duì)PCB板線路與銅板顏色相近,容易造成毛刺、余銅這類缺陷不易被檢測(cè)到的問題,融入CA注意力機(jī)制,使模型對(duì)空間表征信息更加敏感,提高了模型的檢測(cè)精度;針對(duì)檢測(cè)框和真實(shí)框相交時(shí),檢測(cè)模型在水平和垂直方向收斂較慢的情況,引入α-IoU損失函數(shù),提高模型回歸精度,為模型提供更高的魯棒性。

通過(guò)多項(xiàng)對(duì)比實(shí)驗(yàn)表明:改進(jìn)后的模型可以精準(zhǔn)高效的對(duì)PCB電路板表面的多種缺陷進(jìn)行實(shí)時(shí)檢測(cè),可輕松布署在小型工業(yè)生產(chǎn)中,對(duì)印刷電路板工業(yè)生產(chǎn)的檢測(cè)環(huán)節(jié)有十分重要的意義。由于本次數(shù)據(jù)集收集較少,對(duì)于各類缺陷的歸納不夠完整,在后續(xù)工作不斷優(yōu)化算法。