印刷電路板缺陷檢測系統(tǒng)的改進(jìn)設(shè)計(jì)

徐婷婷,祁晉東,達(dá)頓珠,周艷霞

(西藏大學(xué) 信息科學(xué)技術(shù)學(xué)院,拉薩 850000)

印刷電路板(PCB)是現(xiàn)代電子設(shè)備不可或缺的核心組成,已廣泛應(yīng)用于計(jì)算機(jī)、通信、消費(fèi)電子、醫(yī)療設(shè)備等多個(gè)領(lǐng)域。傳統(tǒng)的PCB瑕疵檢測方法通常依賴于人工視覺檢查或機(jī)械檢測設(shè)備,存在效率低下、成本高昂及檢測準(zhǔn)確性不高等問題,隨著計(jì)算機(jī)視覺技術(shù)的迅猛發(fā)展,基于目標(biāo)檢測的PCB瑕疵檢測方法迅速嶄露頭角。目標(biāo)檢測算法主要分為傳統(tǒng)的和基于深度學(xué)習(xí)的兩大類。與傳統(tǒng)的目標(biāo)檢測算法不同,基于深度學(xué)習(xí)的方法無需區(qū)域提議階段,直接生成物體的類別概率及位置坐標(biāo)值,具有更快的檢測速度,故本研究選擇采用YOLOx[1]進(jìn)行目標(biāo)檢測,借助最新的深度學(xué)習(xí)技術(shù)及大規(guī)模PCB瑕疵圖像數(shù)據(jù)集訓(xùn)練了一款高性能的PCB瑕疵檢測模型,利用Pyside2設(shè)計(jì)了一個(gè)目標(biāo)檢測的PCB瑕疵檢測系統(tǒng),能夠自動(dòng)識(shí)別并定位PCB上的各種瑕疵,顯著提高了檢測準(zhǔn)確性及速度,克服傳統(tǒng)方法的限制,為PCB制造行業(yè)提供可靠的質(zhì)量控制解決方案。

1 相關(guān)工作

1.1 多分支架構(gòu)

多分支卷積神經(jīng)網(wǎng)絡(luò)在準(zhǔn)確性及速度方面持續(xù)取得顯著進(jìn)展,其核心概念是分裂-轉(zhuǎn)換-合并,該方法降低了訓(xùn)練復(fù)雜多層網(wǎng)絡(luò)的難度。在InceptionNet[2]中,每個(gè)分支采用自定義的卷積核濾波器,以有效融合更多信息及多種特征。受到InceptionNet[2]的啟發(fā),SKNets[3]與ShuffleNet[4]都探索了多分支卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化。SKNets[3]通過自適應(yīng)選擇機(jī)制實(shí)現(xiàn)了神經(jīng)元自適應(yīng)感受野的調(diào)整,提高了網(wǎng)絡(luò)適應(yīng)性。相反,ShuffleNets[4]將通道分割和通道洗牌兩個(gè)操作合并為單一元素操作,在速度和準(zhǔn)確性之間找到了平衡點(diǎn),提高了模型效率及性能。

1.2 分組

特征分組學(xué)習(xí)最初的動(dòng)機(jī)是為了充分利用多個(gè)GPU資源。Deep Roots提出了卷積組(Convolutional Groups)的概念,以更有效地學(xué)習(xí)特征表示。MobileNets[5]和ShuffleNets[4]將每個(gè)通道視為一個(gè)組,對(duì)這些組內(nèi)的空間關(guān)系進(jìn)行建模來改進(jìn)性能。CapsuleNets[6]將每個(gè)分組神經(jīng)元建模為一個(gè)膠囊,其中活動(dòng)膠囊中的神經(jīng)元代表圖像中特定實(shí)體的各種屬性。而SGE[7]則在CapsuleNets的基礎(chǔ)上進(jìn)行了擴(kuò)展,將通道的維度分割為多個(gè)子特征,以便學(xué)習(xí)不同的語義信息。這些方法的共同特點(diǎn)在于利用分組結(jié)構(gòu)來增強(qiáng)特征學(xué)習(xí)和表示能力,為模型提供更多的表達(dá)自由度。因此分組卷積在深度學(xué)習(xí)模型的性能及效率方面具有重要意義。

1.3 注意力機(jī)制

注意力機(jī)制的核心思想是將關(guān)注點(diǎn)集中在信息量豐富的特征表達(dá)上,抑制不太有用的表達(dá)。注意力機(jī)制主要包括通道注意力和空間注意力。通道注意力側(cè)重于捕獲通道之間的依賴關(guān)系,而空間注意力則關(guān)注像素之間的關(guān)系。它們通過不同的聚合策略、轉(zhuǎn)換方法及強(qiáng)化函數(shù),從所有位置聚合相同的特征以增強(qiáng)原始特征。CBAM[8]嘗試同時(shí)處理空間和通道信息,雖然將它們?nèi)诤峡赡軙?huì)在性能上獲得更好的結(jié)果,但增加了計(jì)算成本。ECA-Net[9]通過使用1D卷積來簡化通道權(quán)重計(jì)算,以改進(jìn)SE[10]模塊的性能。SGE[7]采用了一種分組形式,將輸入沿通道維度劃分為子特征,在每個(gè)子特征上應(yīng)用空間注意力。但這些方法尚未充分利用空間注意力及通道注意力之間的相關(guān)性,因此在效率方面存在一定程度的不足。

2 模型的改進(jìn)

為了有效克服以上缺陷,引入STA模塊,如圖1所示。該模塊將輸入的特征映射分割成多個(gè)子組,將通道注意力和空間注意力整合到每個(gè)組的一個(gè)塊中。對(duì)所有子特征進(jìn)行聚合,采用信道洗牌算子來促進(jìn)不同子特征之間的信息傳遞。

圖1 STA 模塊Fig.1 STA module

圖2 網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure

圖3 注冊(cè)登錄界面Fig.3 Interface of registration login

圖4 PCB瑕疵檢測結(jié)果界面Fig.4 Interface of PCB defect detection results

對(duì)于給定的特征映射X∈C×H×W,其中C、H、W分別表示通道數(shù)、空間高度及寬度,SAT沿通道維度將X劃分為G組,即X=[X1,…,XG],其中Xk∈C/G×H×W,每個(gè)子特征Xk在訓(xùn)練過程中逐漸捕獲一個(gè)特定的語義響應(yīng)。Xk會(huì)被分為兩個(gè)分支,沿著通道維度劃分,兩個(gè)子特征表示為Xk1,Xk2∈C/2G×H×W,分別實(shí)現(xiàn)通道注意力開采通道間的依賴和捕獲特征之間的空間依賴,生成空間注意力圖,這樣就同時(shí)完成了語義和位置信息的注意。通道注意力考慮到輕量化設(shè)計(jì)需求,采用最簡單的GAP+Scale+Sigmoid的單層變換,公式如下:

(1)

(2)

空間注意力對(duì)輸入特征圖進(jìn)行GroupNorm,通過一個(gè)變換Fc(·)來增強(qiáng)輸入的表示,公式如下:

(3)

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)環(huán)境

基于目標(biāo)檢測的印刷電路板瑕疵檢測實(shí)驗(yàn)是在百度PaddlePaddle深度學(xué)習(xí)框架上完成的,表1描述了實(shí)驗(yàn)環(huán)境的配置。

表1 實(shí)驗(yàn)環(huán)境配置Tab.1 Experimental environment configuration

表2 訓(xùn)練模型的評(píng)估結(jié)果Tab.2 Evaluation results of training model

3.2 實(shí)施細(xì)節(jié)

PCB瑕疵數(shù)據(jù)集包括訓(xùn)練集6975張圖片、驗(yàn)證集1989張圖片、測試集997張圖片,共計(jì)9961張圖片。該數(shù)據(jù)集涵蓋了漏孔、鼠牙洞、開路、短路、毛刺、雜銅6種,在缺陷處均添加標(biāo)記框。為了提高模型的準(zhǔn)確性,采用多種數(shù)據(jù)擴(kuò)充策略,包括翻轉(zhuǎn)、旋轉(zhuǎn)、縮放及歸一化處理,將輸入的張量尺寸裁剪為224×224。模型通過隨機(jī)梯度下降算法進(jìn)行優(yōu)化,優(yōu)化器使用SGD,SGD的權(quán)值衰減為1e-4,Momentum為0.9,在12個(gè)epochs內(nèi)每個(gè)GPU的批量大小為12。學(xué)習(xí)率設(shè)置為0.2,在100個(gè)epochs內(nèi)采用CosineAnnealingDecay對(duì)學(xué)習(xí)率進(jìn)行調(diào)整。

3.3 網(wǎng)絡(luò)結(jié)構(gòu)

對(duì)YOLOx網(wǎng)絡(luò)的Backbone進(jìn)行優(yōu)化。其中,STA Attention是一種輕量高效的注意力模塊,它將輸入特征圖按通道分組,對(duì)每個(gè)分組實(shí)施空間及通道注意力機(jī)制,從而高效地融合了不同的注意力模塊,增強(qiáng)了空間及通道注意力之間的相關(guān)性。

YOLOx采用了Focus網(wǎng)絡(luò)結(jié)構(gòu),這是YOLOv5中引入的一項(xiàng)創(chuàng)新內(nèi)容。鑒于YOLOv4和YOLOv5可能在錨點(diǎn)管道的優(yōu)化上過于偏重,YOLOx選擇以YOLOv3-Darknet53[11]作為基線,在此基礎(chǔ)上進(jìn)行改進(jìn)。與之前的YOLO版本相似,YOLOx可以分為3個(gè)主要部分,即CSPDarknet、FPN和Yolo Head。CSPDarknet充當(dāng)YOLOx的主干特征提取網(wǎng)絡(luò),FPN則作為YOLOx的增強(qiáng)特征提取網(wǎng)絡(luò),而Yolo Head則負(fù)責(zé)分類和回歸任務(wù)。因此整個(gè)YOLOx網(wǎng)絡(luò)的任務(wù)可以概括為以下3個(gè)步驟:特征提取、特征增強(qiáng)及物體分類與回歸分析。STA的嵌入使得YOLOx在目標(biāo)檢測領(lǐng)域表現(xiàn)卓越,為物體識(shí)別任務(wù)提供了更強(qiáng)大的性能。

3.4 模型訓(xùn)練及結(jié)果

為了評(píng)估提出的STA模塊性能,在YOLOx網(wǎng)絡(luò)結(jié)構(gòu)上進(jìn)行了PCB瑕疵數(shù)據(jù)集的訓(xùn)練及驗(yàn)證。在相應(yīng)的實(shí)驗(yàn)部分引入了CBAM網(wǎng)絡(luò)進(jìn)行對(duì)比研究。

實(shí)驗(yàn)結(jié)果表明,提出的網(wǎng)絡(luò)結(jié)構(gòu)在增加了些許參數(shù)及計(jì)算復(fù)雜度的情況下大幅提高了mAP0.5和mAP0.75的準(zhǔn)確率,取得了更出色的PCB瑕疵目標(biāo)檢測識(shí)別效果。

4 PCB瑕疵檢測系統(tǒng)

采用PySide2開發(fā)了一個(gè)智能PCB板缺陷檢測系統(tǒng),主要用于智能化檢測印刷電路板(PCB)的缺陷。系統(tǒng)包括登錄注冊(cè)功能,可進(jìn)行用戶管理。通過使用相機(jī)捕獲的PCB圖像,基于計(jì)算機(jī)視覺識(shí)別常見的缺陷類型,包括漏孔、鼠牙洞、毛刺等,在圖像上標(biāo)記出這些缺陷并輸出對(duì)應(yīng)的類別信息,以協(xié)助實(shí)現(xiàn)自動(dòng)化的PCB質(zhì)量檢測。該系統(tǒng)支持實(shí)時(shí)監(jiān)測攝像頭流以統(tǒng)計(jì)流水線上的PCB產(chǎn)品,檢測其缺陷。系統(tǒng)提供結(jié)果記錄、展示及保存功能,以滿足用戶需求。