基于多尺度輕量級卷積網(wǎng)絡(luò)的PCB裸板缺陷識別算法

劉偉森 方亦建

學(xué)術(shù)研究

基于多尺度輕量級卷積網(wǎng)絡(luò)的PCB裸板缺陷識別算法

劉偉森 方亦建

（廣州安易自動化科技有限公司，廣東 廣州 510289）

針對目前印刷電路板（PCB）缺陷檢測方法存在的檢測效率低、接觸式檢測易損傷PCB、誤檢率高、難以適應(yīng)多種缺陷類型等問題，提出一種基于多尺度輕量級卷積網(wǎng)絡(luò)的PCB裸板缺陷識別算法。該算法在網(wǎng)絡(luò)第一層采用多尺度卷積核對缺陷圖片進行特征提取，并采用深度可分離卷積操作替代網(wǎng)絡(luò)中的標(biāo)準卷積操作，提高網(wǎng)絡(luò)模型特征提取能力的同時減少模型的參數(shù)數(shù)量及計算量。實驗結(jié)果表明：與經(jīng)典卷積網(wǎng)絡(luò)、傳統(tǒng)缺陷檢測算法相比，本文算法具有缺陷識別準確率高、通用性強等特點，滿足工業(yè)應(yīng)用要求。

多尺度；輕量級；PCB裸板；缺陷識別

0　引言

隨著我國智能制造2025強國戰(zhàn)略的提出以及現(xiàn)代工業(yè)信息化水平的不斷提升，對電子產(chǎn)品質(zhì)量的要求也越來越高。印刷電路板（printed circuit board，PCB）裸板作為電子產(chǎn)品的核心組件，其質(zhì)量檢測成為滿足電子制造業(yè)日益增長的質(zhì)量需求的關(guān)鍵。PCB裸板檢測先定位缺陷位置，再識別短路、斷路、凸起、缺口、余銅和漏孔等缺陷類型。目前PCB裸板缺陷檢測方法存在檢測效率低、誤檢率高、接觸受限等問題[1-2]。因此，研究一種快速可靠的PCB裸板缺陷識別算法具有重要實際意義。

目前，PCB裸板缺陷檢測主要有3種方法：1）人工檢測法，檢測員需用放大鏡甚至顯微鏡對PCB裸板進行重復(fù)觀察查找電路板缺陷，存在檢測效率低、主觀誤差較大、人工成本較高等問題[3-4]；2）電氣檢測法，利用電氣特性通過針床對PCB裸板進行接觸式檢測，檢測效率、精度較高，存在接觸式檢測易損傷PCB、檢測缺陷類型單一等問題[5-6]；3）傳統(tǒng)視覺檢測法，通過攝像頭采集圖像，并傳輸至計算機，再利用圖像處理算法分析判斷缺陷位置和類型，特征識別算法通用性較差，在缺陷類型較多的情況下，該方法誤檢率較高[7-8]。

深度學(xué)習(xí)模型因具有強大的學(xué)習(xí)能力，高效的特征表達能力，在圖像分類、識別和匹配等領(lǐng)域均取得較快進展[9-10]。其采用卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練期間自動提取圖像最有效的特征，可直接將圖像作為輸入，隱式地學(xué)習(xí)多層次特征，進而實現(xiàn)分類，相比于傳統(tǒng)人工設(shè)計算法，具有顯著優(yōu)勢。文獻[11]提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的PCB缺陷識別方法，通過訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)自動提取有效特征，實現(xiàn)對多種PCB缺陷準確識別，準確率遠高于傳統(tǒng)缺陷識別方法；WEI P等[12]提出一種基于卷積神經(jīng)網(wǎng)絡(luò)PCB缺陷檢測算法，加入dropout機制，提升模型訓(xùn)練效果及防止過擬合，實現(xiàn)對多種PCB缺陷進行準確識別，準確率高達95.7%；ADIBHATLA V等[13]采用多個卷積神經(jīng)網(wǎng)絡(luò)分類器組合實現(xiàn)對PCB良品、半成品、不良品的準確分類，取得優(yōu)異效果。上述基于卷積神經(jīng)網(wǎng)絡(luò)的PCB缺陷檢測算法效果遠優(yōu)于傳統(tǒng)缺陷檢測算法，但都采用單尺度卷積核提取特征，特征細節(jié)提取不夠全面，且網(wǎng)絡(luò)模型參數(shù)較多、計算量較大，對主機硬件配置要求較高，無法適用于工業(yè)應(yīng)用場景。為此，本文提出一種多尺度輕量級的PCB裸板缺陷識別算法，高效準確地實現(xiàn)PCB裸板缺陷分類識別。

1　算法流程

基于多尺度輕量級卷積網(wǎng)絡(luò)的PCB裸板缺陷識別算法流程如圖1所示。

圖1　基于多尺度輕量級卷積網(wǎng)絡(luò)的PCB裸板缺陷識別算法流程圖

2　PCB裸板缺陷定位

本文通過工業(yè)相機采集無缺陷的PCB裸板圖作為模板圖像，采集有缺陷的PCB裸板圖為待測圖像。

2.1　圖像配準

在工業(yè)現(xiàn)場在線檢測過程中，由于工位偏差、傳送帶振動等因素影響，相機拍攝的PCB裸板待測圖像與模板圖像存在一定方向的偏差，對后續(xù)的缺陷定位、識別造成較大影響。為此，本文采用圖像配準方法校正PCB裸板待測圖像。加速魯棒特征（speeded-up robust features，SURF）算法對圖像旋轉(zhuǎn)、尺度變換、亮度保持不變性，對視角變換、噪聲也有一定程度的抗干擾能力。故本文采用SURF算法對PCB裸板待測圖像進行圖像校正。首先，采用SURF算法提取2幅圖像的特征點進行配準；然后，計算變換矩陣，將PCB裸板待測圖像校正。

2.2　差分運算定位缺陷

圖2　定位缺陷位置

3　基于多尺度卷積輕量級的PCB裸板缺陷識別

3.1　經(jīng)典卷積網(wǎng)絡(luò)

經(jīng)典卷積網(wǎng)絡(luò)一般由輸入層、池化層、全連接層和輸出層構(gòu)成。經(jīng)典卷積網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，主要由4個卷積層、3個最大池化層和2個全連接層組成。該網(wǎng)絡(luò)結(jié)構(gòu)簡單，但特征提取能力較弱，且卷積核個數(shù)較多，參數(shù)超過400萬個，影響模型預(yù)測速度，且較占用資源，不利于部署到工業(yè)計算機上。為此，從多尺度卷積和深度可分離卷積應(yīng)用改進優(yōu)化網(wǎng)絡(luò)模型，提高模型特征提取能力，減少模型參數(shù)和計算量。

3.2　多尺度卷積改進

相關(guān)研究表明[14-15]，不同卷積核尺寸可以提取圖像不同特征，小卷積核可提取細節(jié)特征但特征提取能力較弱，大卷積核感受野更大但容易忽略細小特征。因此，在經(jīng)典卷積網(wǎng)絡(luò)結(jié)構(gòu)的第一層采用多種尺度的卷積核進行特征提取，可獲得不同尺度的特征信息，充分挖掘PCB裸板缺陷圖像的特征信息，從而更加準確、全面地表達出輸入圖像的特征信息。PCB裸板缺陷圖像多尺度卷積特征融合過程如圖4所示。

圖3　經(jīng)典卷積網(wǎng)絡(luò)結(jié)構(gòu)

圖4　PCB裸板缺陷圖像多尺度卷積特征融合過程

將拼接融合后的特征圖作為下一層卷積輸入，為下層卷積層提供更加豐富的圖像特征信息，提高網(wǎng)絡(luò)模型的特征提取能力和PCB裸板缺陷識別準確率。

3.3　深度可分離卷積應(yīng)用

工業(yè)現(xiàn)場對PCB裸板缺陷識別實時性要求較高，且工業(yè)現(xiàn)場的工控機配置相比實驗室深度學(xué)習(xí)服務(wù)器性能差。針對經(jīng)典卷積網(wǎng)絡(luò)參數(shù)多，運算量大問題，本文采用深度可分離卷積操作替代標(biāo)準卷積操作，減少網(wǎng)絡(luò)參數(shù)和計算量，提高網(wǎng)絡(luò)預(yù)測效率。

HOWARD A等[16]提出深度可分離卷積方法，核心在于采用深度卷積和點卷積操作替代標(biāo)準卷積操作，相比標(biāo)準卷積操作，可減少模型參數(shù)和計算量。深度卷積操作、點卷積操作過程如圖6所示。

圖6　深度可分離卷積

由式(7)可知：相比標(biāo)準卷積，采用深度可分離卷積計算量和參數(shù)大幅減少，降低模型對工控機計算能力要求，提高網(wǎng)絡(luò)模型的PCB裸板缺陷識別效率。

4　實驗測試與分析

4.1　實驗平臺

軟件環(huán)境：深度學(xué)習(xí)框架 pytorch 1.0、集成開發(fā)環(huán)境spyder 3.0、第三方函數(shù)庫Anaconda3-4.2.1以及操作系統(tǒng)Windows 10。

硬件環(huán)境：酷睿i5-8500、英偉達GTX1660Ti、8 GB內(nèi)存、1 TB硬盤。

4.2　數(shù)據(jù)集

圖7　6種缺陷部分樣本

4.3　實驗設(shè)計與分析

4.3.1單尺度與多尺度卷積實驗對比

表1　多尺度和單尺度卷積網(wǎng)絡(luò)PCB裸板缺陷識別率對比

由表1可看出：多尺度卷積神經(jīng)網(wǎng)絡(luò)在PCB裸板缺陷識別總體準確率及各種缺陷識別準確率上均優(yōu)于單尺度卷積網(wǎng)絡(luò)。主要是因為多尺度卷積網(wǎng)絡(luò)能夠從不同尺度獲取PCB裸板缺陷更多的特征細節(jié)，更充分挖掘PCB裸板缺陷的特征信息，從而提高網(wǎng)絡(luò)模型的PCB裸板缺陷識別準確率。

4.3.2標(biāo)準卷積與深度可分離卷積實驗對比

為驗證深度可分離卷積操作可有效減少網(wǎng)絡(luò)模型參數(shù)和計算量，提升模型運行效率，本文基于多尺度卷積網(wǎng)絡(luò)結(jié)構(gòu)對深度可分離卷積操作和標(biāo)準卷積操作進行對比。方法1采用標(biāo)準卷積操作的多尺度卷積網(wǎng)絡(luò)；方法2將方法1中的全部標(biāo)準卷積操作替換為深度可分離卷積結(jié)構(gòu)，測試結(jié)果如表2所示。

表2　標(biāo)準卷積與深度可分離卷積操作測試結(jié)果

由表2可知：深度可分離卷積替換標(biāo)準卷積操作后，網(wǎng)絡(luò)模型的缺陷識別準確率基本保持不變，但模型大小壓縮約為原模型的1/30，參數(shù)數(shù)量從428萬個減少至12萬個，計算量只有原模型的1.74%，訓(xùn)練時間減少超過60%，預(yù)測時間提升84%。

4.3.3多種算法對比

為驗證本算法的有效性，將本文算法與經(jīng)典卷積網(wǎng)絡(luò)、多種傳統(tǒng)缺陷檢測算法作對比。其中文獻[5]基于圖像參考對比法：首先，對待測PCB裸板圖像進行圖像配準；其次，采用圖像差分算法確定PCB裸板缺陷位置；然后，求待測PCB裸板圖像缺陷區(qū)域的連通區(qū)域數(shù)、歐拉數(shù)、面積特征；最后，通過簡單的特征對比進行PCB裸板缺陷分類。文獻[6]基于決策樹的PCB裸板缺陷識別法：首先，對待測PCB圖像進行圖像預(yù)處理、圖像差分等操作提取PCB裸板缺陷區(qū)域圖像；然后，提取待測PCB圖像缺陷區(qū)域的輪廓、連通區(qū)域數(shù)、歐拉數(shù)、面積特征并組成特征向量；最后，輸入到已訓(xùn)練好的決策樹模型實現(xiàn)缺陷分類。多種算法的測試結(jié)果如表3所示。

表3　多種算法測試結(jié)果

由表3可知：傳統(tǒng)的圖像參考對比法、基于決策樹的PCB裸板缺陷識別法對6種缺陷識別準確率較低，總體識別準確率只有81.81%和92.01%，難以達到實際檢測要求；經(jīng)典卷積網(wǎng)絡(luò)整體PCB裸板缺陷識別準確率達96.16%，相比傳統(tǒng)缺陷檢測算法有明顯提高，但在某種缺陷識別準確率較低，如毛刺缺陷識別率僅有93.75%；本文改進的卷積網(wǎng)絡(luò)整體PCB裸板缺陷識別率達99.09%，6種缺陷識別率均高于97.5%，明顯優(yōu)于經(jīng)典卷積網(wǎng)絡(luò)法、傳統(tǒng)缺陷檢測算法，可滿足工業(yè)應(yīng)用實際要求。

5　結(jié)論

本文提出的基于多尺度輕量級卷積網(wǎng)絡(luò)的PCB裸板缺陷檢測算法，從多尺度卷積和深度可分離卷積對經(jīng)典卷積網(wǎng)絡(luò)進行改進。針對經(jīng)典卷積網(wǎng)絡(luò)單尺度卷積特征提取能力較弱問題，本文在網(wǎng)絡(luò)第一層采用多尺度卷積提取特征，從不同尺度獲取PCB裸板缺陷更多的特征細節(jié)，提高PCB裸板缺陷識別準確率；針對經(jīng)典卷積網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)多、計算量大問題，本文采用深度可分離卷積替代標(biāo)準卷積，大幅減少模型的參數(shù)和計算量，在保證識別準確率下，顯著提高模型的運行效率。實驗測試表明：本文算法對PCB裸板常見6種缺陷的整體識別準確率達99.09%，單種缺陷識別準確率均高于97.5%，與經(jīng)典卷積網(wǎng)絡(luò)、傳統(tǒng)算法相比，無論是整體識別準確率，還是單種缺陷識別準確率，都具有明顯的優(yōu)勢，對PCB裸板缺陷檢測有一定借鑒意義，具有一定工業(yè)應(yīng)用價值。

[1] MA J. Defect detection and recognition of bare PCB based on computer vision[C]//2017 36th Chinese Control Conference (CCC). IEEE, 2017: 11023-11028.

[2] 張永宏,黃曉華.基于SIFT匹配算法的PCB板缺陷檢測[J].計算機測量與控制,2012,20(9):2328-2330.

[3] LU Z, HE Q, XIANG X, et al. Defect detection of PCB based on Bayes feature fusion[J]. The Journal of Engineering, 2018, 2018(16): 1741-1745.

[4] 劉國忠,李運生,周璽,等.基于分層參考比對法印刷電路板自動檢測技術(shù)[J].制造業(yè)自動化,2010,32(11):6-10.

[5] 陳姜嘉旭.基于機器視覺的PCB裸板缺陷檢測技術(shù)研究[D].長沙:湖南大學(xué),2017.

[6] 楊慶華,陳亮,荀一,等.基于機器視覺的PCB裸板缺陷自動檢測方法[J].中國機械工程,2012,23(22):2661-2666.

[7] ZHANG C, SHI W, LI X, et al. Improved bare PCB defect detection approach based on deep feature learning[J]. The Journal of Engineering, 2018, 2018(16): 1415-1420.

[8] 熊光潔,馬樹元,武思遠,等.新型高密度電路板的自動光學(xué)檢測系統(tǒng)設(shè)計[J].計算機工程與設(shè)計,2011,32(9):3218-3221.

[9] 劉建偉,劉媛,羅雄麟.深度學(xué)習(xí)研究進展[J].計算機應(yīng)用研究,2014,31(7):1921-1930,1942.

[10] 王憲保,李潔,姚明海,等.基于深度學(xué)習(xí)的太陽能電池片表面缺陷檢測方法[J].模式識別與人工智能,2014,27(6):517-523.

[11] 王永利,曹江濤,姬曉飛.基于卷積神經(jīng)網(wǎng)絡(luò)的PCB缺陷檢測與識別算法[J].電子測量與儀器學(xué)報,2019,33(8):78-84.

[12] WEI P, LIU C, LIU M, et al. CNN-based reference comparison method for classifying bare PCB defects[J]. The Journal of Engineering, 2018, 2018(16): 1528-1533.

[13] ADIBHATLA V A, SHIEH J, ABBOD M F, et al. Detecting defects in PCB using deep learning via convolution neural networks[C]// 2018 13th International Microsystems, Packaging, Assembly and Circuits Technology Conference, 2018.

[14] LI Y, XU Y, WANG J, et al. Ms-rmac: Multiscale regional maximum activation of convolutions for image retrieval[J]. IEEE Signal Processing Letters, 2017, 24(5): 609-613.

[15] WANG X, BAO A, LV E, et al. Multiscale multipath ensemble convolutional neural network[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2020(99):1-11.

[16] HOWARD A G, ZHU M, Chen B, et al. Mobilenets: Efficient convolutional neural networks for mobile vision applications[J]. arXiv preprint arXiv:1704.04861, 2017.

PCB Bare Board Defect Recognition Algorithm Based on Multi-Scale Lightweight Convolutional Network

Liu Weisen Fan Yijian

(Guangzhou Anyi Automation Technology, Guangzhou 510289, China)

At present, the defects of Printed Circuit Board (PCB) are generally detected by manual visual inspection, electrical inspection, visual inspection, etc. But it has disadvantages such as low detection efficiency, easy damage of PCB in contact detection, high false detection rate and difficulty in adapting to various defect types. To solve the above problems, we propose a Convolutional Neural network (CNN) based algorithm for PCB bare board defect recognition, which adopts multi-scale convolution to check defect images for feature extraction, and adopts deep separable convolution operation to replace the standard convolution operation in the network. It can improve the ability of network model feature extraction and reduce the number of model parameters and computation. The experimental results show that compared with the classical convolutional network and the traditional defect detection methods, the proposed algorithm has the advantages of high accuracy and versatility in defect identification, and meets the requirements of industrial application.

multi-scale; lightweight; PCB bare board; defect recognition

劉偉森，男，1990年生，本科，助理工程師，主要研究方向：測控系統(tǒng)集成應(yīng)用。E-mail: 798286225@qq.com

TP391

A

1674-2605(2020)05-0004-07

10.3969/j.issn.1674-2605.2020.05.004