基于SSD模型的PCB外觀缺陷檢測(cè)

李 俊

（安徽理工大學(xué)電氣與信息工程學(xué)院，淮南 232000）

0 引言

自集成電路被應(yīng)用于生產(chǎn)商業(yè)產(chǎn)品以來，工業(yè)生產(chǎn)過程對(duì)其每一步的生產(chǎn)和檢測(cè)不斷地進(jìn)行更新迭代，其中對(duì)生產(chǎn)過程中印制電路板（Printed Circuit Board，PCB）的外觀缺陷檢測(cè)尤為重要，它關(guān)系著產(chǎn)品最后的品質(zhì)。所以在PCB 板的工業(yè)生產(chǎn)的每一個(gè)環(huán)節(jié)都要進(jìn)行缺陷檢測(cè)，確保在貼片之前，貼片區(qū)域無異物、破損，進(jìn)入回焊爐之前，元器件都完好等等，因?yàn)橹灰渲幸粋€(gè)環(huán)節(jié)出了錯(cuò)，這個(gè)PCB 板就報(bào)廢了，這對(duì)企業(yè)來說無疑是重大損失?，F(xiàn)在PCB 板集成度高，成本更貴。目前中國(guó)大陸的PCB 產(chǎn)值已占全球50%以上，隨著電子產(chǎn)品的不斷更新?lián)Q代，3C 產(chǎn)品對(duì)PCB 的需求逐漸加大，而在3C 產(chǎn)品中手機(jī)的更新?lián)Q代最為頻繁，銷售量也是最大的。所以，針對(duì)手機(jī)部件從內(nèi)到外的檢測(cè)貫穿手機(jī)生產(chǎn)的每個(gè)環(huán)節(jié)，其中最為重要的是對(duì)手機(jī)主板生產(chǎn)過程中各種缺陷的檢測(cè)。本文主要針對(duì)手機(jī)主板在生產(chǎn)過程中產(chǎn)生的缺陷進(jìn)行檢測(cè)，以提高生產(chǎn)效率。

1 研究背景

PCB 的功能是提供完成第一層級(jí)構(gòu)裝的元器件與其它必須的電子電路零件結(jié)合的基地，以組成一個(gè)具有特定功能的模組或者產(chǎn)品。所以PCB 在整個(gè)電子產(chǎn)品中，扮演著整合連結(jié)其它所有功能的角色，因此當(dāng)電子產(chǎn)品功能故障時(shí)，最先被考慮的往往就是PCB。所以針對(duì)PCB 的檢測(cè)一直以來是人們熱門研究的課題。改革開放以來，我國(guó)工業(yè)化生產(chǎn)速度也大幅度加快，其中印制板是電子信息產(chǎn)業(yè)的基礎(chǔ)，已成為電子信息的支柱產(chǎn)業(yè)。

然而，手機(jī)PCB 板生產(chǎn)的檢測(cè)還存在短板，拖累生產(chǎn)效率。圖1 為手機(jī)主板PCB 工業(yè)生產(chǎn)流程圖，其中AOI部分為視覺檢測(cè)部分，傳統(tǒng)方式為人工檢測(cè)、電氣檢測(cè)和自動(dòng)光學(xué)設(shè)備檢測(cè)。目前大多數(shù)工業(yè)流水線基本都是采用人工配合機(jī)器進(jìn)行生產(chǎn)檢測(cè)，太依賴于人的精神狀況，易使人視覺疲勞，而產(chǎn)生漏檢。電氣檢測(cè)投資成本大，不適于小批量生產(chǎn)，且電氣檢測(cè)設(shè)備安裝調(diào)試時(shí)間長(zhǎng)，不滿足手機(jī)迭代頻繁的需求。雖然自動(dòng)光學(xué)檢測(cè)設(shè)備，可以解決人工檢測(cè)的一些弊端，但它嚴(yán)重依賴圖像處理算法，如果圖像處理算法效果不佳，會(huì)產(chǎn)生大量誤判，且可移植性不強(qiáng)，開發(fā)難度大。

圖1 手機(jī)主板生產(chǎn)流程圖

近年來隨著GPU 算力的增加，處理圖像的速度大幅度提高，深度學(xué)習(xí)在圖像領(lǐng)域發(fā)展迅速。為了滿足工業(yè)生產(chǎn)對(duì)PCB 缺陷檢測(cè)的需求，本文將深度學(xué)習(xí)的槪念引入PCB 板缺陷檢測(cè)中。其中工業(yè)生產(chǎn)主要檢測(cè)手機(jī)主板在生產(chǎn)流程中貼片區(qū)域是否存在飛件、臟污、元器件是否破損、異物、劃痕等影響PCB 板電氣特性的現(xiàn)象，以及外觀的一些缺陷。如圖2 所示，其中（a）為飛件，（b）為連接器破損，（c）為異物。通過這種技術(shù)，不僅可以有效避免人工檢測(cè)中易疲勞，主觀性強(qiáng)和效率低下的缺點(diǎn)，還可以實(shí)現(xiàn)24 h全天候的檢測(cè)。

圖2 缺陷類型

2 機(jī)器視覺與目標(biāo)檢測(cè)算法

機(jī)器視覺（machine vision）是人工智能的一個(gè)分支，是通過相機(jī)拍取的圖像聯(lián)合計(jì)算機(jī)代替人眼和大腦對(duì)目標(biāo)進(jìn)行定位、識(shí)別、跟蹤、測(cè)量等一系列任務(wù)，使處理后的信息更有利于人和機(jī)器的判斷處理。工業(yè)相機(jī)主要有CMOS和CCD 兩種，機(jī)器視覺系統(tǒng)將相機(jī)拍攝到的圖像輸入給圖像處理系統(tǒng)，得到拍攝對(duì)象的形態(tài)信息，根據(jù)像素分布和亮度、顏色等信息，轉(zhuǎn)變成數(shù)字化信號(hào)；圖像系統(tǒng)對(duì)這些信號(hào)進(jìn)行各種運(yùn)算來抽取目標(biāo)的特征，進(jìn)而根據(jù)判別的結(jié)果來控制現(xiàn)場(chǎng)的設(shè)備動(dòng)作。機(jī)器視覺的目標(biāo)檢測(cè)任務(wù)為計(jì)算機(jī)視覺領(lǐng)域中最基礎(chǔ)的任務(wù)之一，但由于圖像質(zhì)量，光照，相機(jī)分辨率的不同導(dǎo)致目標(biāo)檢測(cè)也成為最具挑戰(zhàn)性的任務(wù)。

目標(biāo)檢測(cè)算法主要有圖像特征提取、候選區(qū)域生成與候選區(qū)域分類三個(gè)步驟。視覺檢測(cè)技術(shù)分為傳統(tǒng)技術(shù)與深度學(xué)習(xí)方法，傳統(tǒng)算法基于人工設(shè)計(jì)的特征算子來提取圖像，這些算子普遍基于底層視覺特征來設(shè)計(jì)，因此很難獲取復(fù)雜圖像的語(yǔ)義信息，嚴(yán)重影響了算法的泛化性。而且由于背景相似等原因，無法檢測(cè)出目標(biāo)缺陷的位置。當(dāng)數(shù)據(jù)量越來越大的時(shí)候，傳統(tǒng)算法的劣勢(shì)就越發(fā)明顯。因此引入深度學(xué)習(xí)模型引入顯得尤為重要。

基于深度的目標(biāo)檢測(cè)算法主要分為兩個(gè)流派：①以R-CNN 系列為代表的兩階段算法；②以YOLO，SSD為代表的一階段算法。具體來說，兩階段算法是先在圖像上生成候選區(qū)域，然后對(duì)每一個(gè)候選區(qū)域依次進(jìn)行分類與回歸。一階段算法是直接在整張圖像上完成所有目標(biāo)的定位和分類，直接回歸，略去了生成候選區(qū)域這一操作。本文采用的目標(biāo)檢測(cè)算法為一階段檢測(cè)算法中的代表算法SSD。

3 SSD算法介紹

SSD（single shot multibox detector）是2016 年由Liu 等人提出的一種單階段目標(biāo)檢測(cè)算法，其主要思路是利用卷積網(wǎng)絡(luò)提取特征后，均勻地在圖片的不同位置進(jìn)行密集抽樣，抽樣時(shí)采用不同尺度和長(zhǎng)寬比，目標(biāo)的分類和預(yù)測(cè)框的回歸同時(shí)進(jìn)行，整個(gè)過程只需要一步，所以其優(yōu)勢(shì)是速度快。SSD 網(wǎng)絡(luò)以VGG-16 為主干網(wǎng)絡(luò)，并將VGG16的兩個(gè)全連接層轉(zhuǎn)化為卷積層，使其成為一個(gè)全卷積網(wǎng)絡(luò)（FCN），網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 SSD網(wǎng)絡(luò)結(jié)構(gòu)

主干網(wǎng)絡(luò)作用到conv5_3 的輸出結(jié)果，作為接下來卷積層的輸入。采用多尺度Feature Map的預(yù)測(cè)，在預(yù)測(cè)的時(shí)候針對(duì)6個(gè)不同的尺度進(jìn)行分別預(yù)測(cè)，這6個(gè)尺度的結(jié)果，分別作為后續(xù)檢測(cè)層的輸入，6 個(gè)連線代表6 個(gè)feature map，其中從19*19 到10*10 通過下采樣的操作來完成。下采樣時(shí)會(huì)采用padding 來進(jìn)行補(bǔ)充，最后通過NMS（non maximum suppression）對(duì)檢測(cè)結(jié)果進(jìn)行合并和篩選。對(duì)每一層進(jìn)行Default bounding boxes 的提取，每一個(gè)Default bounding boxes 都會(huì)針對(duì)每個(gè)類別的分?jǐn)?shù)的預(yù)測(cè)以及相應(yīng)的偏量值。

如何平衡網(wǎng)絡(luò)模型的大小和計(jì)算資源之間的關(guān)系，這是設(shè)計(jì)網(wǎng)絡(luò)需要考慮的地方。因此對(duì)VGGNet 而言，除了num_output 數(shù)量龐大以外，主要采用多卷積進(jìn)行堆疊的方式來構(gòu)造網(wǎng)絡(luò)結(jié)構(gòu)，為了加快網(wǎng)絡(luò)inference 的時(shí)間，本文在保證檢測(cè)精度的同時(shí)采用減少網(wǎng)絡(luò)參數(shù)、去除一些網(wǎng)絡(luò)層的做法達(dá)到檢測(cè)目的。

4 實(shí)驗(yàn)方法

實(shí)驗(yàn)基于Caffe 深度學(xué)習(xí)框架進(jìn)行，設(shè)備為工廠工控機(jī)，其配置為CPU Core i7-9750H，顯卡NVIDIA 3080 10 G 顯存，物理內(nèi)存為32 G，使用編程語(yǔ)言版本為Python 3.8.2，操作系統(tǒng)為Ubuntu18.04。

本文的數(shù)據(jù)收集自工業(yè)生產(chǎn)過程中AOI 實(shí)時(shí)拍攝的照片，在AOI 設(shè)備運(yùn)行過程中機(jī)器視覺系統(tǒng)發(fā)揮圖像處理與檢測(cè)的作用，根據(jù)運(yùn)動(dòng)控制的傳感信號(hào)飛拍每一幀畫面，將在每一個(gè)點(diǎn)位拍攝的圖片拼接成一副完整的圖片。根據(jù)客戶出具的檢測(cè)區(qū)域需求，先通過模板匹配定位PCB 上固定不變的兩個(gè)點(diǎn)，通過矩形框畫出需要檢測(cè)的區(qū)域，通過位置仿射完成整個(gè)區(qū)域位置的標(biāo)出，通過Halcon 對(duì)每個(gè)區(qū)域進(jìn)行裁剪，將寬度和長(zhǎng)度最大的尺度作為這個(gè)待檢缺陷的尺寸，同樣使用Halcon 將同一個(gè)待檢缺陷類別區(qū)域擴(kuò)張為統(tǒng)一大小。將裁剪得到的小圖統(tǒng)一導(dǎo)入到精靈標(biāo)注助手中，完成缺陷標(biāo)注，數(shù)據(jù)集劃分。由于待檢區(qū)域眾多，缺陷類別復(fù)雜，為了簡(jiǎn)化檢測(cè)任務(wù)，每個(gè)AOI 由兩個(gè)及以上缺陷檢測(cè)模型檢測(cè)，裁剪的目的也是為了將檢測(cè)任務(wù)簡(jiǎn)化為二分類問題。接下來針對(duì)飛件異物模型進(jìn)行訓(xùn)練。

實(shí)驗(yàn)將含有飛件的NG圖片和無缺陷的OK圖片共2025張，按照訓(xùn)練集和測(cè)試集的比例為7∶3劃分，總共進(jìn)行600 次迭代。實(shí)驗(yàn)結(jié)果如圖4 和表1所示。

圖4 實(shí)驗(yàn)結(jié)果

表1 實(shí)驗(yàn)結(jié)報(bào)表

bbox_accuracy 標(biāo)注框類別，值越高說明學(xué)習(xí)效率越好；loc_loss_bbox 定位框位置回歸的loss，值越低學(xué)習(xí)效果越好；loc_loss_cls 定位框類別和位置回歸的loss，值越低學(xué)習(xí)效果越好；loss_bbox 實(shí)際類別分類和位置二次修正的loss，值越低學(xué)習(xí)效果越好；loss_cls 實(shí)際類別數(shù)分類和位置二次修正的loss，值越低學(xué)習(xí)效果越好。

5 結(jié)語(yǔ)

雖然降低網(wǎng)絡(luò)參數(shù)和減少網(wǎng)絡(luò)層數(shù)可以加快網(wǎng)絡(luò)推理時(shí)間，滿足客戶對(duì)于CT 與檢測(cè)的要求，但同時(shí)帶來了由于深層次信息的丟失和小目標(biāo)檢測(cè)效果不好所導(dǎo)致的漏檢，過檢的問題，比如現(xiàn)場(chǎng)生產(chǎn)產(chǎn)生的毛絲等這些小尺度缺陷目標(biāo)，檢測(cè)效果不好。因此，在后期優(yōu)化網(wǎng)絡(luò)的時(shí)候可以考慮從以下方面進(jìn)行改進(jìn)：①數(shù)據(jù)打包的時(shí)候可以考慮多加入一些小樣本信息；②訓(xùn)練樣本規(guī)模盡可能增大，可以嘗試獲取合并多個(gè)不同數(shù)據(jù)集；③采用ResNet 網(wǎng)絡(luò)和FPN 等特征的主干網(wǎng)絡(luò)；④采用更好的loss進(jìn)行訓(xùn)練。