基于SE-CPN模型的芯片表面缺陷檢測

夏卓飛，龔家元，周詩薇，代加喜

（湖北汽車工業(yè)學(xué)院 汽車工程師學(xué)院，湖北 十堰 442002）

芯片制造過程繁瑣，如果配置不當(dāng)，可能出現(xiàn)缺陷。某些基于機器視覺的方法應(yīng)用到芯片表面缺陷檢測［1-2］中，代替人工檢測缺陷，提高了檢測效率，但因芯片上可能出現(xiàn)多種不同類型的缺陷，難以進行特征提取分類，易造成錯分等問題。一些學(xué)者將基于深度學(xué)習(xí)的缺陷檢測方法應(yīng)用在芯片缺陷檢測領(lǐng)域，因?qū)崟r性要求，一般采用以YOLO 為代表的單階段檢測方法［3-6］。周天宇等［7］提出基于改進的YOLOv3 對載波芯片進行缺陷檢測，使用K-means方法對數(shù)據(jù)集進行聚類分析，優(yōu)化初始先驗框，提高了平均準(zhǔn)確率。Chen等［8］提出基于改進YOLOv3 的方法，將DenseNet 引入代替Darknet-53網(wǎng)絡(luò)，對發(fā)光二極管芯片進行缺陷檢測，取得良好的效果。上述芯片缺陷檢測方案提升了檢測精度，但存在精度不高、網(wǎng)絡(luò)模型臃腫、參數(shù)量大等劣勢，基于此提出SE-CPN（squeeze and excitation-cross stage partial path aggregation network）模型，對芯片表面缺陷進行檢測，骨干網(wǎng)絡(luò)中引入跨階段局部網(wǎng)絡(luò)結(jié)構(gòu)（cross stage partial network,CSPNet）［9］，添加注意力機制模塊［10-12］，采用PANet（path aggregation network）［13］中的多尺度路徑聚合網(wǎng)絡(luò)進行特征提取。為降低神經(jīng)網(wǎng)絡(luò)的計算成本，采用Ghost 模塊［14］。實驗表明，SE-CPN 模型能在較小體量下保證較高的準(zhǔn)確率。

1 數(shù)據(jù)處理

1.1 數(shù)據(jù)增強

芯片表面缺陷尚無公開數(shù)據(jù)集，目前開源的缺陷芯片圖片樣本量較少，難以滿足神經(jīng)網(wǎng)絡(luò)訓(xùn)練的需要。為避免卷積神經(jīng)網(wǎng)絡(luò)出現(xiàn)過擬合現(xiàn)象，建立數(shù)據(jù)集時，采用數(shù)據(jù)增強［15-16］的方式擴增數(shù)據(jù)，增強網(wǎng)絡(luò)的魯棒性和泛化能力。主流數(shù)據(jù)增強方式有隨機飽和度調(diào)整、隨機亮度調(diào)整、隨機顏色擾動、隨機對比度調(diào)整、隨機角度旋轉(zhuǎn)、隨機裁剪、隨機添加噪聲、隨機遮擋、對稱翻轉(zhuǎn)等方法。文中采用多種數(shù)據(jù)增強方式疊加后再隨機刪除部分樣本的方法。增加樣本量的同時，保證樣本特征多樣性。數(shù)據(jù)增強方式為

式中：M為數(shù)據(jù)增強后的圖片總數(shù)；n為數(shù)據(jù)增強方法個數(shù)；l為0～20的隨機數(shù)。

1.2 圖像濾波

芯片檢測在拍攝過程中需要工業(yè)顯微鏡和工業(yè)相機等設(shè)備共同作用，多設(shè)備協(xié)同拍攝過程中會出現(xiàn)噪聲干擾，使圖像質(zhì)量下降。對比高斯濾波、均值濾波、雙邊濾波、中值濾波的效果［17］，圖片通過中值濾波后噪點最少，濾波效果最佳。部分缺陷的特征和噪聲特征可能類似，為驗證濾波對缺陷是否造成影響，對比劃痕缺陷和卷邊缺陷經(jīng)中值濾波后效果，如圖1所示，中值濾波對缺陷并無明顯影響。因此采用中值濾波方法去除圖像的噪聲干擾。

圖1 中值濾波對缺陷影響

中值濾波法是基于排序統(tǒng)計理論的能有效抑制噪聲的非線性信號處理技術(shù)，把數(shù)字圖像或數(shù)字序列中某點的值用該點的某個鄰域中各點值的中值代替，讓周圍的像素值接近真實值，從而消除孤立的噪聲點。具體方法是用某種結(jié)構(gòu)的二維滑動模板，將板內(nèi)像素按照像素值的大小進行排序，生成單調(diào)上升（下降）的二維數(shù)據(jù)序列。二維中值濾波輸出公式為

1.3 數(shù)據(jù)集建立

基于小樣本建立包含576 張芯片檢測圖像的數(shù)據(jù)集，數(shù)據(jù)集包括表面劃痕、卷邊、崩邊3 種缺陷，分辨率為3012×3304 的圖片312 張，分辨率為3840×2748的圖片264張。使用LabelImg對檢測圖像中芯片缺陷部分進行標(biāo)注，標(biāo)注內(nèi)容包括損傷類型和邊界框坐標(biāo)。圖2展示了不同種類的缺陷。

圖2 芯片各類缺陷情況

2 SE-CPN模型

圖像輸入SE-CPN 模型（圖3）時，采用Mosaic技術(shù)進行樣本增強，再經(jīng)切片操作，減少信息丟失。在主干網(wǎng)絡(luò)中添加CSPNet 結(jié)構(gòu)，連接不同階段的卷積層，減少信息丟失。使用Ghost 模塊完成下采樣，降低參數(shù)數(shù)量。通過引入注意力機制模塊，增強網(wǎng)絡(luò)提取有效特征的能力。在特征檢測階段，提取多個特征映射，使用路徑聚合網(wǎng)絡(luò)，利用淺層存在的定位信息來縮短信息路徑，便于在不同尺度提取特征信息，增強檢測效率。

圖3 SE-CPN網(wǎng)絡(luò)模型結(jié)構(gòu)

2.1 Mosaic增強

在網(wǎng)絡(luò)輸入端，采用Mosaic 增強技術(shù)對輸入圖片進行數(shù)據(jù)增強，如圖4所示。Mosaic數(shù)據(jù)增強參考Cutmix 的思想［18］，使用隨機模塊，對4 張圖片進行隨機大小縮放、隨機大小剪裁、隨機位置拼接組合，將拼接后的圖片傳入神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練。

圖4 Mosaic增強算法流程

在芯片表面缺陷數(shù)據(jù)集中，小的缺陷目標(biāo)在圖片上分布可能并不均勻，將導(dǎo)致這類缺陷在訓(xùn)練中缺陷特征學(xué)習(xí)并不充分。采用Mosaic 增強方式，同時隨機抽取4 張圖片都沒有該類目標(biāo)的概率較小，即使4 張圖片都沒有小型目標(biāo)，此時新圖片中的目標(biāo)尺寸會變小，變相增加小型目標(biāo)數(shù)量，如圖5所示。通過Mosaic增強方式，提升了小目標(biāo)檢測的準(zhǔn)確率。另一方面，該模塊的引入使模型在批量歸一化時能夠同時計算4張圖片數(shù)據(jù)，因此不需要較大的mini-batch，降低了GPU需求。

圖5 Mosaic增強示例

2.2 骨干網(wǎng)絡(luò)

骨干網(wǎng)絡(luò)的輸入端中使用Focus 模塊，如圖6所示，F(xiàn)ocus是圖片切片操作，通過每個像素格進行切片和分割，將與該像素點間隔1格位置的像素點進行堆疊，將高分辨率圖片轉(zhuǎn)化為高維度的特征圖，提高每個像素的感受野，同時減少信息丟失。

圖6 Focus操作

CSPNet 借鑒Densenet 的思想［19］，將淺層的特征圖通過dense block鏈接到下個階段，通過跨階段的特征融合策略和截斷梯度流來增強在不同層內(nèi)特征的可變性。該結(jié)構(gòu)能解決深度骨干網(wǎng)絡(luò)之中冗余梯度問題，提升檢測精度。

2.3 注意力機制模塊

注意力機制最早在自然語言處理領(lǐng)域內(nèi)提出，因其在自然語言處理領(lǐng)域中取得極大成功，注意力機制也被引入到計算機視覺領(lǐng)域中。由于芯片缺陷目標(biāo)大小差異較大，采用在通道維度上引入層間注意力機制，注意力機制可以有效提升檢測效率。該機制下，卷積神經(jīng)網(wǎng)絡(luò)中不同通道賦予不同權(quán)重，模型將會更加關(guān)注部分關(guān)鍵特征通道的特征信息，對有效的特征通道賦予更高的權(quán)重，對作用較小的特征通道賦予較低的權(quán)重，權(quán)重計算公式為

式中：H為輸入高度；W為輸入寬度；uc為輸入矩陣。

注意力機制首先通過全局池化將每個通道的二維特征壓縮為具有全局感受野的實數(shù)，結(jié)構(gòu)如圖7所示。在此基礎(chǔ)上，在二維數(shù)組加入2個卷積層，減少融合各通道的特征信息過程中全連接層龐大的參數(shù)量，同時精煉特征信息，更高效率地設(shè)置通道間的相關(guān)性，為每個特征通道生成權(quán)重值，通過卷積層升維到輸入時圖片的維度，然后利用ReLU激活函數(shù)生成升維后特征的非線性映射，隨后將上一步得到的權(quán)重加權(quán)到每個特征通道上，完成通道維度的注意力機制。最后將輸入的特征信息與注意力機制后的特征信息結(jié)合，更大程度地保存圖片的特征信息。

圖7 注意力機制模塊結(jié)構(gòu)

2.4 NECK檢測模塊

Neck中使用FPN+PAN模塊，F(xiàn)PN（feature pyramid network）是帶有橫向連接的自頂向下的結(jié)構(gòu)［20］，可以在更多尺度上提煉高級語義信息，如圖8所示。PAN（path aggregation network）使用自底向上的路徑增強方法，在較低層次上使用精確的定位信息增強整個特征層次，縮短低層次與最上層特征之間的信息路徑。該模塊將不同層的特征輸出，在自底向上的檢測過程中將輸出聚合起來，通過自底向上的路徑，使底層的特征信息更容易向上傳播，增強網(wǎng)絡(luò)的特征融合能力。

圖8 FPN+PAN模塊結(jié)構(gòu)

在多尺度特征檢測提取中，較淺層中的特征具有更高的空間分辨率，在較深層的特征中，分類能力更強。芯片缺陷經(jīng)常存在缺陷之間特征差異較小的情況，需要對缺陷特征細節(jié)進行檢測。分別從1/2、1/4、1/8、1/16 尺度進行特征提取，使網(wǎng)絡(luò)獲得更多不同的感受野，能夠捕捉信息以此獲得更高級別的抽象特征，并利用PAN結(jié)構(gòu)進行串聯(lián)，對多尺度特征進行路徑聚合的特征融合。

2.5 預(yù)測

在輸出預(yù)測部分，分類端采用PyTorch 中的多標(biāo)簽分類BCEWithLogitsLoss 方法，使用交叉熵作為損失函數(shù)：

式中：t[i]為符號樣本，正類取1，負類取0；σ[xn]為sigmoid函數(shù)，可以把x映射到（0,1）的區(qū)間。

IoU（intersection over union）是測量在特定數(shù)據(jù)集中檢測相應(yīng)物體準(zhǔn)確度的標(biāo)準(zhǔn)，指真實值與預(yù)測值2個區(qū)域重疊部分除以2個區(qū)域集合部分得出的結(jié) 果。 采 用GIoU（generalized intersection over union）損失函數(shù)［21］，用最小外接矩形來定位預(yù)測框與真實框的位置。

目標(biāo)檢測預(yù)測結(jié)果階段，對生成的眾多目標(biāo)框執(zhí)行加權(quán)的非極大值抑制（non-maximum suppression）操作，生成最終預(yù)測框及缺陷類別。

3 試驗結(jié)果與分析

試驗環(huán)境為PC端，搭載intel（R）Core（TM）i7-7700 CPU 和GeForce GTX 1060 6GB GPU。訓(xùn)練和測試環(huán)境為Ubuntu18.04操作系統(tǒng)，基于PyTorch深度學(xué)習(xí)框架，利用CUDA11.2加快GPU運算。

為評估網(wǎng)絡(luò)的性能，將數(shù)據(jù)集隨機分為8∶2的比例，前部分作為訓(xùn)練數(shù)據(jù)，后部分作為測試數(shù)據(jù)，測試數(shù)據(jù)獨立于訓(xùn)練數(shù)據(jù)，沒有在訓(xùn)練過程中使用，可客觀地檢測訓(xùn)練結(jié)果。實驗中，設(shè)置訓(xùn)練迭代次數(shù)300次，每次輸入4張圖片進入網(wǎng)絡(luò)，輸入圖片大小為1024×1024，訓(xùn)練檢測效果如圖9 所示。檢測結(jié)果表明，所有缺陷都被正確檢測。模型在迭代到第25 個周期時，損失值迅速降低，如圖10 所示，SE-CPN 模型的損失值能夠在一定迭代周期內(nèi)收斂，網(wǎng)絡(luò)穩(wěn)定性良好。

圖9 缺陷檢測效果

圖10 模型損失函數(shù)

與缺陷分類不同，缺陷檢測僅僅依靠損失函數(shù)不能精準(zhǔn)度量模型性能，為客觀描述模型的檢測性能，采用平均準(zhǔn)確率mAP 來評價檢測實驗結(jié)果。mAP 是目標(biāo)檢測中2 個重要評價指標(biāo)準(zhǔn)確率和召回率之間的平衡，其值為準(zhǔn)確率與召回率曲線下的面積。指標(biāo)定義如式（5）～（6）所示：

式中：P為準(zhǔn)確率；R為召回率；TP為預(yù)測正確的正樣本；FN為預(yù)測錯誤的正樣本；FP為預(yù)測錯誤的負樣本。將測試集中115 張圖片輸入訓(xùn)練得到的模型中，檢測結(jié)果如圖11～12 所示，模型mAP 達到98.2%，表明模型具有較好的精度和魯棒性。

圖11 驗證集預(yù)測效果

圖12 驗證集準(zhǔn)確率-召回率曲線

為驗證SE-CPN模型的效果，采用單階段典型網(wǎng)絡(luò)模型RetinaNet［22］、YOLOv3以及兩階段典型網(wǎng)絡(luò)模型Faster-CNN 在相同的芯片數(shù)據(jù)集上進行檢測，訓(xùn)練迭代次數(shù)均為300 次，batch-size 均為4。表1為不同網(wǎng)絡(luò)模型檢測結(jié)果對比，表2為檢測模型對比。由表1可知，SE-CPN模型mAP達98.2%，平均置信度為73.3%。同RetinaNet、YOLOv3、Faster-RCNN 相比，SE-CPN 模型擁有更高的檢測精度和平均置信度。該模型利用注意力模塊和路徑聚合網(wǎng)絡(luò)的特征提取，增強網(wǎng)絡(luò)特征提取能力，對檢測性能的提升有一定促進作用。由表2 可知采用Ghost 模塊的SE-CPN 網(wǎng)絡(luò)模型較小，對注意力機制模塊進行優(yōu)化，通過減少全連接層降低參數(shù)數(shù)量，使模型整體大小僅為16.3 MB，參數(shù)量也遠低于其他網(wǎng)絡(luò)模型。

表1 不同網(wǎng)絡(luò)模型在芯片測試集上的檢測結(jié)果

表2 檢測模型對比

4 結(jié)論

針對現(xiàn)有芯片缺陷檢測存在的問題，提出了SE-CPN 芯片表面缺陷檢測模型；引入改進的注意力機制模塊，提升圖片特征提取效率的同時減少參數(shù)量。通過Ghost 模塊，用簡潔的線性變換生成特征映射，大幅度降低模型參數(shù)量。最后采用PANet結(jié)構(gòu)獲取缺陷的具體類別和詳細位置。試驗結(jié)果表明，SE-CPN 模型相較于其他經(jīng)典模型，具有更好的精度和更精簡的體量，滿足芯片表面缺陷檢測需求。后續(xù)將進一步提升模型檢測效率。