基于注意力的輕量級工業(yè)產(chǎn)品缺陷檢測網(wǎng)絡(luò)

李 剛，邵 瑞，周鳴樂，李 敏，萬洪林

（1.齊魯工業(yè)大學(xué)（山東省科學(xué)院）山東省計算中心（國家超級計算濟(jì)南中心），濟(jì)南 250014；2.山東省基礎(chǔ)科學(xué)研究中心（計算機(jī)科學(xué)）山東省計算機(jī)網(wǎng)絡(luò)重點實驗室，濟(jì)南 250014；3.山東師范大學(xué) 物理與電子科學(xué)學(xué)院，濟(jì)南 250358）

0 概述

工業(yè)領(lǐng)域的表面缺陷檢測對提高工業(yè)產(chǎn)品（如印制電路板、帶鋼等）質(zhì)量、維護(hù)生產(chǎn)安全具有重要意義。由于工業(yè)產(chǎn)品表面缺陷復(fù)雜多樣、形狀各異、缺陷檢測場景和硬件配置不同，因此對工業(yè)產(chǎn)品表面缺陷檢測提出較高要求。

目前將深度學(xué)習(xí)技術(shù)應(yīng)用到工業(yè)領(lǐng)域的檢測與分割任務(wù)中成為一項主流。文獻(xiàn)［1］構(gòu)建一種二階段的工業(yè)目標(biāo)檢測網(wǎng)絡(luò)。文獻(xiàn)［2］關(guān)注全局上下文語義信息，用于帶鋼的表面缺陷檢測。文獻(xiàn)［3-4］設(shè)計基于深度學(xué)習(xí)的表面缺陷檢測方法。通用的目標(biāo)檢測器分為一階段、二階段和無錨3 類。文獻(xiàn)［5-6］提出一階段的通用目標(biāo)檢測器。文獻(xiàn)［7-8］對一階段目標(biāo)檢測器進(jìn)行優(yōu)化。文獻(xiàn)［9-10］提出二階段的通用目標(biāo)檢測器。文獻(xiàn)［11］提出無錨的通用目標(biāo)檢測器。上述通用的目標(biāo)檢測器主要在自然場景下進(jìn)行訓(xùn)練，往往不能直接移植到工業(yè)場景中。在工業(yè)表面缺陷檢測方面，文獻(xiàn)［12］對軌道缺陷進(jìn)行無監(jiān)督檢測，文獻(xiàn)［13］搭建的網(wǎng)絡(luò)充分利用金字塔池化模塊、多信息集成的上下文信息以及利用注意力機(jī)制優(yōu)化提取豐富的軌道缺陷檢測信息，取得較優(yōu)的檢測效果。文獻(xiàn)［14］提出利用三重圖推理網(wǎng)絡(luò)進(jìn)行金屬表面缺陷分割任務(wù)。文獻(xiàn)［15］基于YOLOv3 構(gòu)建一種輕量級網(wǎng)絡(luò)，提升絕緣子的定位及缺陷檢測效果。文獻(xiàn)［16］利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）對晶圓缺陷進(jìn)行分類，并通過改進(jìn)的Faster R-CNN 進(jìn)行缺陷檢測。研究人員提出可任意插入使用的注意力方法。文獻(xiàn)［17］提出經(jīng)典的SENet，它可以被任意地插入到分類網(wǎng)絡(luò)中，從而在增強(qiáng)分類網(wǎng)絡(luò)特征提取效果的同時不增加過多參數(shù)量。文獻(xiàn)［18］提出通道和空間注意力機(jī)制（CBAM），同時關(guān)注通道和空間上不同維度的特征信息，現(xiàn)在已被廣泛應(yīng)用到各種分類或檢測網(wǎng)絡(luò)中，取得較優(yōu)的應(yīng)用效果。文獻(xiàn)［19］提出坐標(biāo)注意力，它可以被任意地插入到分類或檢測模型中，不僅能捕獲跨通道信息，還能捕獲方向感知和位置感知信息，有助于模型更加精準(zhǔn)地定位和識別感興趣目標(biāo)。文獻(xiàn)［20］提出GAM Attention，能夠在減少信息彌散的情況下放大跨維度的特征交互。

上述工業(yè)領(lǐng)域的缺陷檢測方法都具有較優(yōu)的檢測性能且滿足輕量化的需求，但難以滿足在低性能GPU 上的精度需求。此外，上述檢測方法都是根據(jù)單一工業(yè)缺陷數(shù)據(jù)進(jìn)行檢測，并沒有對模型滿足工業(yè)領(lǐng)域不同檢測任務(wù)的需求進(jìn)行研究。本文針對工業(yè)場景下對于缺陷檢測精度和速度的雙重要求，提出一種輕量級目標(biāo)檢測網(wǎng)絡(luò)。該網(wǎng)絡(luò)分為主干網(wǎng)絡(luò)、多尺度特征聚合網(wǎng)絡(luò)、殘差增強(qiáng)網(wǎng)絡(luò)和注意力增強(qiáng)網(wǎng)絡(luò)4 個部分。本文網(wǎng)絡(luò)不再采用以高參數(shù)量、高訓(xùn)練成本為代價換取檢測精度的Transformer［21］，而是考 慮了工 業(yè)檢測場景，將輕量且即插即用的注意力機(jī)制融入到檢測器中，同時將不同深淺語義的信息在多尺度特征聚合網(wǎng)絡(luò)中進(jìn)行特征融合。最后，為了加強(qiáng)深層語義特征的表示能力，將全局特征與局部特征進(jìn)行信息交互。

1 網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的工業(yè)領(lǐng)域表面缺陷檢測網(wǎng)絡(luò)分為主干網(wǎng)絡(luò)、多尺度特征聚合網(wǎng)絡(luò)、殘差增強(qiáng)網(wǎng)絡(luò)和注意力增強(qiáng)網(wǎng)絡(luò)4 個部分，其結(jié)構(gòu)如圖1 所示。主要創(chuàng)新點包括：1）使用輕量化的殘差結(jié)構(gòu)作為主干網(wǎng)絡(luò)，并采用注意力機(jī)制對殘差塊進(jìn)行特征提取的增強(qiáng)；2）使用特征金字塔網(wǎng)絡(luò)聚合多尺度特征圖，使得模型的特征具有多尺度語義信息；3）設(shè)計基于殘差模塊和注意力增強(qiáng)模塊的融合網(wǎng)絡(luò)，并對特征提取進(jìn)行加強(qiáng)，從而達(dá)到更優(yōu)的表面缺陷檢測效果。

圖1 工業(yè)產(chǎn)品表面缺陷檢測網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of industrial product surface defect detection network

1.1 主干網(wǎng)絡(luò)

本文將主干網(wǎng)絡(luò)設(shè)計為5 個特征提取部分，使用步長為2 的3×3 卷積進(jìn)行降采樣。令輸入單個特征提取部分的特征圖表示為F，在經(jīng)過單個特征提取部分后生成的特征圖表示為F'。F'的生成過程如下：

其中：S為SiLU 激活函數(shù)；B為批標(biāo)準(zhǔn)化；Conv23表示步長為2 的3×3 卷 積；Conv11表示步長為1 的1×1 卷積；Conv13表示步長為1的3×3卷積；CCL為空間注意力層；CCDL為坐標(biāo)注意力層。CCL可以看成1 個輕量計算單元，用于實現(xiàn)通道注意力。通道注意力表達(dá)式如下：

其中：MaxPool 為全局最大池化；AvgPool 為全局平均池化；Concat 為以通道維度進(jìn)行特征圖拼接操作。MMLP表達(dá)式如下：

其中：W0為通道數(shù)2C/r，r為縮減率；W1為通道數(shù)C。最后，將MC和輸入特征圖F做乘法操作，得到最終生成的特征。

此外，本文為每個特征提取部分引入坐標(biāo)注意力層（CDL）來進(jìn)一步提高網(wǎng)絡(luò)的特征表示能力。在結(jié)構(gòu)方面，CDL 由坐標(biāo)注意力組成，將通道注意力分解為2 個一維特征編碼過程，分別沿2 個空間方向聚合特征。坐標(biāo)注意力的表達(dá)式如下：

其中：W1表示通道數(shù)為C的1×1 卷積；h_att 為在高度方向上的注意力；w_att 為在寬度方向上的注意力。h_att 和w_att 表達(dá)式如下：

其中：SSplit為拆分操作；AvgPoolh為沿高度方向進(jìn)行壓縮的全局平均池化；AvgPoolw為沿寬度方向進(jìn)行壓縮的全局平均池化。它們將特征圖F壓縮為F∈RC×1×W和F∈RC×H×1大小。MMLP表達(dá)式如下：

其中：W0表示通道數(shù)為C/r的1×1 卷積，r為縮減率；BN 為批標(biāo)準(zhǔn)化。將Mh和Mw與輸入特征圖F同時做乘法操作得到最終生成的特征。

本文所提的主干網(wǎng)絡(luò)服務(wù)于工業(yè)表面缺陷檢測網(wǎng)絡(luò)，僅由5個特征提取部分組成，無須構(gòu)建全連接層。本文所提主干網(wǎng)絡(luò)的單個特征提取部分結(jié)構(gòu)如圖2所示。

圖2 單個特征提取部分的結(jié)構(gòu)Fig.2 Structure of the individual feature extraction section

1.2 多尺度特征聚合網(wǎng)絡(luò)

本文提出的多尺度特征聚合網(wǎng)絡(luò)使用3個特征聚合組，其結(jié)構(gòu)如圖3所示。第1個特征聚合組直接使用主干網(wǎng)絡(luò)的特征，后2個聚合則與FPN等不同，它們不是聚合來自上一層的特征聚合組，而是聚合來自更深層次的語義特征，即經(jīng)過殘差注意力和注意力增強(qiáng)提取后的信息。

圖3 多尺度特征聚合網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Structure of multi-scale feature aggregation network

對于輸入圖像F，將主干網(wǎng)絡(luò)最后3 個特征提取部分的輸出特征表示為：

將多尺度特征聚合網(wǎng)絡(luò)的輸出、殘差增強(qiáng)網(wǎng)絡(luò)和注意力增強(qiáng)網(wǎng)絡(luò)的輸出分別表示為：

多尺度特征聚合網(wǎng)絡(luò)中M5 的表達(dá)式如下：

其中：Conv1 為1×1 卷積；Conv3 為3×3 卷積；Pool 為SPPF 模塊；B5 表示來自主干網(wǎng)絡(luò)中特征提取部分5的輸出。

多尺度特征聚合網(wǎng)絡(luò)中M4 的表達(dá)式如下：

其中：B4 表示來自主干網(wǎng)絡(luò)中特征提取部分4 的輸出；A5 表示來自注意力增強(qiáng)網(wǎng)絡(luò)中注意力模塊1 的輸出；up 為上采樣操作。

多尺度特征聚合網(wǎng)絡(luò)M3 的表達(dá)式如下：

其中：B3表示來自主干網(wǎng)絡(luò)中特征提取部分3的輸出；A4表示來自注意力增強(qiáng)網(wǎng)絡(luò)中注意力模塊2的輸出。

1.3 殘差增強(qiáng)網(wǎng)絡(luò)

本文在多尺度特征聚合網(wǎng)絡(luò)后接入殘差增強(qiáng)網(wǎng)絡(luò)，使得多尺度特征聚合網(wǎng)絡(luò)能夠聚合更深層次語義的特征信息。該網(wǎng)絡(luò)由3 個殘差模塊組成，單個殘差模塊結(jié)構(gòu)如圖4 所示。

圖4 單個殘差模塊結(jié)構(gòu)Fig.4 Structure of a single residual module

與主干網(wǎng)絡(luò)不同，殘差增強(qiáng)網(wǎng)絡(luò)中的每個殘差模塊不需要降采樣，只采用2 個卷積組，分別是1×1和3×3。每個殘差模塊都設(shè)計相同的注意力殘差邊，用于實現(xiàn)注意力的空間關(guān)注。令輸入單個殘差模塊的特征圖表示為F，單個殘差模塊的表達(dá)式如下：

其 中：ConvBlock3×3和ConvBlock1×1分別為3×3 卷 積組和1×1 卷積組；RResAttention表示將輸入的特征圖F∈RC×H×W分別經(jīng)過全局最大池化和全局平均池化，得到2 個F1∈R1×H×W大小的特征圖。之后，將這2 個特征圖進(jìn)行相加操作，經(jīng)過1 個3×3 卷積生成具有信息關(guān)注能力的殘差邊，其表達(dá)式如下：

其 中：Conv3×3表示步長為1、填充為1 的3×3 卷 積；MaxPool 為全局最大池化；AvgPool 為全局平均池化。

每到秋糧上市的季節(jié)，一些心懷鬼胎的騙子和商販也開始活躍起來。由于稱糧設(shè)備的更新?lián)Q代，現(xiàn)在，坑農(nóng)騙局也有了新的花樣。地磅被遙控、炮車被改裝、水分測試儀造假等。面對這些稱糧時的高技術(shù)騙局，該怎么辦呢？

1.4 注意力增強(qiáng)網(wǎng)絡(luò)

本文為充分利用更深層次的語義信息，從而提升輕量級工業(yè)表面缺陷檢測網(wǎng)絡(luò)的特征提取能力，設(shè)計注意力增強(qiáng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)非常簡便，可以即插即用。注意力增強(qiáng)網(wǎng)絡(luò)包括全局語義信息和局部語義信息2 部分。注意力增強(qiáng)網(wǎng)絡(luò)將兩者進(jìn)行融合，由3 個注意力增強(qiáng)模塊組成，其單個注意力增強(qiáng)模塊結(jié)構(gòu)如圖5 所示。

圖5 單個注意力增強(qiáng)模塊結(jié)構(gòu)Fig.5 Structure of single attention enhancement module

單個注意力增強(qiáng)模塊的表達(dá)式如下：

MMLP3表達(dá)式如下：

其中：Conv1C表示通道數(shù)為C的1×1 卷積；Conv1C/r表示通道數(shù)為C/r的1×1 卷積；r為縮減率。MMLP2表達(dá)式如下：

1.5 損失函數(shù)

本文提出的損失函數(shù)分為邊界框回歸損失、置信度損失和分類損失，采用GIoU 計算邊界框回歸損失，其表達(dá)式如下：

其中：IIoU表示交并比；A和B分別表示預(yù)測框和真實框；C表示包圍A和B的最小包圍框。

本文采用二元交叉熵?fù)p失函數(shù)計算置信度損失和分類損失，表達(dá)式如下：

其中：N為總量；x為樣本；y為標(biāo)簽。

其中：r為常數(shù)，當(dāng)其為0 時，F(xiàn)ocal Loss 與BCELogits Loss 一致。t可表示為：

2 實驗與結(jié)果分析

2.1 數(shù)據(jù)集

本文的 實驗數(shù) 據(jù)集包 括NRSD-MN［22］、NEUDET［23］和PCBData［24］。NRSD-MN 數(shù)據(jù)集包含4 101 張軌道表面缺陷圖像，其中包括3 936 張人造軌道表面缺陷圖像和165 張自然軌道表面缺陷圖像。本文選擇4 101 張圖像作為訓(xùn)練集和測試集，并與最先進(jìn)的算法進(jìn)行比較，以2 971 張圖像作為訓(xùn)練集，1 130 張圖像作為測試集。NEU-DET 數(shù)據(jù)集是1 個缺陷分類數(shù)據(jù)集。熱軋鋼板的缺陷包括裂紋、夾雜、斑塊、麻點表面、軋入氧化皮和劃痕6 種類型。NEU-DET 數(shù)據(jù)集在每種缺陷類型上均有300 張圖像，共有1 800 張圖像。本文選取1 260 張圖片作為訓(xùn)練集，540 張作為測試集。PCBData 數(shù)據(jù)集包含1 500 張PCB 圖像，涵蓋6 種類型的PCB 缺陷，每張圖像分辨率為640×640 像素。本文選取其中1 230 張圖像作為訓(xùn)練集，270 張圖像作為測試集。

2.2 實驗參數(shù)

本文實驗均是在Windows 10操作系統(tǒng)、PyTorch 1.11的環(huán)境 下實現(xiàn)。在NRSD-MN、NEU-DET 和PCBData 數(shù)據(jù)集上的全部對比實驗選用2 種硬件配置：高性能硬件配置為CPU Intel?CoreTMi9-10900K，內(nèi)存64 GB，GPU NVIDIA GeForce RTX 3080；低性能硬件 配置為CPU Intel?CoreTMi7-11800H，內(nèi) 存16 GB，NVIDIA GeForce RTX 3060 Laptop GPU，CUDA 核心僅為高性能硬件配置的1/3。超參數(shù)設(shè)置：訓(xùn)練圖像大小為640×640 像素，batch_size 大小為8，所有模型均訓(xùn)練300 個epoch 以及均不使用預(yù)訓(xùn)練權(quán)重，初始學(xué)習(xí)率設(shè)置為0.01，優(yōu)化器采用SGD。

2.3 評估指標(biāo)

本文對模型性能優(yōu)劣的評價指標(biāo)為精準(zhǔn)度（P）、召回率（R）、F1 值（F1）、mAP@0.5（mAP@0.5 表 示IoU 閾值在0.5 上的mAP）、GFLOPS。精準(zhǔn)度和召回率的表達(dá)式如下：

2.4 對比實驗

本文評估該模型在工業(yè)表面缺陷數(shù)據(jù)集NRSDMN、NEU-DET 和PCBData 上的缺陷檢測性能，并與其他目標(biāo)檢測模型進(jìn)行比較。表1～表3 所示為不同模型在高性能硬件配置（GPU NVIDIA GeForce RTX 3080）下的實驗結(jié)果，加粗表示最優(yōu)數(shù)據(jù)。

表1 高性能配置下不同模型在NRSD-MN 數(shù)據(jù)集上的實驗結(jié)果Table 1 Experimental results among different models on the NRSD-MN dataset under high performance configuration

表4～表6 所示為不同模型在低性能硬件配置（NVIDIA GeForce RTX 3060 Laptop GPU）下的實驗結(jié)果。

2.5 結(jié)果分析

從高性能配置實驗環(huán)境下本文模型在NRSD-MN數(shù)據(jù)集上的實驗結(jié)果可以看出：本文模型的參數(shù)量是YOLOv7-tiny［25］的38%，但是在F1和mAP@0.5 這2 個評價指標(biāo)上分別提高4.13 和2.21 個百分點，相比高于本文模型4倍參數(shù)量的YOLOv3-tiny，在2個指標(biāo)上分別提高4.52 和3.50 個百分點。此外，本文復(fù)現(xiàn)了文獻(xiàn)［26］的研究成果，為保證參數(shù)量相當(dāng)，本文將其研究成果采用低參數(shù)量的YOLOv5s進(jìn)行復(fù)現(xiàn)。

從表1 可以看出，本文模型在P、R、F1、mAP@0.5、GFLOPS 這5 個指標(biāo)上均優(yōu)于YOLOv3-tiny、YOLOv4-tiny、YOLOv5s、YOLOv7-tiny 和FDDM-s。同時，本文模型在NEU-DET 和PCBData數(shù)據(jù)集上具有較優(yōu)的泛化能力（如表2和表3所示），說明本文模型適用于工業(yè)領(lǐng)域的輕量級工業(yè)表面缺陷檢測。從表4～表6可以看出，本文模型在參數(shù)量和GFLOPS 最低的基礎(chǔ)上取得較優(yōu)的mAP@0.5結(jié)果。

表2 高性能配置下不同模型在NEU-DET 數(shù)據(jù)集上的實驗結(jié)果Table 2 Experimental results among different models on the NEU-DET dataset under high performance configuration

表3 高性能配置下不同模型在PCBData 數(shù)據(jù)集上的實驗結(jié)果Table 3 Experimental results among different models on the PCBData dataset under high performance configuration

表4 低性能配置下不同模型在NRSD-MN數(shù)據(jù)集上的實驗結(jié)果Table 4 Experimental results among different models on the NRSD-MN dataset under low performance configuration

表5 低性能配置下不同模型在NEU-DET數(shù)據(jù)集上的實驗結(jié)果Table 5 Experimental results among different models on the NEU-DET dataset under low performance configuration

表6 低性能配置下不同模型在PCBData數(shù)據(jù)集上的實驗結(jié)果Table 6 Experimental results among different models on the PCBData dataset under low performance configuration

YOLOv5s 和本文模型在不同數(shù)據(jù)集上的檢測結(jié)果分別如圖6～圖8 所示。從圖6～圖8 可以看出，YOLOv5s 有漏檢和誤檢現(xiàn)象，本文所提模型的檢測效果優(yōu)于YOLOv5s。

圖6 不同模型在NRSD-MN 數(shù)據(jù)集上的檢測結(jié)果對比Fig.6 Comparison of detection results among different models on the NRSD-MN dataset

圖7 不同模型在NEU-DET 數(shù)據(jù)集上的檢測結(jié)果對比Fig.7 Comparison of detection results among different models on the NEU-DET dataset

2.6 消融實驗

在消融實驗中，本文將主干網(wǎng)絡(luò)（不添加注意力）簡稱為R，將主干網(wǎng)絡(luò)（包含CL 和CDL 結(jié)構(gòu)）簡稱為R+CC，將多尺度特征聚合網(wǎng)絡(luò)簡稱為MF，將殘差增強(qiáng)網(wǎng)絡(luò)簡稱為RA，將注意力增強(qiáng)網(wǎng)絡(luò)簡稱為CN。

本文在3 個數(shù)據(jù)集上均進(jìn)行消融實驗，結(jié)果如表7～表9 所示。從表7 可以看出，以R+CC+MF+RA+CN（本文模型）為基線，在減少主干網(wǎng)絡(luò)中的注意力機(jī) 制CC 后，R+MF+RA+CN 網(wǎng)絡(luò)的F1、mAP@0.5 分別減少1.09 和0.6 個百分點。在去除注意力增強(qiáng)網(wǎng)絡(luò)CN 后，R+MF+RA 網(wǎng)絡(luò)與R+MF+RA+CN 網(wǎng)絡(luò)相比在F1、mAP@0.5 指標(biāo)上分別減少1.75 和1.6 個百分點。在繼續(xù)減少殘差增強(qiáng)網(wǎng)絡(luò)RA 后，R+MF 網(wǎng)絡(luò)與R+MF+RA 網(wǎng)絡(luò)相比在F1、mAP@0.5 指標(biāo)上分別減少2.25 和1.2 個百分點，充分證明本文所提主干網(wǎng)絡(luò)中注意力機(jī)制、注意力增強(qiáng)網(wǎng)絡(luò)和殘差增強(qiáng)網(wǎng)絡(luò)有助于改進(jìn)本文模型性能。從表8 和表9 可以看出，本文模型分別在NEU-DET 和PCBData 數(shù)據(jù)集上的消融實驗結(jié)果也很好地證明這一點。

表8 在NEU-DET 數(shù)據(jù)集上的消融實驗結(jié)果Table 8 Results of ablation experiments on the NEU-DET dataset %

表9 在PCBData 數(shù)據(jù)集上的消融實驗結(jié)果Table 9 Results of ablation experiments on the PCBData dataset %

3 結(jié)束語

針對工業(yè)產(chǎn)品表面缺陷，本文提出一種基于全過程注意力增強(qiáng)的網(wǎng)絡(luò)結(jié)構(gòu)。將輕量化的殘差結(jié)構(gòu)作為主干網(wǎng)絡(luò)，采用注意力機(jī)制對殘差塊進(jìn)行特征提取的增強(qiáng)，構(gòu)建特征提取能力強(qiáng)的提取模塊，并對提取模塊結(jié)構(gòu)進(jìn)行堆疊形成主干網(wǎng)絡(luò)。同時，使用特征金字塔網(wǎng)絡(luò)聚合多尺度、多深淺語義的特征圖，使得模型的特征具有多尺度信息。在此基礎(chǔ)上，通過對殘差模塊和注意力增強(qiáng)模塊進(jìn)行組合，增強(qiáng)對多尺度特征聚合網(wǎng)絡(luò)輸出的特征圖特征的提取，從而達(dá)到更優(yōu)的表面缺陷檢測目的。在數(shù)據(jù)集上驗證本文模型及每個模塊的有效性，實驗結(jié)果表明，本文模型具有較優(yōu)的檢測性能。下一步將面向工業(yè)產(chǎn)品中的微小缺陷和偽裝目標(biāo)檢測，設(shè)計輕量級優(yōu)化方法，實現(xiàn)可滿足實時性和準(zhǔn)確性要求的輕量級微小缺陷檢測網(wǎng)絡(luò)。