多尺度增強(qiáng)特征融合的鋼表面缺陷目標(biāo)檢測(cè)

林珊玲，彭雪玲，王 棟，林志賢，3，林堅(jiān)普*，郭太良

（1.福州大學(xué) 先進(jìn)制造學(xué)院，福建 泉州 362252；2.中國(guó)福建光電信息科學(xué)與技術(shù)實(shí)驗(yàn)室，福建 福州 350116；3.福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350116）

1 引言

鋼坯在軋制階段由于表面受熱不均、軋輥夾雜碎屑等原因，部分區(qū)域存在孔洞、冷熱裂紋等缺陷，影響鑄造成品的抗拉強(qiáng)度、硬度和韌性。早期的鋼表面缺陷主要依靠人工查驗(yàn)［1］，通過(guò)主觀視覺判定鋼材損傷位置及受損程度，效率不高并且經(jīng)常發(fā)生漏檢。頻閃光檢測(cè)技術(shù)雖然能夠從一定程度上提高鋼表面缺陷的識(shí)別準(zhǔn)確率，但大量重復(fù)性工作導(dǎo)致其檢測(cè)速度較慢，無(wú)法滿足工業(yè)檢測(cè)需求［2］。

近年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）發(fā)展迅速，基于CNN［3］的目標(biāo)檢測(cè)算法的識(shí)別精度不斷提高?，F(xiàn)階段的目標(biāo)檢測(cè)算法大致分為兩類，一類是基于區(qū)域候選提議（Region Proposal Network，RPN）的算法，如R-CNN（Region-based CNN）［4］，F(xiàn)aster R-CNN［5］等，通過(guò)生成候選框提升檢測(cè)精度，需要消耗大量檢測(cè)時(shí)間。另一類是基于回歸的算法，如YOLO（You Only Look Once）［6］，SSD（Single Shot multibox Detector）［7］，在回歸目標(biāo)位置的同時(shí)直接預(yù)測(cè)類別。其中，SSD 算法采用VGG-16［8］作為骨干網(wǎng)絡(luò)進(jìn)行多尺度分治檢測(cè)，模型體積與計(jì)算量較大。為了降低卷積網(wǎng)絡(luò)的復(fù)雜度，Sandler等［9］提出MobileNetV2，采用深度可分離卷積進(jìn)行特征提取。在增強(qiáng)特征表達(dá)方面，Lin 等設(shè)計(jì)了特征金字塔（Feature Pyramid Network，F(xiàn)PN）［10］結(jié)構(gòu)，通過(guò)橫向連接與自頂向下融合方式，加強(qiáng)了深層語(yǔ)義與淺層細(xì)節(jié)的交互。Li 等受到FPN 結(jié)構(gòu)的啟發(fā)提出FSSD（Feature Fusion Single Shot multibox Detector）［11］，將深層特征上采樣后直接與淺層特征拼接融合，為淺層特征融入了深層語(yǔ)義表示。Hu 等［12］則提出SE（Squeeze and Excitation）注意力機(jī)制，通過(guò)通道方向的特征擠壓與激勵(lì)，使模型更加關(guān)注圖像細(xì)節(jié)。與此同時(shí)，許多專家學(xué)者開展了鋼表面缺陷目標(biāo)檢測(cè)算法的相關(guān)研究，特征融合結(jié)構(gòu)、注意力機(jī)制等成為重要的算法優(yōu)化手段。He 等［13］提出一種基于深度學(xué)習(xí)的鋼板缺陷檢測(cè)系統(tǒng)，通過(guò)組合池化層、普通卷積、反卷積形成全段多尺度特征融合結(jié)構(gòu)，促進(jìn)了雜質(zhì)、刮痕等鋼表面缺陷的細(xì)粒度表達(dá)與深層語(yǔ)義融合。Tang 等［14］提出一種帶鋼表面缺陷檢測(cè)方法，采用帶注意力機(jī)制的殘差模塊結(jié)合多尺度池化結(jié)構(gòu)，解決了由于網(wǎng)絡(luò)感受野過(guò)于單一導(dǎo)致的無(wú)法感知補(bǔ)丁、結(jié)疤等缺陷尺度變化問題。此外，Guo 等［15］提出一種檢測(cè)鋼表面缺陷的改進(jìn)算法，結(jié)合視覺Transformer 檢測(cè)模塊輔助全局特征提取，增強(qiáng)了算法對(duì)于裂紋、點(diǎn)蝕等覆蓋范圍較廣的缺陷目標(biāo)的識(shí)別能力。雖然上述方法都能提升鋼表面缺陷的檢測(cè)效果，但識(shí)別精度仍具有提升空間，并且網(wǎng)絡(luò)模型的計(jì)算成本較高，實(shí)際應(yīng)用于工業(yè)檢測(cè)設(shè)備具有一定難度。

針對(duì)鋼表面缺陷目標(biāo)檢測(cè)算法的識(shí)別準(zhǔn)確率不高、模型計(jì)算量大的問題，本文在SSD-MV2算法的基礎(chǔ)上提出一種多尺度增強(qiáng)特征融合的鋼表面缺陷目標(biāo)檢測(cè)算法（Enhanced FSSD with MobileNetV2，EFSSD-MV2）。首先，設(shè)計(jì)了一種自適應(yīng)加權(quán)融合模塊，采用自適應(yīng)權(quán)重指導(dǎo)不同尺度層級(jí)的特征拼接融合。其次，設(shè)計(jì)了一種空間特征增強(qiáng)模塊，進(jìn)一步加強(qiáng)融合特征的有效信息描述。接著，改進(jìn)了訓(xùn)練樣本選擇方法，使模型根據(jù)先驗(yàn)框與真實(shí)框的整體交并趨勢(shì)動(dòng)態(tài)調(diào)整訓(xùn)練樣本數(shù)量，提高損失函數(shù)計(jì)算的準(zhǔn)確性。

2 原 理

EFSSD-MV2 算法以SSD300 算法［16］框架為基礎(chǔ)，采用更加輕量的MobileNetV2 代替VGG16 作為特征提取骨干網(wǎng)絡(luò)，并移除它在Conv18 層后的分類輸出層，算法網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。為了將深層語(yǔ)義表達(dá)快速傳導(dǎo)至淺層，選擇其中的Conv7，Conv14，Conv18 層進(jìn)行類似FSSD 中的多尺度特征融合，并通過(guò)增強(qiáng)特征融合（Enhanced Feature Fusion，EFF）單元提升融合效果，包含自適應(yīng)加權(quán)融合（Adaptive Weighted Fusion，AWF）模塊與空間特征增強(qiáng)模塊（Spatial Feature Enhancement，SFE）。AWF 模塊用于計(jì)算不同層級(jí)特征的自適應(yīng)融合權(quán)重，而SFE 模塊則用于進(jìn)一步提高融合特征的空間特性。之后，利用附加特征提取網(wǎng)絡(luò)生成6 個(gè)不同尺度的特征圖，將其特征通道分布由原始的512，1 024，512，256，256，256 調(diào)整為256，128，128，64，64，32，并采用深度可分離卷積代替普通卷積作為分類與回歸預(yù)測(cè)器，目的是降低網(wǎng)絡(luò)后端的計(jì)算成本。改進(jìn)的訓(xùn)練樣本選擇方法應(yīng)用于模型訓(xùn)練階段，通過(guò)將交并比（Intersection Over Union，IOU）閾值關(guān)聯(lián)先驗(yàn)框與真實(shí)框的整體交并程度，使模型獲得更為合適的訓(xùn)練樣本。最后，采用非極大抑制算法篩選目標(biāo)框。

圖1 EFSSD-MV2 算法的網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure of EFSSD-MV2 algorithm

2.1 自適應(yīng)加權(quán)融合模塊

基礎(chǔ)特征融合結(jié)構(gòu)一次性聚合多個(gè)不同尺度的特征圖［17］。大尺度特征圖包含眾多幾何細(xì)節(jié)，而小尺度特征圖則包含更為強(qiáng)大的語(yǔ)義表達(dá)。這種融合方式的本質(zhì)是將深層特征直接傳遞至淺層，使淺層特征在不丟失細(xì)節(jié)信息的同時(shí)獲得豐富的深層語(yǔ)義。然而，它在融合前必須規(guī)范特征圖尺度與通道，弱化了不同層級(jí)特征之間的相對(duì)差異，抑制了融合特征描述檢測(cè)目標(biāo)特異性的能力。加權(quán)特征融合是指通過(guò)計(jì)算每個(gè)特征圖對(duì)檢測(cè)目標(biāo)的貢獻(xiàn)程度，使得不同尺度的特征信息得到充分融合。為了彌補(bǔ)基礎(chǔ)特征融合結(jié)構(gòu)的不足，設(shè)計(jì)了AWF 模塊，其網(wǎng)絡(luò)結(jié)構(gòu)和算法流程框圖如圖2（a）和2（b）所示。

圖2 自適應(yīng)加權(quán)融合模塊Fig.2 Adaptive Weighted Fusion（AWF）module

其中D為Cn之和，其值為448；Θ 表示Concat 特征拼接，zn表示第n層輸入的全局特征，（i，j）表示特征空間坐標(biāo)。采用2 個(gè)全連接層（Fully Connected，F(xiàn)C）與1 個(gè)ReLU 激活函數(shù)組合形成瓶頸層，用于學(xué)習(xí)特征在通道方向上的全局非線性關(guān)系，從而自適應(yīng)地生成一組映射特征A∈R1×1×3，其表達(dá)式為：

其中：W1∈RE×D表示全局特征通過(guò)第一個(gè)FC 層后降至E個(gè)通道的參數(shù)，為了使前后2 次通道降維更加平緩，E設(shè)置為32；W2∈R3×E表示特征通過(guò)第二個(gè)FC 層后降至3 個(gè)通道的參數(shù)。為了更加準(zhǔn)確地描述映射特征之間的相對(duì)性，采用Softmax 函數(shù)對(duì)A的特征值進(jìn)行歸一化指數(shù)約束，該過(guò)程可表示為：

其中：an表示A中的第n個(gè)特征值，對(duì)應(yīng)的權(quán)重值為bn，代表特征對(duì)融合結(jié)果的影響程度。最后，將權(quán)重值分別與特征層對(duì)應(yīng)相乘，輸出加權(quán)融合特征，其表達(dá)式為：

其中：Cy為C的3 倍，其值為384；Bn表示第n層規(guī)范化輸入特征經(jīng)過(guò)加權(quán)后的結(jié)果。AWF 模塊以特征融合分支為基礎(chǔ)，按照輸入特征的全局相對(duì)關(guān)系，在通道方向上以極少的參數(shù)量分配融合權(quán)重。

2.2 空間特征增強(qiáng)模塊

為了進(jìn)一步提取融合特征中包含的上下文先驗(yàn)知識(shí)，同時(shí)消除由于輸入特征尺度差異而產(chǎn)生的混疊效應(yīng)，基礎(chǔ)特征融合結(jié)構(gòu)對(duì)融合特征應(yīng)用一個(gè)3×3 的卷積核，通道數(shù)降至原始特征的三分之二。該方法雖然在一定程度上能提高特征的全局表示能力，但通道數(shù)減少會(huì)產(chǎn)生特征丟失，且過(guò)于單薄的特征聯(lián)系會(huì)影響附加特征提取網(wǎng)絡(luò)對(duì)于檢測(cè)目標(biāo)的分類與定位。因此，本文結(jié)合空間注意力機(jī)制（Spatial Attention Mechanism，SAM）設(shè)計(jì)了如圖3 所示的SFE 模塊，從3 個(gè)不同方向強(qiáng)化融合特征的空間表達(dá)，通過(guò)引出殘差旁路增強(qiáng)網(wǎng)絡(luò)結(jié)構(gòu)的穩(wěn)定性，使卷積過(guò)程能夠挖掘到更多的關(guān)鍵信息。

雖然3×3 的卷積核在提取特征時(shí)能夠擴(kuò)大感受野，但其處理大尺度特征層的計(jì)算成本較高，因此，SFE 模塊中所有卷積操作均采用1×1的卷積核。SFE 模塊首先對(duì)加權(quán)融合特征Y采用一組并行層進(jìn)行類似SAM 中的擠壓與激勵(lì)操作。通過(guò)2 個(gè)并行的GAP 編碼生成全局特征序列，同時(shí)采用1 個(gè)卷積層提取通道方向上的依賴關(guān)系，從而得到融合特征在不同空間取向的獨(dú)立表示。輸出特征的表達(dá)式為：

對(duì)全局特征Q，R，S應(yīng)用ReLU 激活函數(shù)，目的是增強(qiáng)特征描述的多樣性。該過(guò)程輸出的表達(dá)式為：

為了使SFE 模塊的輸出特征通道數(shù)與附加特征提取網(wǎng)絡(luò)的輸入通道數(shù)保持一致，同時(shí)最大程度地保留原始融合特征信息，對(duì)融合特征Y與空間增強(qiáng)特征分別進(jìn)行卷積特征提取，輸出特征的表達(dá)式為：

其中U和為輸出特征，并且U的通道數(shù)Cv小于通道數(shù)Cy，Cv設(shè)置為256。最后，將二者進(jìn)行類似殘差結(jié)構(gòu)中的矩陣疊加，輸出特征V∈的表達(dá)式為：

其中：σ表示Sigmoid 激活函數(shù)，將其應(yīng)用于特征Uˉ可得到具有約束特性的空間增強(qiáng)系數(shù)；批量歸一化函數(shù)（Batch Normalization，BN）用于增強(qiáng)網(wǎng)絡(luò)模型的穩(wěn)定性，使模型訓(xùn)練不易發(fā)散；ReLU6激活函數(shù)用來(lái)進(jìn)行全局非線性化，相比ReLU 激活函數(shù)能夠抑制無(wú)效特征，提高特征表達(dá)信息的準(zhǔn)確性。

2.3 改進(jìn)訓(xùn)練樣本選擇方法

在網(wǎng)絡(luò)模型的訓(xùn)練階段，SSD 算法按照交并比為每個(gè)先驗(yàn)框匹配一個(gè)真實(shí)框，若該值小于預(yù)設(shè)閾值則將此先驗(yàn)框判別為負(fù)樣本。雖然該方法能夠簡(jiǎn)單快速地區(qū)分先驗(yàn)框的正負(fù)屬性，但6個(gè)不同尺度的檢測(cè)層級(jí)先驗(yàn)框匹配程度并不相同，并且固定閾值的選取依賴于主觀經(jīng)驗(yàn)，訓(xùn)練階段無(wú)法進(jìn)行自適應(yīng)調(diào)整。為了緩解這一問題，本文結(jié)合自適應(yīng)閾值思想改進(jìn)SSD 算法的訓(xùn)練樣本選擇方法（Adaptive Training Sample Selection，ATSS），改進(jìn)方法具有更加強(qiáng)大的樣本包容性。

將改進(jìn)方法記為改進(jìn)訓(xùn)練樣本選擇（Improved Training Sample Selection，ITSS）方法，它應(yīng)用于每個(gè)檢測(cè)層級(jí)的先驗(yàn)框與真實(shí)框的匹配過(guò)程，主要包含正樣本選擇與閾值計(jì)算兩個(gè)部分。假定在第l個(gè)尺度檢測(cè)層級(jí)的第r個(gè)先驗(yàn)框?yàn)镻r，其中心點(diǎn)坐標(biāo)為C1（x1，y1），第s個(gè)真實(shí)框Gs的中心點(diǎn)坐標(biāo)為C2（x2，y2），則C1與C2的歐式距離Lrs可表示為：

對(duì)于每個(gè)尺度檢測(cè)層級(jí)，分別為每個(gè)真實(shí)框篩選前k個(gè)歐式距離L最小的先驗(yàn)框作為候選正樣本，通過(guò)超參數(shù)k可調(diào)整納入候選正樣本的先驗(yàn)框數(shù)量，進(jìn)而控制先驗(yàn)框與真實(shí)框的匹配程度。

在ATSS 方法中，通過(guò)遍歷每個(gè)真實(shí)框所匹配的候選正樣本來(lái)計(jì)算二者的IOU 值，并為每個(gè)真實(shí)框構(gòu)建一個(gè)IOU 集合；而ITSS 方法則更加關(guān)注交并比的總體關(guān)系，將前述集合統(tǒng)一歸并為I=｛I1，I2，···，Im｝，總數(shù)為m。為集合I計(jì)算基本統(tǒng)計(jì)學(xué)特性可得到自適應(yīng)IOU 閾值T，其數(shù)學(xué)表達(dá)式為：

其中：集合I的均值M代表候選正樣本與真實(shí)框的平均交并程度，而I的標(biāo)準(zhǔn)差S則用于描述候選正樣本與真實(shí)框的交并比差異。在實(shí)際正負(fù)樣本判定過(guò)程中，若第q個(gè)先驗(yàn)框Pq與其匹配真實(shí)框的IOU 值Jq≤T，則判定Pq為負(fù)樣本。通過(guò)ITSS 方法，模型能夠綜合不同檢測(cè)層級(jí)的先驗(yàn)框與真實(shí)框的交并程度，根據(jù)不同訓(xùn)練階段的樣本匹配程度動(dòng)態(tài)調(diào)整IOU 閾值，使損失函數(shù)在計(jì)算過(guò)程中獲得更加優(yōu)質(zhì)的正負(fù)樣本。

3 實(shí)驗(yàn)結(jié)果分析

3.1 數(shù)據(jù)集與參數(shù)設(shè)置

為了檢驗(yàn)EFSSD-MV2 對(duì)于鋼表面缺陷目標(biāo)的檢測(cè)性能，實(shí)驗(yàn)采用東北大學(xué)公開發(fā)布的NEU-DET 鋼材缺陷公共數(shù)據(jù)集作為訓(xùn)練樣本，該數(shù)據(jù)集以PASCAL VOC 數(shù)據(jù)集格式為標(biāo)準(zhǔn)，包含6 類常見的鋼表面缺陷圖像與標(biāo)定數(shù)據(jù)，分別為裂紋、補(bǔ)丁、雜質(zhì)、點(diǎn)蝕、結(jié)疤和刮痕。其中，裂紋為鋼表面產(chǎn)生的開裂現(xiàn)象；補(bǔ)丁為金屬的某一部分因具有特定特征而與其余部分區(qū)分開的區(qū)域；雜質(zhì)為金屬表面缺陷中的典型缺陷，有些夾雜物比較松散，易脫落，有的則壓入板中；點(diǎn)蝕是一種腐蝕形式，集中在鋼金屬表面的一個(gè)非常小的范圍內(nèi)，并滲入金屬內(nèi)部，通常直徑小但深度較大；結(jié)疤是軋制過(guò)程中軋機(jī)鱗片被卷入金屬中形成的；刮痕是鋼表面磨損的痕跡。在保證實(shí)驗(yàn)公平性的前提下，本文去除了4 張僅含有難標(biāo)簽的數(shù)據(jù)樣本，因此，數(shù)據(jù)集共包含1 796 張鋼表面缺陷樣本圖片，訓(xùn)練集與測(cè)試集的比例為8∶2。

所有實(shí)驗(yàn)均在戴爾Precision 7920 高性能圖形工作站上完成，其主要配置為Intel Xeon Silver 4210R 2.40 GHz CPU 以及NVIDIA Quadro RTX 5000 GPU，軟件環(huán)境為Python 3.8 與Pytorch 1.11 深度學(xué)習(xí)框架，配備CUDA 11.6 圖形加速平臺(tái)。網(wǎng)絡(luò)輸入尺寸設(shè)為300×300，先驗(yàn)框尺度保持在（30，60），（60，111），（111，162），（162，213），（213，264），（264，315），數(shù)量分別為4，6，6，6，4，4；批量大小為32，最大訓(xùn)練輪數(shù)為20 000 輪，推理置信度閾值為0.01，檢測(cè)準(zhǔn)確率閾值為0.7；采用原始SSD 算法的SGD（Stochastic Gradient Descent）梯度下降法優(yōu)化訓(xùn)練梯度，動(dòng)量參數(shù)為0.9，權(quán)重衰減參數(shù)為0.000 01；為了使模型在訓(xùn)練過(guò)程中達(dá)到最優(yōu)結(jié)果，在學(xué)習(xí)率調(diào)整策略上采用余弦退火學(xué)習(xí)率策略，使得網(wǎng)絡(luò)模型能夠逃離局部穩(wěn)態(tài)，重新尋找更為合適的極值點(diǎn)。學(xué)習(xí)率α的數(shù)學(xué)表達(dá)式為：

其中：αmin表示學(xué)習(xí)率的最小值，設(shè)置為0；αmax表示學(xué)習(xí)率的最大值，設(shè)置為0.01；Tcur表示當(dāng)前運(yùn)行步數(shù)，隨實(shí)驗(yàn)過(guò)程迭代更新；Tmax表示單個(gè)退火過(guò)程所需要的步數(shù)，設(shè)置為2。

3.2 評(píng)價(jià)指標(biāo)與消融實(shí)驗(yàn)

為了驗(yàn)證所提出方法的性能，采用所有類別精度均值（Averrage Precision，AP），平均精度均值（mean Average Precision，mAP）指標(biāo)驗(yàn)證多類別的檢測(cè)精度，其計(jì)算公式如下：

其中：TP 表示真正例，F(xiàn)N 表示假反例，F(xiàn)P 表示假正例，TN 表示真反例，K為類別數(shù)目。

本文主要采用目標(biāo)檢測(cè)任務(wù)中常用的平均精度均值指標(biāo)衡量算法精度，通過(guò)幀率（frame per second，fps）、參數(shù)量以及計(jì)算量等指標(biāo)量化模型的實(shí)時(shí)檢測(cè)性能。以算法在每個(gè)類別上的召回率（Recall）為橫軸坐標(biāo)，準(zhǔn)確率（Precision）為縱軸坐標(biāo)繪制Precision-Recall（P-R）曲線，通過(guò)計(jì)算P-R曲線與坐標(biāo)軸圍成的區(qū)域面積即可得到類別平均精度（Average Precision，AP）。將 SSD-MV2 算法、FSSD-MV2 算法以及EFSSD-MV2 算法分別在NEU-DET 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，3 種算法的P-R曲線對(duì)比如圖4 所示。從圖中可以看出，F(xiàn)SSD-MV2 算法的檢測(cè)精度高于SSD-MV2 算法，但由于僅采用基礎(chǔ)特征融合結(jié)構(gòu)，算法準(zhǔn)確率的增加幅度有限；而EFSSD-MV2 算法在召回率大于0.2 之后的準(zhǔn)確率則明顯高于其他兩種算法，這表明該算法對(duì)鋼表面缺陷的檢測(cè)精度相比改進(jìn)前顯著提升。

圖4 算法改進(jìn)前后的檢測(cè)精度對(duì)比Fig.4 Comparison of algorithm detection accuracy before and after improvement

為了驗(yàn)證EFSSD-MV2 算法與提出方法的有效性，本文以SSD-MV2 算法模型為基礎(chǔ)進(jìn)行消融實(shí)驗(yàn)，結(jié)果如表1 所示。其中，mAPITSS表示采用ITSS 方法后的模型平均精度均值，超參數(shù)k=30。結(jié)果表明，EFSSD-MV2 算法的mAP 達(dá)到了80.47%，相比SSD-MV2 算法提升了6.81%；此外，算法模型的參數(shù)量為2.36 M，計(jì)算量為952.67 MFLOPs，整體參數(shù)量與計(jì)算成本較低。在傳統(tǒng)SSD 算法的訓(xùn)練樣本選擇方法下，整體網(wǎng)絡(luò)結(jié)構(gòu)修改使算法的mAP 提升了4.19%；其中，基礎(chǔ)特征融合結(jié)構(gòu)使算法的mAP 提升了2.45%，計(jì)算量增加了239.48 MFLOPs；EFF 單元使算法的 mAP 提升1.74%，計(jì)算量增加了144.51 MFLOPs。由此可知，EFF 單元能夠有效提高算法的檢測(cè)精度，計(jì)算成本比基礎(chǔ)特征融合結(jié)構(gòu)更低。以特征融合結(jié)構(gòu)為基礎(chǔ)，單獨(dú)添加AWF 模塊后算法的mAP 提升了1.22%，模型參數(shù)量?jī)H增加0.02 M；單獨(dú)增加SFE 模塊后算法的mAP 提升了1.07%，模型參數(shù)量增加0.1 M。在SSDMV2 算法的基礎(chǔ)上，將訓(xùn)練樣本選擇方法更改為ITSS 方法，算法mAP 提升了3.75%。由此可知，AWF 模塊以極小的計(jì)算成本提升了檢測(cè)精度，其原因在于通過(guò)在通道方向上的全局特征計(jì)算自適應(yīng)權(quán)重；采用SFE 模塊雖然略微增加計(jì)算開支，但也提高了檢測(cè)精度；通過(guò)改進(jìn)訓(xùn)練樣本選擇方法，算法的檢測(cè)精度取得了顯著提升。整體而言，本文提出的方法對(duì)于SSDMV2 算法的檢測(cè)精度提升是十分有效的。

表1 EFSSD-MV2 算法的消融實(shí)驗(yàn)（1 M=106）Tab.1 Ablation experiments for EFSSD-MV2 algorithm（1 M=106）

3.3 檢測(cè)算法對(duì)比

為了進(jìn)一步評(píng)價(jià)EFSSD-MV2 算法對(duì)于鋼表面缺陷目標(biāo)的檢測(cè)性能，本文選取目標(biāo)檢測(cè)領(lǐng)域10 種主流的輕量級(jí)檢測(cè)算法進(jìn)行比較。實(shí)驗(yàn)過(guò)程中，所有算法均在前述數(shù)據(jù)集上訓(xùn)練，保持原始訓(xùn)練參數(shù)不變，對(duì)比實(shí)驗(yàn)結(jié)果如表2 所示。結(jié)果表明，EFSSD-MV2 算法在鋼表面缺陷檢測(cè)任務(wù)上的mAP 指標(biāo)超過(guò)了其他檢測(cè)算法，對(duì)裂紋、點(diǎn)蝕缺陷的檢測(cè)精度均為最高，說(shuō)明算法對(duì)于檢測(cè)難度較大的細(xì)粒度鋼表面缺陷目標(biāo)的識(shí)別具有明顯優(yōu)勢(shì)。EFSSD-MV2 算法相比輸入圖像尺寸相近的SSDLite 算法和NanoDet 算法，mAP 分別高出6.44%和30.19%，體積分別減少了15.71 MB 和1.71 MB，表明算法能夠利用較少的圖像輸入資源取得較好的檢測(cè)效果。同時(shí)，EFSSD-MV2 算法相比超輕量級(jí)目標(biāo)檢測(cè)算法FastestDet 的mAP 高出9.05%，相比新型輕量級(jí)目標(biāo)檢測(cè)算法MutualGuide 高出3.75%；相比YOLO 系列的經(jīng)典輕量級(jí)檢測(cè)算法YOLOv3-tiny，YOLOv4-tiny 分別高出12.63%和11.98%，體積則減少了23.87 MB 和13.21 MB；相比同系列主流算法YOLOv5n 以及YOLOv6n 算法，mAP 分別高出4.75%和4.92%；相比先進(jìn)輕量級(jí)檢測(cè)算法YOLOv7-tiny 和YOLOX-nano，mAP 分別高出5.6% 和3.69%。EFSSD-MV2算法在檢測(cè)精度上超越了同等級(jí)別下的YOLO系列算法，而模型體積除了YOLOX-nano 之外均相比更小，表明該算法以較低的計(jì)算成本，取得了相對(duì)較高的鋼表面缺陷檢測(cè)精度。在實(shí)時(shí)檢測(cè)速度方面，雖然EFSSD-MV2 算法的fps 指標(biāo)處于中間水平，但66.4 frame/s 的檢測(cè)速度能夠滿足鋼鐵行業(yè)的日常檢測(cè)需求。據(jù)此可以得出，EFSSD-MV2 相較于主流輕量級(jí)目標(biāo)檢測(cè)算法，無(wú)論在對(duì)鋼表面缺陷目標(biāo)的檢測(cè)精度還是在模型輕量化程度上都具有明顯的優(yōu)勢(shì)。

表2 與其他輕量級(jí)目標(biāo)檢測(cè)算法的實(shí)驗(yàn)結(jié)果對(duì)比Tab.2 Comparison of experimental results with other lightweight target detection algorithms

3.4 超參數(shù)討論

對(duì)于ITSS 樣本選擇方法，超參數(shù)k的取值直接決定候選正樣本的數(shù)量，需要通過(guò)實(shí)驗(yàn)驗(yàn)證其取值的合理性。這里以EFSSD-MV2 算法的網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ)，分別比較ITSS 及ATSS 方法中k對(duì)算法mAP 指標(biāo)的影響，實(shí)驗(yàn)中k取值為5～50，間距為5。表3 為實(shí)驗(yàn)結(jié)果，其中，mAPATSS表示采用ATSS 方法后模型的平均精度均值。結(jié)果表明，超參數(shù)k會(huì)影響算法的檢測(cè)精度，當(dāng)超參數(shù)k為30時(shí)，采用上述兩種方法的算法mAP 指標(biāo)分別達(dá)到極大值。從不同k取值下的mAP 變化趨勢(shì)可以得出，當(dāng)k取值較小時(shí)，由于正樣本數(shù)量不足，樣本選擇方法的mAP 提升效果不明顯；當(dāng)k取值較大時(shí)，由于正樣本數(shù)量過(guò)多而導(dǎo)致方法的mAP 提升效果回落；采用ITSS 方法后算法的mAP 的整體變化幅度相對(duì)較小，原因在于其計(jì)算過(guò)程考慮了先驗(yàn)框與真實(shí)框的整體IOU 特性，樣本篩選過(guò)程更加符合自然分布規(guī)律，模型經(jīng)過(guò)訓(xùn)練后對(duì)于不同的鋼表面缺陷擁有更強(qiáng)的泛化檢測(cè)能力。

表3 超參數(shù)k 對(duì)EFSSD-MV2 算法mAP 指標(biāo)的影響Tab.3 Effect of hyperparameter k on mAP metrics of EFSSD-MV2 algorithm（%）

3.5 測(cè)試結(jié)果對(duì)比

本文通過(guò) Grad-CAM（Gradient-weighted Class Activation Mapping）繪制附加特征提取網(wǎng)絡(luò)的權(quán)重可視化效果圖，分別對(duì)SSD-MV2 算法、FSSD-MV2 算法以及EFSSD-MV2 算法進(jìn)行實(shí)驗(yàn)，并為每個(gè)類別隨機(jī)抽取1 組實(shí)驗(yàn)結(jié)果，3 種算法的類激活映射輸出對(duì)比如圖5 所示。從圖中可以看出，SSD-MV2 算法各個(gè)缺陷類別的熱力圖分布都較為寬泛，對(duì)于裂紋、補(bǔ)丁以及雜質(zhì)缺陷的特征敏感性較差；FSSD-MV2 算法雖然對(duì)于所有缺陷特征表達(dá)都具有識(shí)別能力，但其特征感知范圍仍然存在局限；相比于其他兩種算法，EFSSD-MV2 算法則具有更加完整全面的鋼表面缺陷捕獲能力，主要原因在于EFF 單元中合理運(yùn)用了特征融合與注意力機(jī)制，網(wǎng)絡(luò)模型的特征提取更加符合人類視覺。

圖5 算法改進(jìn)前后的類激活映射輸出對(duì)比Fig.5 Comparison of class activation mapping output before and after algorithm improvement

為了直觀展示鋼表面缺陷目標(biāo)檢測(cè)算法的有效性，本文分別對(duì)3 種算法進(jìn)行了樣例測(cè)試，檢測(cè)效果對(duì)比如圖6 所示。可以看出，SSDMV2 算法對(duì)于所有缺陷目標(biāo)均存在不同程度的漏檢問題，檢測(cè)效果不佳；FSSD-MV2 算法提高了裂紋、補(bǔ)丁以及雜質(zhì)缺陷的檢測(cè)質(zhì)量，但對(duì)于刮痕缺陷的檢測(cè)精度依然較低；而EFSSD-MV2算法能夠較為準(zhǔn)確地檢測(cè)出6 種常見的鋼表面缺陷，相比于其他兩種算法明顯改善了缺陷漏檢問題，對(duì)不同尺度的缺陷定位更加精準(zhǔn)，如樣例圖中雜質(zhì)與刮痕缺陷的算法測(cè)試結(jié)果對(duì)比；同時(shí)，該算法能夠檢測(cè)出更為細(xì)致的缺陷目標(biāo)，如算法對(duì)小目標(biāo)疤痕的有效定位。

圖6 算法改進(jìn)前后樣例的檢測(cè)效果對(duì)比Fig.6 Comparison of sample detection results before and after algorithm improvement

4 結(jié)論

本文以SSD 檢測(cè)模型為框架，提出一種輕量級(jí)鋼表面缺陷目標(biāo)檢測(cè)算法EFSSD-MV2。首先，在基礎(chǔ)特征融合結(jié)構(gòu)之后加入EFF 單元，其中AWF 模塊為不同層級(jí)的特征自適應(yīng)分配融合權(quán)重，SFE 模塊則重點(diǎn)關(guān)注融合特征在3 個(gè)方向的全局表達(dá)。而后，通過(guò)將先驗(yàn)框與真實(shí)框的整體交并特性應(yīng)用于IOU 閾值的自適應(yīng)計(jì)算，使模型在訓(xùn)練階段能夠獲得更為合適的數(shù)據(jù)樣本。最后，本文在公共數(shù)據(jù)集NEU-DET 上進(jìn)行了算法對(duì)比實(shí)驗(yàn)，并對(duì)影響實(shí)驗(yàn)結(jié)果的超參數(shù)進(jìn)行分析。結(jié)果表明，EFSSD-MV2 算法具有良好的鋼表面缺陷檢測(cè)性能，所提出的改進(jìn)方法對(duì)算法檢測(cè)精度的提升是十分有效的。下一步將開展高效特征融合結(jié)構(gòu)的研究，從而以更少的計(jì)算開銷提升算法的檢測(cè)精度。