結(jié)合特征融合與分離的帶鋼表面缺陷檢測(cè)方法

段佳佳

（太原師范學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，晉中 030619）

0 引言

現(xiàn)有工業(yè)場(chǎng)景下，鋼鐵表面包括但不限于龜裂、雜質(zhì)、斑塊、麻坑面、氧化鐵皮壓入、劃痕等類型的缺陷。缺陷類型不僅多樣復(fù)雜，而且存在缺陷特征不明顯和特征復(fù)雜的問題。

眾所周知，有標(biāo)簽數(shù)據(jù)挖掘通常能夠帶來非常高的準(zhǔn)確率，但數(shù)據(jù)收集耗時(shí)費(fèi)力，成本高；無標(biāo)簽數(shù)據(jù)挖掘成本低，但產(chǎn)生的結(jié)果可信度較低。因此，半監(jiān)督學(xué)習(xí)（Semi-Supervised Learning）成為了研究的熱潮。半監(jiān)督學(xué)習(xí)可以用少量的有標(biāo)簽數(shù)據(jù)和大量的無標(biāo)簽數(shù)據(jù)進(jìn)行學(xué)習(xí)，不僅可以獲得比無監(jiān)督更加準(zhǔn)確可信的結(jié)果，而且可以降低學(xué)習(xí)成本。

深度學(xué)習(xí)中的半監(jiān)督方法可分為五種：①一致性正則化、圖、生成式、混合式和偽標(biāo)簽［1］，一致性正則化方法是指即使樣本注入噪聲，分類器的預(yù)測(cè)結(jié)果也不會(huì)發(fā)生顯著變化，因此，通過將預(yù)測(cè)結(jié)果和擾動(dòng)后的結(jié)果間的損失正則化，即可提高模型的泛化能力。②基于圖的方法，是將數(shù)據(jù)集構(gòu)建為圖，每個(gè)節(jié)點(diǎn)表示一個(gè)訓(xùn)練數(shù)據(jù)，通過構(gòu)建圖節(jié)點(diǎn)間的邊緣或節(jié)點(diǎn)向量的相似性來進(jìn)行分類，但在定位任務(wù)上的效果有待進(jìn)一步挖掘。③生成式方法，是利用數(shù)據(jù)的隱式特征，使生成假設(shè)的標(biāo)簽?zāi)芘c真實(shí)分布相吻合，從而達(dá)到較高的性能，但是需要較充足的先驗(yàn)知識(shí)。④偽標(biāo)簽學(xué)習(xí)具有標(biāo)簽數(shù)據(jù)學(xué)習(xí)的特點(diǎn)，將之應(yīng)用到無標(biāo)簽數(shù)據(jù)中，可以生成數(shù)據(jù)的近似標(biāo)簽，稱之為偽標(biāo)簽；模型通過標(biāo)簽數(shù)據(jù)和偽標(biāo)簽數(shù)據(jù)進(jìn)行訓(xùn)練，從而達(dá)到學(xué)習(xí)的目的。⑤混合式方法，是通過將偽標(biāo)簽、一致性正則化和熵最小化的思想相融合，以達(dá)到提高模型性能的效果，但實(shí)現(xiàn)難度高。

上述深度學(xué)習(xí)中的各類半監(jiān)督方法在執(zhí)行圖像目標(biāo)檢測(cè)任務(wù)時(shí)，數(shù)據(jù)處理大多依賴于數(shù)據(jù)增強(qiáng)和數(shù)據(jù)轉(zhuǎn)換，但是大多數(shù)情況下，數(shù)據(jù)的增強(qiáng)和轉(zhuǎn)換并不容易生成。由于偽標(biāo)簽方法不受數(shù)據(jù)格式的約束，獲取數(shù)據(jù)偽標(biāo)簽的方法也容易獲得，因此本文采用偽標(biāo)簽方法來實(shí)現(xiàn)半監(jiān)督學(xué)習(xí)。

半監(jiān)督方法在圖像分類和語義檢測(cè)領(lǐng)域的應(yīng)用相對(duì)較多，但在目標(biāo)檢測(cè)領(lǐng)域的應(yīng)用則相對(duì)較少。2013年，Lee［2］提出使用無標(biāo)簽和有標(biāo)簽數(shù)據(jù)同時(shí)參與訓(xùn)練，并在半監(jiān)督分類領(lǐng)域獲得了當(dāng)時(shí)的最佳效果，但僅限于分類任務(wù)。2019年，Jeong等［3］提出了用于目標(biāo)檢測(cè)的半監(jiān)督協(xié)同學(xué)習(xí)方法，該方法不僅可以同時(shí)用于單階段和多階段目標(biāo)檢測(cè)，而且可以通過獲取圖片間的位置或特征一致性損失，進(jìn)行分類和定位的預(yù)測(cè)。2020年，Sohn等［4］提出了目標(biāo)檢測(cè)的一種簡(jiǎn)單的半監(jiān)督學(xué)習(xí)方法STAC，該方法首先用標(biāo)注數(shù)據(jù)訓(xùn)練一個(gè)模型，然后使用該模型對(duì)無標(biāo)簽數(shù)據(jù)進(jìn)行預(yù)測(cè)，最后將以預(yù)測(cè)結(jié)果為偽標(biāo)簽的數(shù)據(jù)和標(biāo)注數(shù)據(jù)一起用于訓(xùn)練新的模型，構(gòu)建了簡(jiǎn)單的半監(jiān)督目標(biāo)檢測(cè)機(jī)制。2021年，Liu等［5］提出的unbiased teacher方法，是端到端的目標(biāo)檢測(cè)方法，不僅證實(shí)了目標(biāo)檢測(cè)中類別不平衡的問題會(huì)影響偽標(biāo)簽的可靠性，而且有效地解決了背景和前景分類時(shí)存在的類別不平衡問題，從而提高了半監(jiān)督模型的預(yù)測(cè)準(zhǔn)確性。同年，Xu等［6］提出了Softteacher目標(biāo)檢測(cè)方法，實(shí)現(xiàn)了使用教師和學(xué)生模型一同訓(xùn)練的端到端的目標(biāo)檢測(cè)方法，在此基礎(chǔ)上提出了軟教師和抖動(dòng)框的方法，將目標(biāo)檢測(cè)的平均精度均值提升到現(xiàn)有半監(jiān)督目標(biāo)檢測(cè)方法的最高水平。盡管如此，偽標(biāo)簽可靠性的問題依然存在。

針對(duì)鋼鐵表面缺陷檢測(cè)的實(shí)際應(yīng)用需求和半監(jiān)督目標(biāo)檢測(cè)領(lǐng)域中偽標(biāo)簽可靠性較低的問題，本文在Softteacher模型的基礎(chǔ)上，對(duì)Softteacher中用于目標(biāo)檢測(cè)的FFRCNN網(wǎng)絡(luò)的特征融合機(jī)制和用于偽標(biāo)簽可靠性評(píng)價(jià)的評(píng)價(jià)機(jī)制進(jìn)行改進(jìn)，并將之用于帶鋼表面缺陷的檢測(cè)。

首先，Softteacher模型在應(yīng)用于鋼鐵表面缺陷檢測(cè)時(shí)，由于鋼材缺陷類型多樣帶來的特征不明顯問題，使得模型整體平均準(zhǔn)確度均值有所降低。而卷積神經(jīng)網(wǎng)絡(luò)使用不同的卷積核能得到不同的特征圖，因此，將FFRCNN網(wǎng)絡(luò)的特征融合機(jī)制改為采用并行多分支結(jié)構(gòu)，可以盡可能避免特征丟失帶來的損失；其次，Softteacher屬于半監(jiān)督學(xué)習(xí)方法，因此，生成滿足一定精確度和可靠性偽標(biāo)簽的機(jī)制是其至關(guān)重要的一環(huán)。在Softteacher模型中，數(shù)據(jù)的偽標(biāo)簽采用基于閾值的硬篩選方法生成，但可靠性不足。因此，改進(jìn)其偽標(biāo)簽生成機(jī)制，提高偽標(biāo)簽的可靠性，可以有效提高Softteacher模型的整體性能。

1 Softteacher鋼鐵表面缺陷檢測(cè)方法

本節(jié)介紹Softteacher模型用于鋼鐵表面缺陷檢測(cè)的檢測(cè)流程，所采用的FFRCNN網(wǎng)絡(luò)、損失函數(shù)以及抖動(dòng)框算法。

1.1 Softteacher半監(jiān)督目標(biāo)檢測(cè)流程

Softteacher是一種端到端的兩階段半監(jiān)督目標(biāo)檢測(cè)模型，通過在訓(xùn)練過程中逐漸提高目標(biāo)檢測(cè)模型準(zhǔn)確度和生成偽標(biāo)簽的質(zhì)量來提升模型的總體準(zhǔn)確度。該方法用于鋼鐵表面缺陷檢測(cè)的流程如圖1所示。

從數(shù)據(jù)流的角度對(duì)模型進(jìn)行分析，可以簡(jiǎn)單概括如下：

（1）數(shù)據(jù)集由標(biāo)簽數(shù)據(jù)和無標(biāo)簽數(shù)據(jù)組成。有標(biāo)簽數(shù)據(jù)進(jìn)行弱增強(qiáng)后輸入學(xué)生模型進(jìn)行有監(jiān)督訓(xùn)練，經(jīng)過有監(jiān)督訓(xùn)練后的學(xué)生模型通過EMA參數(shù)更新，將學(xué)生模型的權(quán)重參數(shù)傳遞給教師模型，進(jìn)行教師模型學(xué)習(xí)。

（2）無標(biāo)簽數(shù)據(jù)進(jìn)行強(qiáng)增強(qiáng)后輸入學(xué)生模型，生成候選結(jié)果。

（3）無標(biāo)簽數(shù)據(jù)進(jìn)行弱增強(qiáng)后輸入教師模型，并通過更新權(quán)重參數(shù)后的教師模型進(jìn)行結(jié)果的預(yù)測(cè)，然后將預(yù)測(cè)結(jié)果通過NMS過濾，獲得初步偽標(biāo)簽。

（4）從分類數(shù)據(jù)流程來看，Softteacher模型通過高分?jǐn)?shù)閾值對(duì)初步偽標(biāo)簽進(jìn)行篩選以獲得偽框分類結(jié)果，并作為步驟（2）中生成的候選分類結(jié)果的標(biāo)簽，即學(xué)生模型所預(yù)測(cè)的無標(biāo)簽數(shù)據(jù)分類結(jié)果和教師模型預(yù)測(cè)的偽分類結(jié)果進(jìn)行計(jì)算，可獲得無標(biāo)簽數(shù)據(jù)預(yù)測(cè)的分類結(jié)果和分類損失，并將該分類損失和由學(xué)生模型訓(xùn)練而得的分類損失進(jìn)行加權(quán)，可得到最終的分類損失函數(shù)。

（5）從框回歸數(shù)據(jù)流程來看，模型通過方差濾波對(duì)步驟（3）獲得的初步偽標(biāo)簽進(jìn)行篩選，得到偽框回歸結(jié)果，并將該偽框作為步驟（2）中生成的候選框結(jié)果的標(biāo)簽，即學(xué)生模型所預(yù)測(cè)的無標(biāo)簽數(shù)據(jù)候選框結(jié)果和教師模型預(yù)測(cè)的偽框結(jié)果進(jìn)行計(jì)算，可得到無標(biāo)簽數(shù)據(jù)的預(yù)測(cè)框和框回歸損失，并將該回歸損失和由學(xué)生模型輸出的回歸損失進(jìn)行加權(quán)，可得到最終的框回歸損失函數(shù)。

（6）步驟（4）和步驟（5）得到的損失函數(shù)通過前饋權(quán)重參數(shù)更新，可使學(xué)生模型再次學(xué)習(xí)；同時(shí)，通過將學(xué)生模型的權(quán)重參數(shù)傳遞給教師模型，可對(duì)教師模型進(jìn)行權(quán)重參數(shù)更新。如此循環(huán)反復(fù)，逐漸提高整個(gè)模型的檢測(cè)準(zhǔn)確度。

從學(xué)習(xí)路線的角度對(duì)模型進(jìn)行分析，整個(gè)模型可以分解為教師流和學(xué)生流。

學(xué)生流模型利用有標(biāo)簽數(shù)據(jù)學(xué)習(xí)已有的標(biāo)簽數(shù)據(jù)的特點(diǎn)，這些特點(diǎn)在目標(biāo)檢測(cè)網(wǎng)絡(luò)中具體為深度學(xué)習(xí)網(wǎng)絡(luò)模型的權(quán)重參數(shù)，而這些權(quán)重參數(shù)可用于后續(xù)對(duì)無標(biāo)簽數(shù)據(jù)的偽標(biāo)簽進(jìn)行預(yù)測(cè)；學(xué)生流模型學(xué)習(xí)到的權(quán)重參數(shù)通過傳遞給教師流模型對(duì)無標(biāo)簽數(shù)據(jù)的偽標(biāo)簽進(jìn)行預(yù)測(cè)，并將預(yù)測(cè)所得的偽標(biāo)簽作為學(xué)生流模型中無標(biāo)簽數(shù)據(jù)的標(biāo)簽進(jìn)行仿監(jiān)督學(xué)習(xí)。這種學(xué)習(xí)機(jī)制，一方面可以使模型在學(xué)習(xí)有標(biāo)簽數(shù)據(jù)的同時(shí)充分利用無標(biāo)簽數(shù)據(jù)的信息；另一方面，可以有效提升數(shù)據(jù)的利用率。

1.2 FFRCNN網(wǎng)絡(luò)

Softteacher模型中的教師模型和學(xué)生模型采用的是由Faster R-CNN和FPN組成的FFRCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)。目標(biāo)檢測(cè)任務(wù)通常分為一階段方法和二階段方法兩種，其中，一階段方法注重提升速度，二階段方法則注重提升精度。FFRCNN是經(jīng)典的二階段網(wǎng)絡(luò)。顧名思義，二階段網(wǎng)絡(luò)將目標(biāo)檢測(cè)任務(wù)分為兩個(gè)階段進(jìn)行。第一階段先找出數(shù)據(jù)圖片中目標(biāo)物體的anchor錨框，然后將待測(cè)物體從背景中分離出來；第二階段則對(duì)前景內(nèi)的物體進(jìn)行分類。

FFRCNN模 型 可 分 為backbone、neck和head三個(gè)部分，其結(jié)構(gòu)如圖2所示。其中，backbone部分使用深度為101層的Resnet網(wǎng)絡(luò)［7］提取特征；neck為backbone和head之間的連接部分，采用特征金字塔結(jié)構(gòu)，通過對(duì)每一層不同尺度的特征進(jìn)行保留，可以更好地利用backbone提取的特征，并有效避免特征丟失；head部分利用neck層輸出的特征對(duì)檢測(cè)目標(biāo)進(jìn)行預(yù)測(cè)和分類，與FFRCNN模型中的RPN和Roi pooling相對(duì)應(yīng)。

1.3 損失函數(shù)及框抖動(dòng)算法

Softteacher中采用的損失函數(shù)為

式（1）中的Ls和Lu分別表示帶標(biāo)簽數(shù)據(jù)和不帶標(biāo)簽數(shù)據(jù)的損失，系數(shù)α表示無監(jiān)督教師模型的指導(dǎo)貢獻(xiàn)度。

教師機(jī)制通過教師模型生成的偽標(biāo)簽指導(dǎo)學(xué)生模型學(xué)習(xí)無標(biāo)簽數(shù)據(jù)的特征，其產(chǎn)生的預(yù)測(cè)結(jié)果即為無標(biāo)簽數(shù)據(jù)的偽標(biāo)簽。用偽標(biāo)簽的分類損失對(duì)學(xué)生模型的損失函數(shù)進(jìn)行加權(quán)，可以起到指導(dǎo)學(xué)習(xí)的作用。

教師模型和學(xué)生模型對(duì)應(yīng)的損失函數(shù)分別為

式中的Iil表示第i幅有標(biāo)簽的圖像，Iiu表示第i幅無標(biāo)簽的圖像，Lcls為分類損失，Lreg為框回歸損失，Nl和Nu分別表示有標(biāo)簽和無標(biāo)簽圖片的數(shù)量。

對(duì)于目標(biāo)檢測(cè)偽框的生成，Softteacher采用框抖動(dòng)［8］（Box Jittering）進(jìn)行篩選。傳統(tǒng)半監(jiān)督學(xué)習(xí)通過分類置信度值對(duì)預(yù)測(cè)偽框進(jìn)行評(píng)價(jià)和篩選，并將分類置信度高的偽框作為最終的篩選結(jié)果。但文獻(xiàn)［8］和文獻(xiàn)［9］證明，標(biāo)簽的篩選不能單一地由置信度的高低來評(píng)判，因?yàn)橹眯哦容^低的預(yù)測(cè)結(jié)果中同樣存在對(duì)模型訓(xùn)練有利的可靠結(jié)果。因此，采用框抖動(dòng)中的方差濾波對(duì)偽標(biāo)簽進(jìn)行篩選可以有效改善偽標(biāo)簽的可靠性。以下是用來篩選抖動(dòng)框的方差濾波算法：

式（4）中σk是提取抖動(dòng)框集合{bi,j}中第k個(gè)坐標(biāo)的標(biāo)準(zhǔn)推導(dǎo)規(guī)則，是σk的歸一化，h(bi)和w(bi)分別為候選框bi的高和寬，為候選框bi的抖動(dòng)框回歸方差均值，也是抖動(dòng)框生成的依據(jù)。

2 Softteacher模型改進(jìn)

對(duì)Softteacher模型的改進(jìn)包括兩個(gè)方面：一是對(duì)FFRCNN網(wǎng)絡(luò)的改進(jìn)，采用了特征融合的方法，即將原有的串行結(jié)構(gòu)改為并行多分支結(jié)構(gòu)，對(duì)特征進(jìn)行多次提取后再對(duì)應(yīng)相加進(jìn)行融合，以避免FFRCNN網(wǎng)絡(luò)由于數(shù)據(jù)特征不明顯所導(dǎo)致的網(wǎng)絡(luò)結(jié)構(gòu)中特征丟失的問題，降低數(shù)據(jù)在訓(xùn)練過程中特征的丟失率；二是對(duì)偽標(biāo)簽生成規(guī)則的改進(jìn)，采用了特征分離的方法，即通過并行多分支結(jié)構(gòu)多次生成偽標(biāo)簽，然后利用多次偽標(biāo)簽結(jié)果間的特征值不穩(wěn)定性調(diào)整偽標(biāo)簽，以實(shí)現(xiàn)通過特征分離來增強(qiáng)偽標(biāo)簽可靠性和確定性的功能。

2.1 FFRCNN網(wǎng)絡(luò)改進(jìn)

鑒于FFRCNN網(wǎng)絡(luò)自身的特性以及帶鋼表面缺陷特征復(fù)雜及難分辨的特點(diǎn)，對(duì)FFRCNN網(wǎng)絡(luò)的改進(jìn)需要從多尺度特征融合的角度，分別對(duì)backbone、neck及head三部分進(jìn)行優(yōu)化實(shí)現(xiàn)。核心在于將特征提取的串行結(jié)構(gòu)改為并行多路分支結(jié)構(gòu)，并將之融合。

在Softteacher模型的FFRCNN網(wǎng)絡(luò)中，C1由7×7的卷積核、64層通道、步數(shù)為2，以及加邊數(shù)padding為3的卷積塊組成，后經(jīng)下采樣層輸出到從左到右的四層殘差模塊中，這四層殘差模塊分別對(duì)應(yīng)于圖2中的C2-C5部分。在neck部分的特征金字塔結(jié)構(gòu)中，其第一層P2-P5是由對(duì)應(yīng)的C2-C5進(jìn)行1×1的卷積操作，同時(shí)對(duì)P5至P2經(jīng)過下采樣操作后與對(duì)應(yīng)的P結(jié)構(gòu)相加得到；第二層P2-P5則由對(duì)應(yīng)第一層的P2-P5進(jìn)行3×3卷積獲得，而P6則通過在P5上使用1×1步長(zhǎng)為2的最大池化進(jìn)行下采樣后得到。head部分的輸入為最后一層的P2-P6，這一層所有的通道數(shù)都為256，因此可進(jìn)行融合，將其進(jìn)行3×3加邊數(shù)padding為1的感興趣區(qū)域提取操作后分為分類cls和回歸reg分支，進(jìn)行1×1的卷積操作，可分別得到分類和框預(yù)測(cè)的預(yù)測(cè)結(jié)果。改進(jìn)的Softteacher模型中的FFRCNN網(wǎng)絡(luò)如圖3所示，改進(jìn)內(nèi)容涉及backbone、neck和head三個(gè)部分。backbone的構(gòu)造如表1所示，為Resnet101結(jié)構(gòu)。其中，表1中的C1-C5對(duì)應(yīng)于圖2和圖3中的C1-C5。

表1 Resnet101詳細(xì)構(gòu)造

backbone的改進(jìn)源于對(duì)網(wǎng)絡(luò)的深度和寬度的實(shí)驗(yàn)。為降低特征丟失率，對(duì)backbone的主干網(wǎng)絡(luò)進(jìn)行了深度和寬度的增加，并將原有的串行結(jié)構(gòu)改成了并行的多分支結(jié)構(gòu)，以實(shí)現(xiàn)對(duì)特征圖的多尺度特征融合。首先，對(duì)共享的C1部分增加寬度，將其由原來的一層變?yōu)槿龑樱荚趯?duì)特征進(jìn)行多次提?。黄浯?，對(duì)殘差模塊（C2-C5）擴(kuò)展寬度，將其由原來的一層擴(kuò)展為三層，輸出則采用三次結(jié)果相加的策略，可對(duì)輸入特征圖空間的維度進(jìn)行有效壓縮；最后，聚合空間信息，將不同次提取的特征相結(jié)合，實(shí)現(xiàn)多路特征融合，減少特征丟失。

neck部分的改進(jìn)源于對(duì)特征金字塔寬度影響的實(shí)驗(yàn)，改進(jìn)后的neck結(jié)構(gòu)如圖4所示。實(shí)驗(yàn)首先將原來的一層寬FPN增加為兩層，然后對(duì)圖3中的C2-C5特征分別進(jìn)行多分支特征提取，最后將分支結(jié)果相加并均值化，其目的是防止特征值域溢出。這樣的操作由于特征金字塔寬度的增加以及融合了多個(gè)尺度的特征而減少了特征的丟失。

改進(jìn)后的FFRCNN網(wǎng)絡(luò)會(huì)在neck部分生成P2-P6的特征圖，并將其輸入到head。head將輸入的特征圖通過RPN生成特征圖的候選區(qū)域，而后通過對(duì)由感興趣區(qū)域提取的特征圖進(jìn)行池化得到最終的特征圖，并用于分別預(yù)測(cè)分類和框結(jié)果。在原h(huán)ead的基礎(chǔ)上增加感興趣區(qū)域特征提取的寬度，并進(jìn)行兩次感興趣區(qū)域特征的提取后，先將兩次提取的特征進(jìn)行融合，然后再進(jìn)行最后的全連接層預(yù)測(cè)。改進(jìn)后的head如圖3中的head部分所示。

2.2 偽標(biāo)簽生成規(guī)則改進(jìn)

半監(jiān)督學(xué)習(xí)的難點(diǎn)在于如何評(píng)價(jià)偽標(biāo)簽生成的可靠性。在已有的偽標(biāo)簽生成方法［10-14］中，大多都以高閾值對(duì)偽標(biāo)簽進(jìn)行硬篩選，導(dǎo)致分?jǐn)?shù)低的結(jié)果無法對(duì)模型產(chǎn)生影響。而實(shí)際的情況是，偽標(biāo)簽分類分?jǐn)?shù)的高低與框定位精度之間的關(guān)系并不表現(xiàn)為強(qiáng)正相關(guān)。因此，采用硬篩選方法所生成的偽標(biāo)簽并不可靠。

收集候選偽框的抖動(dòng)框方法由Softteacher提出［6］，該方法用抖動(dòng)框?qū)慰蜻M(jìn)行回歸方差計(jì)算，并通過回歸方差對(duì)偽框進(jìn)行校正，有效改善了偽標(biāo)簽的可靠性。

抖動(dòng)框的選取依賴于感興趣區(qū)域特征的提取，而多次提取的結(jié)果之間有較小的振動(dòng)，因此，通過對(duì)比兩次抖動(dòng)框回歸的結(jié)果，并用兩次回歸方差間的差值對(duì)抖動(dòng)框進(jìn)行校正調(diào)整，可以有效減小抖動(dòng)框抖動(dòng)帶來的誤差，進(jìn)一步增強(qiáng)抖動(dòng)框的可靠性。

基于上述考慮，偽標(biāo)簽生成規(guī)則的改進(jìn)采用了特征分離的策略。首先，構(gòu)建了并行的多分支結(jié)構(gòu)，用以對(duì)感興趣區(qū)域的特征進(jìn)行提取；其次，在框抖動(dòng)算法的基礎(chǔ)上，通過增加偽標(biāo)簽對(duì)比機(jī)制，對(duì)偽標(biāo)簽進(jìn)行軟篩選，提升偽標(biāo)簽的可靠性。

由于改進(jìn)后的偽標(biāo)簽生成規(guī)則利用了無標(biāo)簽數(shù)據(jù)不同預(yù)測(cè)結(jié)果特征圖之間特征值的差異性，而這種差異性能夠?qū)⒕哂胁煌A(yù)測(cè)結(jié)果的特征分離開來，并形成對(duì)比，因此，計(jì)算兩者之間的損失可得到預(yù)測(cè)結(jié)果特征圖之間的不可靠性，將該不可靠性與原有的框抖動(dòng)算法形成的損失進(jìn)行加權(quán)，可進(jìn)一步降低不可靠性，以下是生成偽標(biāo)簽時(shí)評(píng)價(jià)偽標(biāo)簽不可靠性的公式：

式（6）中的Luncertain代表生成的偽標(biāo)簽的不可靠性，是對(duì)偽標(biāo)簽進(jìn)行篩選的依據(jù)，是框抖動(dòng)算法中進(jìn)行方差回歸得到的歸一化結(jié)果，則是兩次歸一化結(jié)果的差值計(jì)算，用以提取兩次結(jié)果之間的不同特征間的振動(dòng)，進(jìn)一步減少生成偽標(biāo)簽的不確定性。

3 實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)擬驗(yàn)證以下兩點(diǎn)：

（1）相比于半監(jiān)督學(xué)習(xí)方法STAC、Selftraing和Unbiased-teacher，Softteacher方法在半監(jiān)督算法中具有優(yōu)勢(shì)，借鑒Softteacher思想，通過對(duì)其改進(jìn)并將改進(jìn)的方法用于帶鋼表面缺陷檢測(cè)具有理論與實(shí)踐意義；

（2）改進(jìn)后的Softteacher模型在帶鋼表面缺陷檢測(cè)上可行且有效。

3.1 實(shí)驗(yàn)環(huán)境

為了實(shí)驗(yàn)的便捷性和可依托性，本文的實(shí)驗(yàn)均在線上服務(wù)器進(jìn)行，采用了python語言、pytorch框架、mmdetection開源框架和Softteacher模型的開源框架。具體配置見表2。

表2 實(shí)驗(yàn)環(huán)境配置

3.2 不同半監(jiān)督方法性能比較

半監(jiān)督學(xué)習(xí)方法STAC、Self-traing和Unbiased-teacher性能之間的比較結(jié)果見表3，其中mAP為平均準(zhǔn)確度均值。

表3 不同半監(jiān)督方法的比較

實(shí)驗(yàn)數(shù)據(jù)采用coco2017中所有的帶標(biāo)簽數(shù)據(jù)。由于部分半監(jiān)督偽標(biāo)簽?zāi)繕?biāo)檢測(cè)方法對(duì)實(shí)驗(yàn)環(huán)境要求較高，表3中的數(shù)據(jù)引用了文獻(xiàn)［5-6］及文獻(xiàn)［15］中的實(shí)驗(yàn)結(jié)果。

實(shí)驗(yàn)結(jié)果表明，Softteacher的半監(jiān)督平均準(zhǔn)確度均值最高。

3.3 Softteacher改進(jìn)方法消融與橫向?qū)Ρ葘?shí)驗(yàn)

實(shí)驗(yàn)使用開源NEU-DET鋼材表面缺陷數(shù)據(jù)集中的NEU-DET數(shù)據(jù)集和NEU-CLS-64數(shù)據(jù)集。NEU-DET數(shù)據(jù)集用作bbox目標(biāo)檢測(cè)數(shù)據(jù)集，包含六種缺陷，對(duì)應(yīng)缺陷的圖像示例如圖5所示。其中，每種缺陷類有300張圖像，共計(jì)1800張；而NEU-CLS-64包含九種缺陷類型的無標(biāo)簽數(shù)據(jù)集，共計(jì)7226張。

為方便比較，實(shí)驗(yàn)時(shí)對(duì)NEU-CLS-64中的數(shù)據(jù)只考慮其與NEU-DET數(shù)據(jù)集中缺陷類型相同的六種缺陷。首先，將NEU-DET數(shù)據(jù)集分為訓(xùn)練集和驗(yàn)證集，劃分比例為1.7∶1，劃分后的數(shù)量分別為訓(xùn)練集1134張，驗(yàn)證集666張；將NEU-CLS-64數(shù)據(jù)集中的數(shù)據(jù)視為無標(biāo)簽數(shù)據(jù)，數(shù)量為6292張。

消融實(shí)驗(yàn)對(duì)比結(jié)果見表4。表4中mAP50為當(dāng)預(yù)測(cè)框和真實(shí)框（或偽框）重疊度IoU大于等于50且小于75時(shí)平均帶鋼表面缺陷檢測(cè)精確度均值mAP的值；mAPs為小目標(biāo)平均精確度均值；mAPml為中目標(biāo)和大目標(biāo)平均精確度均值；Acc代表帶鋼數(shù)據(jù)檢測(cè)精確度。

表4 消融實(shí)驗(yàn)對(duì)比 %

從 表4中 的baseline和baseline+uncertain的對(duì)比結(jié)果可以發(fā)現(xiàn)，采用改進(jìn)后的偽標(biāo)簽生成規(guī)則比原模型的mAP50和mAPs分別提高0.9和1.7個(gè)百分點(diǎn)，mAPml下降1.3個(gè)百分點(diǎn)，Acc保持不變。該結(jié)果說明，結(jié)合了特征分離的偽標(biāo)簽生成規(guī)則，能夠在檢測(cè)精確度不變的情況下，提升小目標(biāo)精確度的均值，且對(duì)整體性能有正向效果。

表4中baseline+uncertain與baseline+uncertain+FFRCNN的對(duì)比結(jié)果顯示，采用特征融合機(jī)制改進(jìn)后的FFRCNN網(wǎng)絡(luò)對(duì)模型整體性能有提升效果。相比于原模型的mAP50、mAPs和Acc分別提高0.6、1.7和1個(gè)百分點(diǎn)。說明改進(jìn)后的FFRCNN結(jié)構(gòu)，不僅能夠提升小目標(biāo)精確度的均值，而且能夠有效提升檢測(cè)的精確度。

橫向?qū)Ρ葘?shí)驗(yàn)的結(jié)果如表5所示。將NEUDET數(shù)據(jù)集用于不同的半監(jiān)督方法時(shí)，使用unbiased-teacher方法的平均精度均值可達(dá)到38.1，而使用Softteacher模型的平均精度均值可達(dá)到67，平均精度均值的顯著提升再次顯示了Softteacher模型的優(yōu)越性。

表5 橫向?qū)嶒?yàn)對(duì)比 %

與Softteacher模型相比，改進(jìn)后Softteacher模型由于改進(jìn)了特征融合機(jī)制，增加了特征分離機(jī)制，使其mAP50、mAPs和Acc都有所提升，分別提升了1.5、3.4和1個(gè)百分點(diǎn)。

綜上所述，對(duì)于具有小目標(biāo)檢測(cè)特性的帶鋼表面檢測(cè)任務(wù)，改進(jìn)后的Softteacher模型適用且有效。

4 結(jié)語

本文選擇半監(jiān)督學(xué)習(xí)的方式來檢測(cè)帶鋼表面的缺陷，采用了目前半監(jiān)督目標(biāo)檢測(cè)領(lǐng)域內(nèi)效果最佳的Softteacher模型，旨在降低因標(biāo)記大量圖像而帶來的高成本問題。在Softteacher模型框架不變的基礎(chǔ)上，對(duì)Softteacher中的教師和學(xué)生模型進(jìn)行了改進(jìn)，采用特征融合機(jī)制，通過將Softteacher模型中的FFRCNN網(wǎng)絡(luò)的串行結(jié)構(gòu)改為并行多分支結(jié)構(gòu)，避免了缺陷特征由于不明顯或不易辨識(shí)而導(dǎo)致特征丟失的問題；在原有框抖動(dòng)算法的基礎(chǔ)上，通過增加基于特征分離的生成規(guī)則，提升了偽標(biāo)簽的可靠性。在NEU數(shù)據(jù)集上進(jìn)行的消融實(shí)驗(yàn)和橫向?qū)Ρ葘?shí)驗(yàn)從不同的角度驗(yàn)證了改進(jìn)后的Softteacher模型的實(shí)用性與有效性。