基于雙動態(tài)頭Sparse R-CNN的表面缺陷檢測算法

鄭亞睿,蔣三新

(上海電力大學(xué)電子與信息工程學(xué)院,上海 201306)

0 引言

在工業(yè)生產(chǎn)中,產(chǎn)品的表面缺陷檢測至關(guān)重要。如何高效找出缺陷,保證產(chǎn)品的產(chǎn)量和良品率,一直是研究熱點。目前,傳統(tǒng)人工篩選缺陷的方法已逐步被機器視覺自動檢測器替代,然而,機器視覺算法[1-4]聚焦在構(gòu)建模式識別器,沒有從缺陷圖像中學(xué)習(xí)到有效特征,復(fù)用性不大,很難對各類缺陷進行遷移。

近年來,基于深度學(xué)習(xí)的算法由于強大的特征提取能力在各領(lǐng)域得到廣泛應(yīng)用,給缺陷檢測帶來了新思路[5]。D. Weimer等[6]提出了用于工業(yè)故障檢測的深度CNN架構(gòu),可以區(qū)分重紋理背景下的表面劃痕,并建立了具有少量先驗知識的產(chǎn)品交付檢測系統(tǒng);J. Shi等[7]提出了一種多通道掩模區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)來解決木材表面缺陷的問題,并使用快速瀏覽網(wǎng)格來確定圖像是否適合進一步的檢測,減少了檢測時間;B. Su等[8]采用Faster R-CNN+FPN作為基本探測器,將一種新的雙向注意特征金字塔網(wǎng)絡(luò)(BAFPN)集成到RPN中,檢測光伏電池的缺陷;T. Nakazawa 等[9]通過使用28 600幅合成的22類晶圓圖對CNN進行預(yù)訓(xùn)練,實現(xiàn)對真實晶圓圖像的高精度識別,并且設(shè)計的模型能夠在沒有真實數(shù)據(jù)的情況下實現(xiàn)對罕見事件的檢測,這可以幫助技術(shù)階段的開發(fā)。

表面缺陷檢測任務(wù)是目標檢測的一個分支。當前主要的目標檢測模型,無論是基于一階段的YOLO[10]、RetinaNet[11],還是兩階段的Faster R-CNN[12]、Cascade R-CNN[13]等都設(shè)置了密集的候選預(yù)測框,需要非極大值抑制(Non-Maximum Suppression,NMS)[14]來處理這些冗余,增加了計算成本。并且雖然NMS過程中處理了重復(fù)識別問題,但是對于重疊目標和相近目標,會因為置信度較低沒有正確識別出來。DETR[15]是去除NMS,使用標簽比配進行端到端預(yù)測的模型,但是由于其基于Transformer架構(gòu),模型體量較大,收斂非常緩慢。對此,根據(jù)以上問題,提出雙動態(tài)頭Sparse-RCNN算法,去掉了區(qū)域提議網(wǎng)絡(luò)(region proposal network,RPN)[12]、NMS等人工設(shè)計的組件,進行缺陷目標的稀疏預(yù)測。有如下貢獻:

(1)改進了缺陷圖像的特征提取。體現(xiàn)在2個部分:在網(wǎng)絡(luò)頸部特征金子塔網(wǎng)格和特征提取動態(tài)頭配合對缺陷進行尺度和空間的感知;在檢測頭部分針對多頭注意力后期注意力圖相似度高的問題,提出了交流注意力模塊,混合各頭部信息,提高缺陷特征的細節(jié)提取。

(2)提出多分支的動態(tài)實例交互頭,并用“雙查詢”方式取代RPN的密集預(yù)測方式,去除了NMS操作,實現(xiàn)端到端的預(yù)測。

(3)改進了邊界框回歸損失函數(shù),使用Alpha-CIoU[16]加速邊界框收斂,提高檢測精度。

1 算法介紹

本文算法的總體結(jié)構(gòu)見圖1,主要分為3個階段,第1階段首先使用ResNet骨干網(wǎng)絡(luò)進行圖像的基本特征提取,然后輸入網(wǎng)絡(luò)頸部,由特征金字塔網(wǎng)格與特征提取動態(tài)頭進行不同尺度和空間的特征感知。第2階段是網(wǎng)絡(luò)的檢測頭部分,包含動態(tài)實例交互頭和2個特殊的提議,提議框和提議特征,是本算法的核心部分,稱為“雙查詢”操作,具體定義如下:

圖1 雙動態(tài)頭Sparse R-CNN模型總體結(jié)構(gòu)

(1)可學(xué)習(xí)的提議框。網(wǎng)絡(luò)中使用一組固定的可學(xué)習(xí)提議框進行區(qū)域提議,替代了用區(qū)域提議網(wǎng)絡(luò)RPN進行大量預(yù)測。提議框由四維參數(shù)表示,分別為中心橫縱坐標、高度以及寬度,參數(shù)在訓(xùn)練中通過反向傳播進行更新。這些可學(xué)習(xí)的提議框可看作是訓(xùn)練集潛在目標位置的統(tǒng)計數(shù)據(jù),是圖像中最可能包含目標的區(qū)域的初始猜測。

(2)可學(xué)習(xí)的提議特征。雖然提議框的四維信息提供了物體的大致定位,但是缺失了大量細節(jié)信息,如姿態(tài)、形狀。故引入提議特征(N×d,N是提議特征的數(shù)量,d是維數(shù)),數(shù)量與提議框相同,是一個高維潛在向量,包含豐富的實例特征。最后一階段是標簽匹配算法,進行預(yù)測集和標注集信息的一一匹配。本文首先詳細介紹特征金字塔網(wǎng)格與特征提取動態(tài)頭模塊,然后是提出的交流注意力模塊和動態(tài)實例交互頭的細節(jié),最后說明標簽匹配算法與改進的損失函數(shù)部分。

1.1 改進的網(wǎng)絡(luò)頸部架構(gòu)

原Sparse R-CNN網(wǎng)絡(luò)頸部僅使用特征金字塔(feature pyramid networks,FPN)進行多尺度特征融合,本文改進為更深層的特征金字塔網(wǎng)格(feature pyramid grids,FPG)[17]和特征提取動態(tài)頭結(jié)合的模塊。

1.1.1 特征金字塔網(wǎng)格

特征金字塔網(wǎng)格是一個多路深層改進的特征金字塔,將特征尺度空間表示為規(guī)則網(wǎng)格,并由多路的橫向連接融合,從而實現(xiàn)各層次的信息交換。如圖2所示,存在兩種主干通路以及4 種橫向連接,具體連接方式如下:

圖2 特征金子塔網(wǎng)格結(jié)構(gòu)圖

主干通路相同尺度的特征張量屬于一個網(wǎng)絡(luò)階段,特征張量的空間步長從前到后逐漸增大。金字塔通路代表跨尺度的信息。從最高分辨率階段到最低分辨率階段,以自底向上的方式構(gòu)建它們。首先,該通路的第一特征圖由對應(yīng)的高分辨率主干或金字塔級通過 1×1 橫向卷積連接實現(xiàn)。其次,下采樣后使用步長2的3×3卷積,在金字塔路徑中創(chuàng)建各個較低層次的特征圖。因此在各金字塔通路中,特征層次由多尺度的特征圖構(gòu)成,且各階段的空間分辨率與主干通路一致。

Across-same:將同一水平特征通過主干通路連接起來,通過在特征圖上使用1×1橫向卷積來投影特征,并使之與相鄰?fù)分邢鄳?yīng)的特征融合。

Across-up:直接連接構(gòu)建了跨水平的自底向上路徑,通過步長為2的3×3卷積將低層特征圖降采樣至一半大小,再與高層特征圖融合?？s短了低層特征到高層特征的路徑。

Across-down:通過整合向下的連接來實現(xiàn)自上而下的信息流。首先用2倍放縮比例的最近鄰插值對高層特征圖上采樣,然后利用 3×3 卷積使之變?yōu)榭蓪W(xué)習(xí)的,上采樣特征與下采樣特征融合。

Across-skip:為簡化如此寬泛網(wǎng)絡(luò)的訓(xùn)練,在相同層級的首個通路及其后一個通路之間使用1×1卷積添加了跳躍連接。

1.1.2 特征提取動態(tài)頭

缺陷圖像中多個不同尺度的物體經(jīng)常共存于一幅圖像中,并且物體可能在不同的視點下以不同的形狀出現(xiàn)。受文獻[18]的啟發(fā),本文將尺度和空間2種感知結(jié)合起來形成輕量化的特征提取動態(tài)頭,增強特征的提取,網(wǎng)絡(luò)結(jié)構(gòu)見圖3。如果把特征金字塔網(wǎng)格的輸出看作是Level×Space×Channel的三維張量,可以將兩種感知分別部署在每個特定維度上。尺度感知的模塊部署在維度上,學(xué)習(xí)不同的語義層次,根據(jù)單個目標的規(guī)模在適當?shù)膶哟紊显鰪娫撎卣??？臻g感知模塊部署在維度上(即高度×寬度)。它學(xué)習(xí)空間位置上的連貫區(qū)別表征。這樣,就實現(xiàn)了動態(tài)頭的統(tǒng)一感知機制。

圖3 特征提取動態(tài)頭結(jié)構(gòu)圖

首先,將特征金字塔網(wǎng)格輸出的特征圖通過不同倍數(shù)的上采樣統(tǒng)一到統(tǒng)一尺寸,表示為一個4維的張量F∈RLHWC,L表示金字塔層數(shù),H、W、C分別表示特征的高度、寬度和通道數(shù)。定義S=HW,張量重塑為F∈RLSC。

特征動態(tài)頭的總感知公式為

W(F)=πL(πS(F)·F)·F

(1)

式中:πL、πS為適用于維度L、S的不同感知函數(shù)。

πL、πS具體公式為:

(2)

(3)

式中:σ(·)為1×1卷積層近似的線性函數(shù);?(x)為hard sigmoid激活函數(shù),?(x)=max(0,min(1,(x+1/2)))。

πS首先使用可變形注意學(xué)習(xí)稀疏化,然后在相同的空間位置跨層聚合特征。其中,k是稀疏采樣點的數(shù)量,Δpk是空間位置偏移量,通過自學(xué)習(xí)空間補償來關(guān)注有區(qū)別的區(qū)域,Δmk是pk位置處的自學(xué)習(xí)重要標量。這兩種感知方式可以任意組合,實現(xiàn)不同效果的特征提取,本文動態(tài)頭由6個動態(tài)塊組成,采集圖像不同角度內(nèi)在信息。

1.2 改進的檢測頭架構(gòu)

原檢測頭中,使用多頭自注意力和單分支動態(tài)頭進行提議特征和提議框的交互,本文改進為交流注意力和多分支動態(tài)頭,增強模型特征匹配能力。

1.2.1 交流注意力

提議特征在輸入動態(tài)實例交互頭前,先經(jīng)過交流注意力模塊進行特征信息的梳理。

目前多頭注意力[19]中,不同的注意力頭進行單獨的計算,最后求和。隨著深度的增加,注意力頭每個塊之間學(xué)習(xí)到的注意力圖相似度逐漸升高,表達能力不足以完整建模原圖細節(jié)[20]。但是不同的注意力頭相似度較低,學(xué)習(xí)到了圖像不同的特征信息。

本文為了增強模型對圖像特征的提取能力,減少注意圖隨著深度增加的相似度。提出交流注意力(speaking-head attention,SHA),將多頭自注意力用一個參數(shù)矩陣重新融合成多個混合注意力,每個新的得到的混合注意力都融合了原先的各頭部的注意力,交流注意力的結(jié)構(gòu)如圖4所示。

圖4 交流注意力結(jié)構(gòu)

本文的SHA模塊輸入為Q(Query)、K(Key)、V(Value)。使各注意力頭部聯(lián)系起來的主要操作是在Query與Key矩陣運算之后,softmax操作之前插入一個可學(xué)習(xí)的參數(shù)矩陣,混合各注意力頭學(xué)習(xí)到的信息后,再與Value進行注意力計算。

具體計算公式如下:

(4)

(5)

SHA(Q,K,V)=concat(head0,…,headN)W1

(6)

式(4)為交流注意力計算。其中λ為可學(xué)習(xí)的參數(shù)矩陣,使用它將多頭注意力映射混合成重新生成的注意力映射,然后再進行softmax計算。

式(5)為各個注意力頭部的計算,式(6)為拼接各混合后頭部操作。

1.2.2 動態(tài)實例交互頭

動態(tài)實例交互頭是本算法的核心,它通過輸入特征映射、提議框和提議特征來生成預(yù)測對象的位置和特征,其分別和提議框、提議特征進行交互運算。

如圖5所示,本文改進了動態(tài)實例交互頭,通過GMP(全局最大池化)操作和一個全連接建立了一個分支網(wǎng)絡(luò),自適應(yīng)地校準特征。本文在整個模型中堆疊6個級聯(lián)動態(tài)頭,每個動態(tài)頭輸出的對象特征和提議框?qū)⒈挥米飨乱粋€階段的輸入,具體交互過程如下。

圖5 動態(tài)實例交互頭

首先給定N個提議框,使用RoIrEAligns操作提取每個提議框的特征,提取到的區(qū)域池化(ROI)特征的大小為(S×C×C)(設(shè)置S=7,C=256)。每個區(qū)域池化特征Pi(C)與其提議特征進行一一對應(yīng),通過“動態(tài)實例層”進行融合。首先,將區(qū)域池化特征調(diào)整為一個尺寸為(S2,C)的二維向量,作為“動態(tài)實例層”的輸入之一,并將提議特征直接輸入一個全連接中,得到“動態(tài)實例層”的長度參數(shù)(2×C′×C),其中C′是“動態(tài)通道”的超參數(shù)。然后將向量等分為(C′×C),重塑為二維向量(C,C′)和(C′,C),分別作為“參數(shù)P1”和“參數(shù)P2”。動態(tài)實例層分別對以上參數(shù)進行矩陣運算,每次運算后進行BN和ReLU激活輸出,最終得到融合特征,輸入進前饋網(wǎng)絡(luò)進行分類和定位。

1.3 標簽匹配算法與改進的損失函數(shù)

檢測網(wǎng)絡(luò)的最后一部分,本文使用了三層感知機和線性計算層組成兩個前饋網(wǎng)絡(luò)來預(yù)測缺陷的類別和邊界框。分類信息由softmax函數(shù)輸出,邊界框信息存于一個預(yù)測集合中,由N個固定大小的元素組成,分別為每個查詢(Query)學(xué)習(xí)到綁定的目標位置信息。這并不意味著每個圖像需要檢測到N個目標,而是在學(xué)習(xí)中,使用匈牙利二分圖匹配算法將輸出的N個預(yù)測信息與真實的標注信息進行一一匹配,將標注中不存在的預(yù)測自動歸為背景處理。憑借特殊的匹配算法,不需要在輸出中使用非極大值抑制算法進行冗余框的處理。匈牙利二分圖匹配算法如下:

(7)

LHung是基于匹配結(jié)果計算損失的公式。當預(yù)測的N個預(yù)測目標與標注信息逐個匹配時,使用損失函數(shù)優(yōu)化。損失函數(shù)包括分類損失和邊界框損失,表示如下:

(8)

Lbox包括IoU損失和L1損失,它計算預(yù)測框和標注框之間的中心點和高度差。計算公式如下:

(9)

式中Liou為預(yù)測框和真實框之間的聯(lián)合交集(IoU),用于評估定位的精度。

原網(wǎng)絡(luò)使用了GIoU,但是當檢測框和真實框之間出現(xiàn)包含的現(xiàn)象時,GIoU就和IoU loss是同樣的效果。缺陷數(shù)據(jù)集缺陷跨越范圍大,并且非缺陷位置交錯分布,缺陷樣本形狀各異。為了提高缺陷定位的精度。本文引入Alpha-CIoU作為IoU loss,Alpha是將Box-Cox變換應(yīng)用于基礎(chǔ)的IoU中,公式為

(10)

式中:ρ2α(b,bgt)為預(yù)測框與標注框中心點坐標的歐式距離;c為包住它們的最小方框的對角線距離;v為度量長寬比的相似性函數(shù);β為權(quán)重函數(shù)。

Alpha的冪變換保留了作為性能度量的關(guān)鍵性質(zhì),包括非負性、不可分辨恒等式、對稱性和三角形不等式。使用Alpha冪指數(shù)加成的CIoU有如下優(yōu)點:

(1)可以梯度自適應(yīng)加權(quán)的邊界框回歸精度。

(2)α可作為調(diào)節(jié)α-CloU損失的超參數(shù)以滿足不同水平的邊界框回歸精度,其中α>1,通過更多地關(guān)注高IoU目標來獲得高的回歸精度。

(3)改進檢測器的效果,在干凈或嘈雜的環(huán)境下,不會引入額外參數(shù),也不增加訓(xùn)練/推理時間。

2 實驗結(jié)果與分析

為了評估本文算法的性能,本文將在多種表面缺陷數(shù)據(jù)集上與主流兩階段目標檢測算法Faster R-CNN、Cascade R-CNN、Sparse R-CNN[21]進行對比實驗。研究實驗在配備了NVIDIA Tesla P100 GPU的Ubuntu操作系統(tǒng)下,采用Mmdetection深度學(xué)習(xí)框架構(gòu)建網(wǎng)絡(luò)。對所有訓(xùn)練情況,使用圖像翻轉(zhuǎn)和旋轉(zhuǎn)的增強來增加多樣性,并使用AdamW優(yōu)化器進行優(yōu)化,學(xué)習(xí)率為0.0001,設(shè)置動量為0.9。

2.1 數(shù)據(jù)集

采用晶圓表面缺陷數(shù)據(jù)集(wafer defect dataset,WDD)和熱軋鋼表面缺陷公開數(shù)據(jù)集(NEU-DET)訓(xùn)練和測試網(wǎng)絡(luò)性能。 WDD和NEU-DET的樣本分布情況分別見表1、表2。其中,WDD包含6 000張樣本(分辨率為512像素×512像素),11類缺陷,分別為:外部異物(Foreign)、金屬殘余(Gold)、缺損(Incomp)、凸起腫塊(Lump)、液體殘余(Residual)、劃傷(Scratch)、漏刻蝕(UBM)和4種原料不良(Raw I、Raw II、Raw III、Raw IV)。NEU-DET包含1 800張樣本(分辨率為200像素×200像素),6類缺陷,分別為:氧化鐵皮(Rolled in scale),色斑(Patch),裂紋(Cracking),坑面(Pitted surface),雜質(zhì)(Inclusion)和劃傷(Scratch)。

表1 WDD中各缺陷樣本分布

表2 NEU-DET中各缺陷樣本分布

2.2 評估方法

為了評估檢測器的性能,使用了4個指標,分別為平均精度(average precision,AP)、平均不確定識別率(average dibious,AD)、平均遺漏率(average missed,AM)和平均誤檢率(average error,AE),其計算方法如下:

(11)

式中:Nc、Nw、Nd、Nm分別為這些缺陷對應(yīng)的正確判斷、錯誤判斷、不確定識別、遺漏的樣本數(shù);Nall為樣本總數(shù)。

為了評價該模型對所有類型缺陷的性能,提出了4個綜合指標:綜合平均精度(mean AP,mAP)、綜合平均誤檢率(mean AE,mAE)、綜合平均不確定識別率(mean AD,mAD)和綜合平均漏檢率(mean AM,mAM)。

(12)

(13)

式中:c為缺陷類別的數(shù)量,αi為i型缺陷的權(quán)重,即型缺陷樣本在總樣本中的比例。

2.3 性能評估

2.3.1 網(wǎng)絡(luò)收斂

如圖6(a)所示,本文算法與同樣使用標簽匹配方法的端到端檢測器DETR和兩階段網(wǎng)絡(luò)Faster R-CNN進行了收斂對比,相比DETR的150epoch才能達到收斂,本文算法收斂速度顯著提升,36epoch時即達到收斂,并且對于同樣能快速收斂的Faster R-CNN來說,本文算法在同樣的epoch有著更高的檢測精度。圖6(b)為邊界框的收斂情況,本文方法得益于Alpha-CIoU得到改善,在14epoch時已達到收斂,優(yōu)于原Sparse R-CNN的24epoch。

(a)AP曲線收斂對比

2.3.2 缺陷檢測實驗

表3為Faster R-CNN、Cascade R-CNN、Sparse R-CNN和本文算法在晶圓缺陷數(shù)據(jù)集上的實驗結(jié)果,分別測試了以ResNet-50和ResNet-101為骨干網(wǎng)絡(luò)的情況。相比其他網(wǎng)絡(luò),本文方法在ResNet-101為基準時檢測精度最高,mAP為94.3%,并且誤檢率、不確定識別率和漏檢率顯著減少,分別為2.7%、2.1%和1.3%。相較于其他檢測方法,本文算法計算復(fù)雜度有所增加,有更多的參數(shù)需要學(xué)習(xí)訓(xùn)練,所以FPS較低。

表3 基于WDD數(shù)據(jù)集

如表4所示,本文也在NEU-DET的數(shù)據(jù)集驗證了網(wǎng)絡(luò)的檢測以及泛化能力。對于非晶圓類缺陷也能很好定位和分類,熱軋鋼帶上細微的劃痕和裂縫也能識別。本文算法的各項指標也優(yōu)于其他方法,mAP達到88.1%。但是誤檢率和漏檢率高于晶圓數(shù)據(jù)集驗證結(jié)果,分析是由于此數(shù)據(jù)集的背景更復(fù)雜,缺陷細小,對于網(wǎng)絡(luò)來說缺陷的特征不易學(xué)習(xí)。

表4 基于NEU-DET數(shù)據(jù)集

為了進一步分析算法的性能,圖7比較了采用ResNet-50為骨干網(wǎng)絡(luò)的Sparse R-CNN和本文方法檢測器在各類缺陷中的檢測結(jié)果。從圖中可以看出,本文算法對大多數(shù)缺陷類別的檢測精度均有提升,誤檢、漏檢情況有所下降。如圖7(b)所示,不確定識別情況改進明顯,“Incomplete”和“Gold”類最突出。但對于某些類別檢測困難的樣本,仍存在一些問題,分析了某些類別難以學(xué)習(xí)的一些原因?！癛aw_Ⅱ”類與“Foreign”類精度較低,“Raw_Ⅱ”類漏檢情況較多,達到8.2%。主要原因是此類缺陷與背景缺陷相似,若缺陷部位較小會被網(wǎng)絡(luò)判定為背景處理?！癋oreign”類誤檢率較高,為10%。此類缺陷大多為黑、灰亮色,形狀各不相同。若分布面積較大,易被正確識別,否則易被識別為其他缺陷的部分區(qū)域?！癠BM”與“Lump”類檢測精度最高,均達到0.96以上,此類缺陷顏色對比度高,并且形狀較完整簡單,相比其他類缺陷易于學(xué)習(xí)訓(xùn)練。

圖8展示了部分兩類表面缺陷的檢測結(jié)果,可以看到Faster R-CNN冗余框去除不夠充分,定位不夠準確,需要提高NMS閾值修改結(jié)果。相比之下,本文算法只保留了一個預(yù)測框,定位準確,并且跨非缺陷位置完整地包圍住了主要缺陷,置信度也高于Faster R-CNN網(wǎng)絡(luò)。

圖8 冗余框消除結(jié)果

本文方法在邊框提議階段能夠有效控制邊框數(shù)量,并且由于特殊的標簽預(yù)測匹配模式,也會減少冗余的產(chǎn)生,更好定位目標位置。

圖9為交流注意力的可視化結(jié)果,可視化了特征提議階段交流注意力對目標的關(guān)注情況,其中較深的顏色表示高度關(guān)注,而較淺的顏色表示模型對它的關(guān)注較少?？梢钥吹揭婚_始交流注意力模塊關(guān)注了大范圍區(qū)域,從全局進行特征信息的提取。后面逐漸縮小關(guān)注區(qū)域,定位到缺陷的具體區(qū)域,正確提取缺陷部位圖像特征信息。

圖9 交流注意力可視化

2.4 消融實驗

為了驗證雙動態(tài)頭Sparse R-CNN中每個模塊的有效性,采用ResNet-50作為骨干網(wǎng),在WDD數(shù)據(jù)集上進行了消融試驗,實驗中均使用相同的訓(xùn)練設(shè)置進行訓(xùn)練,結(jié)果見表5?？梢钥吹?實驗未使用任何改進模塊的基準識別率為89.3%,當單獨添加FPG和Dyhead時,精度分別從89.3%提升到90.1%和91.8%,結(jié)合兩者使用時精度從89.3%提升到92.9%,提取特征能力顯著增強。SHA模塊使精度從89.3%提升到91.2%,Alpha-CIoU改進邊框收斂速度的同時,檢測精度也從93.7%提升到94.1%。本文方法能取得更好的表現(xiàn),在于加強了對缺陷圖像信息的細節(jié)關(guān)注以及使用了更精準回歸邊界框的損失函數(shù),這兩種方法不僅有助于關(guān)注圖像的全局特征,而且可以很好處理缺陷復(fù)雜變化的定位問題。

以上結(jié)果均是在動態(tài)實例交互頭添加了改進分支網(wǎng)絡(luò)的基礎(chǔ)上,表6單獨驗證了分支網(wǎng)絡(luò)的效果,可以看到精度的提升,說明在分支網(wǎng)絡(luò)對動態(tài)實例交互中的特征校準有所改善。

表6 動態(tài)實力交互頭分支網(wǎng)絡(luò)消融

對于本文1.2.1小節(jié)的交流注意力模塊(SHA),其中注意力頭部的混合方式為在softmax操作之前插入混淆矩陣λ。對于混淆注意力頭部信息的方式,本部分測試另一種方式并展示在表7中,其中第2行采用了在softmax操作后直接插入混淆矩陣λ的方式,之后再進行注意力計算。從準確率上這樣的方式也提高了檢測結(jié)果,但是不如本文采用的方法效果好,相差0.9%。

表7 SHA添加位置消融實驗

3 結(jié)論

本文針對目前缺陷檢測算法對目標冗余識別的問題,提出雙動態(tài)頭Sparse R-CNN端到端的表面缺陷檢測算法,融合了特征金字塔網(wǎng)格和特征提取動態(tài)頭,對圖像進行不同尺度和空間方向的特征提取,并提出交流注意力打通不同注意力頭部的信息,保留提議階段缺陷的細節(jié)特征。用動態(tài)實例交互頭和雙查詢方法取代了RPN,并去除NMS模塊,實現(xiàn)目標的稀疏預(yù)測,減少了大量冗余計算。此外,使用Alpha-CIoU損失改進了邊框的回歸速度。在晶圓表面缺陷數(shù)據(jù)集WDD和熱軋鋼表面缺陷NEU-DET數(shù)據(jù)集上的實驗表明,該算法使檢測精度分別提高到94.3%和88.1%,可以有效實現(xiàn)對各類缺陷的識別和定位,具有應(yīng)用價值。同時,本研究仍存在算法模型大、參數(shù)量多的不足。在后續(xù)的研究中,將研究改進為輕量化網(wǎng)絡(luò),提高實時的檢測效率。