基于Swin Transformer的兩階段織物疵點檢測

雷承霖 李 敏,2,3 王 斌

（1.武漢紡織大學(xué)，湖北武漢， 430200；2.湖北省服裝信息化工程技術(shù)研究中心，湖北武漢， 430200；3.紡織服裝智能化湖北省工程研究中心，湖北武漢， 430200）

在織物生產(chǎn)過程中，因設(shè)備、原料、工藝或者外部原因，織物表面會出現(xiàn)疵點。疵點的出現(xiàn)不僅會影響織物的質(zhì)量，還會影響到企業(yè)的經(jīng)濟效益。傳統(tǒng)的疵點檢測方法以人工檢測為主，這種方式不但效率低、精度差，而且長時間的工作會對紡織工人的眼睛造成影響。為了提高生產(chǎn)效率，降低人工成本，使用自動檢測設(shè)備來替代人眼進行疵點檢測成了現(xiàn)代紡織企業(yè)的追求目標。

近年來，隨著深度學(xué)習(xí)的發(fā)展，采用深度學(xué)習(xí)技術(shù)對織物疵點進行檢測的方法不斷地被提出。安萌等［1］提出了一種改進的Faster RCNN織物疵點檢測方法，通過對Softmax分類器進行正則化來減小類內(nèi)間距、增大類間間距，不斷更新網(wǎng)絡(luò)參數(shù)提高網(wǎng)絡(luò)收斂能力，在一個簡單背景的數(shù)據(jù)集上有比較高的準確率。JUN X等［2］將二階段目標檢測算法拆解開來，將待檢測的織物圖片切分成規(guī)則的小塊，對每個小塊使用Inception-V1［3］模型來判斷是否存在疵點，然后再對缺陷的圖片使用LeNet-5模型進行疵點類型的判斷，在TILDA數(shù)據(jù)集上取得了不錯的結(jié)果；然而由于將圖片切分導(dǎo)致計算量倍增，即使是最輕量級的模型也需要1.6 s/張的檢測速度，達不到實時在線檢測的需求。葉舒婷等［4］在最新的目標檢測框架Cascade RCNN的基礎(chǔ)上，采用二步聚類算法確定適用于極端形狀疵點檢測的預(yù)定義框最佳尺寸，改進后的疵點識別準確率最高可達98.4%。上述基于深度學(xué)習(xí)的疵點檢測方法需要大量圖像數(shù)據(jù)對模型進行訓(xùn)練，并且檢測精度嚴重依賴于模型的表達能力。

鑒 于Swin Transformer［5］在 計 算 機 視 覺 領(lǐng) 域的優(yōu)秀表現(xiàn)，本研究提出了一種用Swin Transformer作為主干網(wǎng)絡(luò)的織物疵點檢測新模型。首先，在基礎(chǔ)目標檢測網(wǎng)絡(luò)Cascade RCNN［6］的基礎(chǔ)上，引入Swin Transformer架構(gòu)來進行特征提??；為了在一個可擴展空間中尋找一個更好的特征金字塔結(jié)構(gòu)來融合特征，摒棄了手動設(shè)計的FPN模塊，引用NAS-FPN［7］進行神經(jīng)架構(gòu)搜索；與此同時，還結(jié)合多尺度訓(xùn)練、提高預(yù)設(shè)錨框的數(shù)量、Soft-NMS［8］等技術(shù)來進一步提高疵點檢測精度。試驗結(jié)果表明：在20類疵點的檢測結(jié)果中，該方法相比通用目標檢測算法的mAP@0.5提高了38.1%。

1 算法框架

基于Swin Transformer的兩階段織物疵點檢測算法框架如圖1所示。首先，利用Swin Transformer模塊來提取輸入圖像的特征；然后，使用NAS-FPN模塊來搜索最佳特征融合方式，以適應(yīng)不同大小的疵點，并根據(jù)疵點的長寬比進行kmeans聚類來調(diào)整錨點；最后，使用級聯(lián)區(qū)域建議網(wǎng)絡(luò)，從特征圖中得到可能為疵點的建議框，對疵點進行類別判斷與位置修正。

圖1 基于Swin Transformer的兩階段織物疵點檢測框架

1.1 Swin Transformer

通過分析疵點圖像發(fā)現(xiàn)，在提花織物或者復(fù)雜背景中的疵點更加難以識別，這是由于通常卷積網(wǎng)絡(luò)無法學(xué)習(xí)到背景與疵點之間的關(guān)聯(lián)，而Transformer［9］引入注意力機制，將學(xué)習(xí)到整體與部分特征之間的關(guān)聯(lián)與突出疵點特征，能有更好的效果。而將Transformer從自然語言處理領(lǐng)域引入圖像處理，要解決兩個問題。一是數(shù)據(jù)規(guī)模。在自然語言處理中，單詞是基本元素，單詞會通過詞嵌入算法轉(zhuǎn)換成相同尺度；在圖像處理中，待檢測目標的尺寸變換范圍很大。二是計算量。圖像中像素的分辨率遠遠大于文本段落中單詞量，Transformer計算自注意力的復(fù)雜度為圖像大小的二次方，這會增加疵點檢測的計算復(fù)雜度。

為了解決這兩個問題，Swin Transformer構(gòu)建了層次化的特征映射，將自注意力計算限制為不重疊的局部窗口，以降低計算復(fù)雜度；同時，Swin Transformer允許跨窗口連接，移位窗口可以解決疵點形狀和尺寸變化的問題。Swin Transformer架構(gòu)圖如圖2所示。圖2中，輸入的RGB圖像先被劃分為不重疊的小塊，每個小塊的大小為4×4。它們的特征被設(shè)置為RGB三通道的連接，每個小塊的特征維度為H/4，W/4。

階段1由一個線性嵌入層與2個連續(xù)的Swin Transformer塊組成，長度為48的小塊經(jīng)過線性嵌入層可以投射到任意維度（這里以C表示）。Swin Transformer塊是一個經(jīng)過修改的自注意力模塊，通過將Transformer中的標準多頭自注意力（MSA）模塊替換為基于移動窗口的模塊（WMSA），其他層保持不變，如圖2（b）所示。在每個MSA模塊和每個MLP之前應(yīng)用一個LayerNorm（LN）層。通過階段1得到H/4×W/4個特征塊，每個特征塊的通道為C。為了產(chǎn)生分層表示，通過合并相鄰的分塊來減少特征塊的數(shù)量，patch merge層將相鄰2×2的每一組補丁的特征塊拼接起來，這樣得到H/8×W/8個特征塊，通道為4C。經(jīng)過階段2的Swin Transformer塊，輸出通道設(shè)置為2C，得到H/8×W/8×2C的輸出，特征塊的數(shù)量變成了上階段的1/4。階段3、階段4與階段2類似，分別得到H/16×W/16×4C與H/32×W/32×8C的輸出。這樣層次化的輸出特征圖與經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)具有相同的分辨率，可以直接取代現(xiàn)有目標檢測的骨干網(wǎng)絡(luò)。

圖2 Swin Transformer架構(gòu)圖

1.2 NAS-FPN

特征金字塔網(wǎng)絡(luò)（FPN）［10］可以解決多尺度目標特征表示問題。如圖3所示，在FPN中，不同層次的特征融合方式是手動指定的，不同階段產(chǎn)生的特征圖通過上采樣的方式融合到一起。FPN通過將下采樣與底層特征融合，可以生成高分辨率和強語義的特征表示。

圖3 FPN的特征融合方式

盡管FPN簡單而有效，但FPN的融合方式是固定不變的，很難找到不同層級之間最好的連接方式。為此，借鑒神經(jīng)架構(gòu)搜索算法［11］的優(yōu)勢，采用NAS-FPN來提高小疵點的檢測精度。

NAS-FPN由多個merging cells構(gòu)成，它是NAS-FPN的基本模塊，表示為任意兩個不同尺度特征的融合，輸出為一個給定通道的特征。構(gòu)建merging cells的方式如圖4所示。

圖4 構(gòu)建merging cells的4個步驟

如何構(gòu)建合并單元的決定由控制器RNN進行。RNN控制器選擇任意兩個候選特征層和二進制操作以將它們組合到新的特征層中，其中所有特征層可能具有不同的分辨率。每個合并單元具有不同的Softmax。分類器控制的4個預(yù)測步驟。步驟1，選擇一個候選特征層hi；步驟2，選擇另一個特征層hj；步驟3，選擇輸出層的分辨率；步驟4，對hi與hj進行融合操作，并使用步驟3選取的分辨率進行輸出。

1.3 根據(jù)k-means聚類分析改進預(yù)定義候選框

通過Swin Transformer提取特征與NASFPN進行特征融合之后，將通過候選區(qū)域生成網(wǎng)絡(luò)（RPN）生成可能存在疵點的候選框，默認的候選框有3種長寬比（1∶1，1∶2，2∶1）。然而與通用目標檢測不同的是，疵點存在極端的長寬分布，需要根據(jù)疵點的特性來進行調(diào)整，一般是根據(jù)經(jīng)驗人工調(diào)整長寬比，然而經(jīng)過試驗發(fā)現(xiàn)，利用kmeans對疵點數(shù)據(jù)集長寬比進行聚類分析有更好的效果。

目前統(tǒng)計的疵點有結(jié)頭、破洞、三絲、粗維、百腳等20種類型，圖5顯示了疵點的長寬分布情況。

圖5 疵點長寬比分布圖

通過對疵點的長寬比進行統(tǒng)計，采用kmeans的方式對預(yù)設(shè)框的長寬比進行計算。圖6顯示了使用k-means方法計算之后的長寬比檢測情況。可以看到，使用手動設(shè)置的預(yù)設(shè)框，置信度較低且發(fā)生了漏檢，而使用k-means聚類分析得到的預(yù)設(shè)框?qū)τ诖命c的范圍判斷更加準確且置信度更好，沒有發(fā)生漏檢。

圖6 長寬比檢測情況

2 試驗結(jié)果及分析

2.1 數(shù)據(jù)集

試驗織物疵點圖片數(shù)據(jù)集采用了阿里天池2019廣東工業(yè)智造創(chuàng)新大賽布匹瑕疵檢測初賽數(shù)據(jù)集，有6 899張織物圖像，疵點總數(shù)有9 523個，疵點類型為20個類別，圖像尺寸為2 446 pixel×1 000 pixel，疵點具體情況見表1。

表1 各類疵點數(shù)量

所有試驗均在兩個GTX 2080Ti GPU進行訓(xùn)練和測試。訓(xùn)練時，將圖片按比例縮放到1 434 pixel×593 pixel，初始學(xué)習(xí)率為0.001，在第27輪次和第33輪次進行衰減。共訓(xùn)練36個輪次?；鶞誓Ｐ虲ascade RCNN使用Resnet50作為backbone，使用標準FPN作為特征融合網(wǎng)絡(luò)，Cascade頭設(shè)置閾值為0.5、0.6和0.7；使用的Swin Transformer每個階段的swin Transformer塊堆疊層數(shù)分別為2，2，6，2，經(jīng)過階段1映射后的維度C=96；在NAS-FPN，堆疊次數(shù)設(shè)置為7，anchor的初始設(shè)置?。?.5，1.0，2.0］。

2.2 評估指標

選擇平均精度均值mAP@0.5∶0.95作為織物疵點數(shù)據(jù)集的評估標準，mAP@0.5∶0.95通常用于目標檢測，計算IoU閾值從0.5到0.95，步長為0.05的mAP，計算公式如式（1）所示。

式中：n為檢測的類別數(shù)量；APi為第i類的AP，即平均精度，AP為PR曲線的面積，其計算公式如式（2）所示。

式中：N為PR曲線的取值點數(shù)；P(k)為對應(yīng)點的精準率，其計算公式如式（3）所示；R(k)為對應(yīng)點的估計召回率，其計算公式如式（4）所示。

式中：TP為檢測正確的數(shù)量；FP為檢測錯誤的數(shù)量；FN為未被檢測出的正確樣本數(shù)量。但考慮到有時織物疵點位置的精確性沒有那么極端，可以參考IoU為0.5時的平均精度均值，即mAP@0.5。

2.3 試驗結(jié)果

表2是與多種檢測模型的對比試驗。從表2可以看出，基于Swin Transformer的兩階段檢測模型擁有最高的mAP@0.5∶0.95，但由于計算復(fù)雜度原因，檢測速度有所下降，這將是下一步需要研究的目標。

表2 檢測模型試驗對比結(jié)果

表3詳細對比了各類織物疵點檢測效果的提升?？梢钥闯?，尺寸通常較小的疵點與極端長寬比疵點AP值提升明顯。例如星跳、跳花的AP值從0.139提升到0.433，粗經(jīng)的AP值從0.067提升到0.571，死皺、云織、雙緯等的AP值從0.024提升到0.304。這歸功于更好的主干網(wǎng)絡(luò)和anchor的合理設(shè)置。其余還有磨痕、松經(jīng)、色差檔等疵點的檢測效果都有較大的提升。

表3 各類疵點檢測AP值的對比結(jié)果

為得出使用k-means聚類進行預(yù)設(shè)框分析的具體效果，試驗則單獨分析了不同k-means參數(shù)對檢測效果的影響，其中k值表示將長寬比分為k類，利用距離作為相似性評價指標進行聚類，預(yù)設(shè)長寬比是指在檢測階段設(shè)置的檢測框的長度/寬度，通過對數(shù)據(jù)集預(yù)先進行分析處理，加入先驗的檢測框長寬比。試驗結(jié)果顯示，人工指定的3類預(yù)設(shè)長寬比（0.5，1.0，2.0）和9類（0.02，0.05，0.1，0.5，1.0，2.0，10，20，50）預(yù) 設(shè) 長 寬 比，mAP@0.5∶0.95分別是0.223和0.267；而通過k-means聚類得到的4類（23.564 607 95，0.585 341 62，12.111 156 76，5.435 642 73）長寬比 和9類（0.244 938 91，11.857 211 75，5.361 932 15，22.469 742 56，16.412 395 48，2.935 330 51，36.670 708 05，8.372 126 77，1.040 044 59）長寬比，mAP@0.5∶0.95分別是0.293和0.304?？梢钥闯?，當(dāng)使用k-means聚類且k=9時候效果最好。

表4設(shè)計了針對改進的消融試驗?？梢钥吹剑褂脴藴实腃ascade RCNN時，mAP@0.5∶0.95為0.220，當(dāng)將特征提取網(wǎng)絡(luò)切換成Swin Transformer之后，mAP@0.5∶0.95提升到0.231；然后再將標準的FPN網(wǎng)絡(luò)替換成NAS-FPN，mAP@0.5∶0.95提升到0.237，最后在訓(xùn)練時添加更多的anchor預(yù)設(shè)比，來提高極端長寬比疵點的檢測精度，最終將mAP@0.5∶0.95提升到0.304。結(jié)果表明本研究模型是有效的。

表4 消融試驗

圖7是本研究模型對織物圖像進行疵點檢測的結(jié)果?？梢钥闯?，在疵點較大的情況下，如色差檔和水漬，Cascade RCNN因為使用的卷積神經(jīng)網(wǎng)絡(luò)受限于感受野大小而產(chǎn)生了漏檢，采用基于Swin Transformer的兩階段檢測模型卻可以很好地檢測到；還有松經(jīng)和軋痕，因為呈細長條狀，利用初始的預(yù)設(shè)長寬比無法很好地檢測到，而利用k-means方法計算得到的預(yù)設(shè)長寬比卻可以檢測到。但是兩種方法對于極小的目標，如三絲，則都產(chǎn)生了漏檢和錯檢。

圖7 部分疵點檢測結(jié)果對比

3 結(jié)語

為解決人工疵點檢測效率低、精度差的問題，本研究基于Cascade RCNN進行改進，針對小疵點、長寬比極端疵點和大疵點引入了Swin Transformer代替卷積神經(jīng)網(wǎng)絡(luò)，并通過NAS-FPN得到最佳的特征融合方式，加上使用k-means計算得到的預(yù)設(shè)長寬比，最終得到的mAP@0.5比Cascade RCNN模型結(jié)果提高了31.8%。結(jié)果證明，本研究提出的算法能更好地識別各類疵點。

不過由于計算量的增加，本研究模型相較于Cascade RCNN模型，檢測速度降低了18.5%，如何提高計算速度是下一步關(guān)注的目標。另外，本研究模型總體上的精度仍然有很大的提升空間，我們會繼續(xù)探索深度學(xué)習(xí)在織物疵點檢測上的應(yīng)用，以促進織物疵點檢測的進一步發(fā)展。