基于聯(lián)合注意力的復(fù)雜紋理瓷磚缺陷檢測(cè)方法

葉旭芳 陳梅 李暉 曹陽(yáng) 王喜賓

摘 要：

復(fù)雜紋理瓷磚表面存在較多的低可視度小目標(biāo)缺陷與嚴(yán)重的復(fù)雜紋理背景干擾，使應(yīng)用目標(biāo)檢測(cè)方法時(shí)易出現(xiàn)較高的誤檢率和漏檢率。為提升復(fù)雜紋理瓷磚表面缺陷檢測(cè)效率，提出了基于通道與空間聯(lián)合注意力的復(fù)雜紋理瓷磚表面缺陷檢測(cè)方案。首先通過(guò)建模深淺層特征通道間關(guān)系設(shè)計(jì)了一種選擇性特征融合方法，以提升模型對(duì)小目標(biāo)缺陷的特征表達(dá)；其次，提出了通道與空間聯(lián)合注意力模塊，通過(guò)通道注意力和空間注意力來(lái)篩選關(guān)鍵特征通道和抑制紋理區(qū)域，使模型著重于學(xué)習(xí)缺陷特征以增強(qiáng)模型辨別缺陷與紋理的能力；最后，在復(fù)雜紋理瓷磚表面缺陷數(shù)據(jù)上進(jìn)行了實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，相較于AFF（attentional feature fusion）和CBAM（convolutional block attention module）方法，選擇性特征融合方法和通道與空間聯(lián)合注意力模塊使模型檢測(cè)性能分別提高了5.3 AP、6.32 AP。最終，實(shí)驗(yàn)證明了該方案分別優(yōu)于現(xiàn)有的瓷磚檢測(cè)方法YOLOv5和紋理織物缺陷檢測(cè)AFAM方法1.32 AP、2.12 AP。

關(guān)鍵詞：表面缺陷檢測(cè)；注意力機(jī)制；特征融合；目標(biāo)檢測(cè)

中圖分類號(hào)：TP391.41?? 文獻(xiàn)標(biāo)志碼：A??? 文章編號(hào)：1001-3695（2024）03-046-0944-07doi： 10.19734/j.issn.1001-3695.2023.06.0303

Channel and spatial joint attention based defect detection method in complex texture ceramic tile

Ye Xufang1，2a， Chen Mei1，2a， Li Hui1，2a， Cao Yang2b， Wang Xibin3

（1.State Key Laboratory of Public Big Data， Guiyang 550000， China; 2.a.School of Computer Science & Technology， b.School of Mecha-nical Engineering， Guizhou University， Guiyang 550000， China; 3.School of Data Science， Guizhou Institute of Technology， Guiyang 550000， China）

Abstract：

In the complex texture of the tile surface， there are more low-visibility small defects， and the interference from the complex textured background is serious. This results high false detection and false alarm rate using traditional object detection methods. To enhance the efficiency of defect detection， this paper proposed a defect detection approach on complex textured tile surfaces based on the joint attention mechanisms of channels and spatial. Firstly， to enhance the feature expression of small defects， it proposed a selective feature fusion method by modeling the relationship between deep and shallow feature channels. Secondly， it designed a joint channel and spatial attention module that selected key feature channels and suppressed texture regions through channel and spatial attention， enabling the model to focus on learning defect features and enhancing its ability to discriminate between defects and texture. Finally， it validated the approach on a dataset of complexly textured cera-mic tile surface defects. The experimental results demonstrate that compared to the AFF and CBAM methods， the selective feature fusion method and channel & spatial joint attention achieved improvements of 5.3 AP and 6.32 AP， respectively. In addition， this paper compared the overall approach with the existing tile detection method YOLOv5 and texture fabric defect detection method AFAM. The results show that it outperforms these methods， with respective improvements of 1.32 AP and 2.12 AP.

Key words：surface defect detection; attention mechanism; feature fusion; object detection

0 引言

工業(yè)品表面缺陷與其功能缺陷密切相關(guān)。通過(guò)檢測(cè)表面缺陷篩選不合格產(chǎn)品，是保證生產(chǎn)線產(chǎn)品質(zhì)量穩(wěn)定的可靠方法之一。瓷磚生產(chǎn)行業(yè)得益于產(chǎn)業(yè)自動(dòng)化的發(fā)展，生產(chǎn)環(huán)節(jié)均已實(shí)現(xiàn)自動(dòng)化，但質(zhì)檢環(huán)節(jié)仍大量依賴人工目視檢查［1］。人工質(zhì)檢效率低。限制了瓷磚生產(chǎn)速度，且目視檢測(cè)缺陷重度依賴質(zhì)檢者經(jīng)驗(yàn)，導(dǎo)致總體質(zhì)檢水平不穩(wěn)定，尤其是工人在高強(qiáng)度光照下長(zhǎng)時(shí)間工作容易疲勞，準(zhǔn)確性大幅度下降。當(dāng)前瓷磚表面缺陷質(zhì)檢效率低已成為阻礙瓷磚生產(chǎn)效率提升的主要問(wèn)題［2］。

由于人工檢測(cè)表面缺陷效率低，學(xué)者們提出基于傳統(tǒng)機(jī)器視覺(jué)的自動(dòng)化檢測(cè)方法［3］。傳統(tǒng)機(jī)器視覺(jué)的主要思路是對(duì)表面缺陷進(jìn)行特征表征，并根據(jù)不同類別缺陷的形態(tài)差異，如邊緣、顏色、紋理等，來(lái)對(duì)表征方法不斷進(jìn)行調(diào)整。張軍等人［4］根據(jù)背景與圖案的灰度差分離花紋背景與缺陷，但是僅適用于簡(jiǎn)單規(guī)整圖案花紋。Hou等人［5］通過(guò)分析織物圖像包含的周期性紋理頻譜，提出了一種二維指數(shù)分析方法來(lái)分解紋理，進(jìn)而檢測(cè)織物表面缺陷，但是依賴于織物表面圖案簡(jiǎn)單且重復(fù)的特性。上述基于傳統(tǒng)計(jì)算機(jī)視覺(jué)的檢測(cè)方法都在缺陷區(qū)域清晰、紋理背景存在形態(tài)規(guī)律的圖像數(shù)據(jù)上進(jìn)行人工優(yōu)化設(shè)計(jì)，不能實(shí)現(xiàn)無(wú)規(guī)律形態(tài)缺陷的檢出［6］。

為解決傳統(tǒng)計(jì)算機(jī)視覺(jué)的缺陷檢測(cè)方法存在的新形態(tài)缺陷檢測(cè)泛化性差的問(wèn)題［7～11］，研究者在工業(yè)表面缺陷檢測(cè)領(lǐng)域引入了深度學(xué)習(xí)方法?；谏疃葘W(xué)習(xí)的目標(biāo)檢測(cè)算法可以同時(shí)預(yù)測(cè)目標(biāo)類別與位置坐標(biāo)，非常符合工業(yè)表面缺陷檢測(cè)場(chǎng)景下需要同時(shí)獲得缺陷類別與所在區(qū)域位置的需求，已經(jīng)成為了工業(yè)品表面缺陷檢測(cè)方法的主要方向［12］。

然而，在復(fù)雜紋理瓷磚表面缺陷檢測(cè)領(lǐng)域中，表面缺陷的檢測(cè)難度遠(yuǎn)大于常規(guī)工業(yè)品。主要體現(xiàn)于存在大量可視度低的難檢測(cè)小尺寸缺陷和復(fù)雜紋理背景干擾嚴(yán)重兩個(gè)方面［6］。而現(xiàn)有基于YOLOv5瓷磚表面缺陷檢測(cè)算法［2］，只考慮背景與缺陷對(duì)比度較高的瓷磚數(shù)據(jù)集，并未考慮復(fù)雜紋理瓷磚中的檢測(cè)性能。因此，接下來(lái)，從小尺寸缺陷檢測(cè)和復(fù)雜紋理干擾抑制兩個(gè)方面探討目標(biāo)檢測(cè)方法在工業(yè)品表面缺陷檢測(cè)領(lǐng)域的研究工作。

首先，針對(duì)可視度低、檢測(cè)難的小尺寸缺陷，研究者主要通過(guò)融合淺層空間特征與深層語(yǔ)義特征、增加目標(biāo)上下文特征信息等方法，來(lái)改善小目標(biāo)的特征表示，從而提升小目標(biāo)檢測(cè)性能［13］，以減少小尺寸缺陷上的漏檢情況。例如特征金字塔網(wǎng)絡(luò)（feature pyramid network，F(xiàn)PN）通過(guò)將骨干網(wǎng)絡(luò)各個(gè)stage特征圖從上至下融合，融合深層語(yǔ)義與淺層特征空間信息，為小目標(biāo)生成更強(qiáng)的特征表征［14］。Dai等人［15］認(rèn)為特征的初始融合方式極大地決定了融合后特征的語(yǔ)義表達(dá)，F(xiàn)PN的性能瓶頸是簡(jiǎn)單地融合深淺層特征，所以提出具有雙卷積分支的注意力特征融合AFF（attentional feature fusion，AFF）方法，通過(guò)注意力機(jī)制來(lái)動(dòng)態(tài)地融合深淺層特征。

當(dāng)融合不同層特征時(shí)，由于尺度和語(yǔ)義的差異，簡(jiǎn)單融合勢(shì)必會(huì)減弱特征的表達(dá)能力［16］。而AFF方法忽略了深淺層特征在尺度和語(yǔ)義上的不一致性，導(dǎo)致根據(jù)簡(jiǎn)單融合后的初始特征計(jì)算而來(lái)的特征融合權(quán)重，無(wú)法準(zhǔn)確地表達(dá)淺層和深層特征中的關(guān)鍵特征分布。因此，基于融合前特征計(jì)算融合權(quán)重，能更好地捕捉特征之間的關(guān)聯(lián)性，從而提高表面缺陷檢測(cè)的性能。

注意力機(jī)制抑制紋理干擾的本質(zhì)是基于特征輸入的動(dòng)態(tài)權(quán)重調(diào)整機(jī)制，通過(guò)權(quán)重抑制圖像中的不相關(guān)區(qū)域，突出重要區(qū)域［17］。注意力機(jī)制主要有通道注意力和空間注意力兩類。通道注意力關(guān)注目標(biāo)是什么，適合分類任務(wù)，通過(guò)調(diào)整特征通道權(quán)重能讓模型關(guān)注包含更多關(guān)鍵信息的特征通道［18～20］，例如SENet［21］。而空間注意力關(guān)注目標(biāo)在哪里，通過(guò)調(diào)整特征空間上關(guān)鍵位置特征權(quán)重，聚合關(guān)鍵的位置特征，適合密集型預(yù)測(cè)任務(wù)，如目標(biāo)檢測(cè)與語(yǔ)義分割［17］。SENet通過(guò)兩層線性層建模全局特征通道間的關(guān)系，以捕捉關(guān)鍵的特征通道。由于需要對(duì)所有特征通道間關(guān)系進(jìn)行建模，SENet計(jì)算量偏大，所以在通道關(guān)系建模前縮減特征通道數(shù)為原有的1/16以減少計(jì)算量，導(dǎo)致存在一定的信息損失情況［19］。為了進(jìn)一步抑制不重要特征，CBAM（convolutional block attention module）方法［22］以通道注意力SENet為基礎(chǔ)，增加了全局最大池化操作以豐富通道特征中的目標(biāo)形態(tài)信息，并引入了卷積作為空間注意力機(jī)制以篩選關(guān)鍵位置區(qū)域特征。

注意力機(jī)制在表面缺陷檢測(cè)中的作用是捕捉特征中的依賴關(guān)系，并將檢測(cè)重點(diǎn)集中在相互間具有重要依賴關(guān)系的特征上［12］。然而，Wang等人［23］指出，工業(yè)品表面的紋理區(qū)域往往比缺陷占據(jù)更大的特征圖區(qū)域，而SENet、CBAM的全局通道關(guān)系建模方式中，計(jì)算的權(quán)重偏向于具有較大顯著性的目標(biāo)，并且隨著全局通道特征建模過(guò)程，影響到所有特征通道，導(dǎo)致缺陷特征被背景紋理噪聲特征淹沒(méi)。

為解決不顯著缺陷被背景紋理淹沒(méi)的問(wèn)題，Wang等人［23］在CBAM基礎(chǔ)上提出了自適應(yīng)融合注意力方法（adaptively fused attention module，AFAM）。AFAM方法通過(guò)并行化通道與空間注意力分支、多次合并橫向信息到空間注意力中，以提升模型對(duì)低顯著性缺陷的關(guān)注，抑制織物表面復(fù)雜背景圖案對(duì)檢測(cè)帶來(lái)的干擾。AFAM方法增加缺陷特征信息的方式，無(wú)法真正解決全局通道間關(guān)系建模過(guò)程中，顯著性背景特征導(dǎo)致的干擾問(wèn)題。

總體而言，CBAM和AFAM方法中的全局通道間關(guān)系建模容易導(dǎo)致高權(quán)重的顯著性背景特征干擾低顯著性的缺陷特征。在復(fù)雜紋理瓷磚表面，紋理比缺陷更為顯著，因此采用全局特征通道間關(guān)系建模并不能有效地突出缺陷檢測(cè)。此外，復(fù)雜紋理瓷磚表面的紋理和劃傷缺陷都相對(duì)細(xì)長(zhǎng)，因此需要采用具有較大感受野的注意力方法來(lái)進(jìn)行長(zhǎng)距離依賴建模。然而，CBAM和AFAM方法中的空間注意力都屬于感受野較狹窄的卷積網(wǎng)絡(luò)，不適合進(jìn)行長(zhǎng)距離依賴建模。因此，對(duì)于復(fù)雜紋理瓷磚表面的缺陷檢測(cè)，應(yīng)建模特征通道間的局部依賴關(guān)系，并使用更適合處理長(zhǎng)距離依賴的空間注意力方法。

從復(fù)雜紋理瓷磚表面缺陷檢測(cè)領(lǐng)域中，小尺寸缺陷難以檢測(cè)和復(fù)雜紋理背景干擾嚴(yán)重兩個(gè)問(wèn)題出發(fā)，對(duì)現(xiàn)有的小目標(biāo)檢測(cè)方法AFF和干擾抑制方法CBAM進(jìn)行進(jìn)一步改進(jìn)，以提高復(fù)雜紋理瓷磚表面缺陷檢測(cè)的性能。其主要貢獻(xiàn)有：a）通過(guò)建模深淺層特征通道間的關(guān)系，提出了選擇性特征融合方法，以增強(qiáng)模型的小尺寸缺陷特征表達(dá)能力；b）為了提升不顯著缺陷的檢出率并降低紋理背景干擾，提出了通道與空間聯(lián)合注意力模塊（channel & spatial joint attention module，CSAM）；c）基于易受紋理背景干擾的紋理瓷磚缺陷圖像數(shù)據(jù)，以AFF和CBAM方法為基準(zhǔn)，分別驗(yàn)證了提出的選擇性特征融合方法和CSAM的有效性。其次，以瓷磚表面缺陷檢測(cè)算法YOLOv5和AFAM方法為基準(zhǔn)，驗(yàn)證了整體檢測(cè)方案的有效性。

1 基礎(chǔ)知識(shí)

1.1 損失函數(shù)

focal loss［24］損失函數(shù)通過(guò)調(diào)整各個(gè)難易樣本在模型學(xué)習(xí)過(guò)程的權(quán)重，使模型充分學(xué)習(xí)困難樣本特征，進(jìn)而獲得了性能提升。下面給出focal loss定義：

3 實(shí)驗(yàn)

為驗(yàn)證選擇性特征融合方法與CSAM模塊方法在復(fù)雜紋理瓷磚表面缺陷檢測(cè)中的有效性，實(shí)驗(yàn)在RetinaNet［24］上采用消融實(shí)驗(yàn)法比較了同類工作，并在基于PyTorch的mmdetection框架上完成了所有實(shí)驗(yàn)。所有實(shí)驗(yàn)方案均采用相同的實(shí)驗(yàn)配置，相關(guān)實(shí)驗(yàn)數(shù)據(jù)均已給出。實(shí)驗(yàn)平臺(tái)為Ubuntu 18.04 LTS，使用NVIDIA RTX A6000 GPU進(jìn)行計(jì)算加速。

3.1 數(shù)據(jù)集

復(fù)雜紋理瓷磚數(shù)據(jù)集來(lái)源于阿里云天池［27］，實(shí)驗(yàn)中僅使用易受紋理背景干擾的缺陷圖像數(shù)據(jù)，數(shù)據(jù)圖像共2 346張，包含7 298條bbox標(biāo)注數(shù)據(jù)，如表1所示。

為擴(kuò)增訓(xùn)練數(shù)據(jù)并降低原始高分辨率瓷磚圖像訓(xùn)練過(guò)程中的高顯存需求，同時(shí)避免影響缺陷區(qū)域的可視度，對(duì)圖像進(jìn)行了數(shù)據(jù)隨機(jī)裁剪與重采樣處理。首先將圖像按長(zhǎng)寬比例縮放圖像到1 600像素，并根據(jù)缺陷位置隨機(jī)裁剪出長(zhǎng)寬為1 200像素的區(qū)域作為最終訓(xùn)練的樣本；再對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行三倍重采樣以增加缺陷裁剪區(qū)域的樣本數(shù)量；最后對(duì)裁剪出的樣本使用隨機(jī)圖像變換策略對(duì)圖像進(jìn)行預(yù)處理，以避免過(guò)擬合問(wèn)題。實(shí)驗(yàn)中，隨機(jī)圖像變換策略包含圖像質(zhì)量壓縮、隨機(jī)圖像平滑、中值濾波平滑、圖像銳化與圖像顏色通道重排、圖像隨機(jī)旋轉(zhuǎn)與隨機(jī)亮度調(diào)整、隨機(jī)顏色調(diào)整與自適應(yīng)直方圖均衡化、隨機(jī)圖像飽和度與高斯噪聲、使用emboss濾波器提取輪廓并疊加到原圖。上述圖像預(yù)處理工作開展基于mmdetection與albumenta-tion［28］庫(kù)。

3.2 評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)采取平均精準(zhǔn)度（average precision，AP）衡量檢測(cè)模型性能，并根據(jù)召回率（recall）指標(biāo)衡量模型在降低缺陷漏檢方面的表現(xiàn)。AP指標(biāo)由準(zhǔn)確率（precision，Ppre）、召回率（recall，Rrecall）計(jì)算而來(lái)，表示召回率為橫坐標(biāo)、準(zhǔn)確率為縱坐標(biāo)繪制的曲線下方面積，各類別AP均值為mAP，定義為

AP=∫10Ppre（Rrecall）dRrecall（23）

其中：Tp為正確分類的缺陷錨框數(shù)量；Fp為紋理背景被分類為缺陷錨框的數(shù)量；FN為缺陷被錯(cuò)誤分類的個(gè)數(shù)。

3.3 消融實(shí)驗(yàn)

為驗(yàn)證檢測(cè)方法中各個(gè)部分設(shè)計(jì)的有效性，使用紋理瓷磚數(shù)據(jù)中15%圖像作為驗(yàn)證集，分別對(duì)各個(gè)模塊進(jìn)行評(píng)估。在RetinaNet［24］檢測(cè)網(wǎng)絡(luò)上設(shè)計(jì)了消融實(shí)驗(yàn)方案與其一一對(duì)應(yīng)，主要包含以下三個(gè)部分。首先，以PVTv2網(wǎng)絡(luò)和PVTv2+AFF方法為基準(zhǔn)，驗(yàn)證了選擇性特征融合方法的有效性；其次，以PVTv2、PVTv2+SENet和PVTv2+ CBAM作為基準(zhǔn)，評(píng)估了CSAM模塊的有效性，并對(duì)其進(jìn)行了可視化分析，將CSAM方法添加到RetinaNet、YOLOv5與FCOS［29］三種目標(biāo)檢測(cè)算法中，評(píng)估了CSAM模塊的適用性；最后，將選擇性特征融合以及CSAM進(jìn)行整合，以現(xiàn)有瓷磚缺陷檢測(cè)方法YOLOv5［2］以及紋理織物缺陷檢測(cè)方法AFAM作為基準(zhǔn)，評(píng)估整體方案的有效性。

3.3.1 選擇性特征融合方法

為驗(yàn)證選擇性特征融合方法對(duì)提升小尺寸缺陷目標(biāo)檢測(cè)性能的有效性，進(jìn)行了如圖7所示的實(shí)驗(yàn)。通過(guò)圖7的對(duì)比實(shí)驗(yàn)可知，在檢測(cè)性能mAP指標(biāo)上，相較于初始PVTv2網(wǎng)絡(luò)以及基準(zhǔn)PVTv2+AFF方法，使用選擇性特征融合方法增強(qiáng)小目標(biāo)表達(dá)后，分別提升了3.18 AP、5.3 AP的檢測(cè)性能。進(jìn)一步分析，選擇性特征融合方法帶來(lái)的主要性能提升集中在白點(diǎn)、深色塊兩類點(diǎn)塊狀小尺寸缺陷。白點(diǎn)和深色缺陷是小尺寸目標(biāo)缺陷，選擇性特征融合方法對(duì)該兩類缺陷檢測(cè)性能的提升（相對(duì)初始PVTv2網(wǎng)絡(luò)分別提升了6.9 AP，14.1 AP），證明了選擇性特征融合方法能抑制可視度低的小尺寸缺陷漏檢率高的問(wèn)題。

3.3.2 CSAM模塊

為證明紋理抑制方法CSAM的有效性，在復(fù)雜紋理瓷磚數(shù)據(jù)集上進(jìn)行了如表2所示的實(shí)驗(yàn)。由表2可知，在ResNet101+CBAM網(wǎng)絡(luò)上進(jìn)行復(fù)雜紋理表面缺陷檢測(cè)，mAP為57.95%，網(wǎng)絡(luò)改為PVTv2，mAP提升至60.2%。在PVTv2的基礎(chǔ)上，采用CSAM模塊進(jìn)行紋理背景抑制，檢測(cè)性能mAP有2.4 AP的提升，而相對(duì)于SENet、CBAM注意力方法，分別提升了3.14 AP、6.32 AP。這說(shuō)明通道間建模的局部方式比全局方式（SENet、CBAM）更適用于紋理抑制場(chǎng)景，能避免全局通道間關(guān)系建模方式中存在的不顯著缺陷特征被更顯著的紋理背景干擾的問(wèn)題。

接下來(lái)，驗(yàn)證CSAM模塊在各目標(biāo)檢測(cè)算法的適用性。目標(biāo)檢測(cè)算法根據(jù)是否指定預(yù)測(cè)錨框尺寸分為Anchor Base和Anchor Free兩類［30］。實(shí)驗(yàn)選擇Anchor Base算法RetinaNet、YOLOv5，以及Anchor Free算法FCOS［29］，并將CSAM模塊添加到這三種目標(biāo)檢測(cè)算法，通過(guò)比較各個(gè)算法的性能提升幅度，評(píng)估CSAM模塊的適用性，實(shí)驗(yàn)結(jié)果如圖8所示。

為進(jìn)一步觀察注意力機(jī)制對(duì)模型關(guān)注區(qū)域的影響，使用Layer-CAM［31］可視化模型檢測(cè)缺陷中的關(guān)鍵區(qū)域，如圖9所示。通過(guò)關(guān)鍵區(qū)域的特征權(quán)重可視化對(duì)比可以看出，ResNet101［32］+CBAM方案在復(fù)雜紋理背景干擾下，僅突出完整劃傷缺陷的左側(cè)部分，且未檢出左下方的低可視度小尺寸劃傷目標(biāo)。PVTv2方案相較于ResNet101［32］+CBAM方案，重點(diǎn)關(guān)注區(qū)域更為狹長(zhǎng)，學(xué)習(xí)到了細(xì)長(zhǎng)的劃傷缺陷存在的位置依賴關(guān)系。在PVTv2方案添加通道注意力部分后，其關(guān)注區(qū)域左移，與劃傷缺陷主體更為接近，在復(fù)雜紋理背景中進(jìn)一步學(xué)習(xí)到劃傷缺陷的關(guān)鍵主體位置。而PVTv2方案添加空間注意力部分后，檢測(cè)出了其他方案沒(méi)有檢測(cè)到的左下角低可視度小尺寸劃傷缺陷，表明能更充分地學(xué)習(xí)特征細(xì)節(jié)信息。對(duì)模型關(guān)鍵區(qū)域的可視化證明了CSAM模塊局部通道建模策略和長(zhǎng)距關(guān)系建模設(shè)計(jì)在抑制無(wú)關(guān)紋理區(qū)域的有效性。

3.3.3 整體方案

本節(jié)將選擇性特征融合方法以及通道與空間聯(lián)合注意力CSAM模塊整合到PVTv2中，并驗(yàn)證其在瓷磚表面缺陷檢測(cè)場(chǎng)景下的有效性。實(shí)驗(yàn)選擇了現(xiàn)有的瓷磚缺陷檢測(cè)方法YOLOv5［2］、Wang等人［23］提出的在織物表面缺陷檢測(cè)中提出的AFAM注意力方法，在復(fù)雜紋理瓷磚數(shù)據(jù)中的性能表現(xiàn)作為基準(zhǔn)。實(shí)驗(yàn)結(jié)果如表3所示。實(shí)驗(yàn)結(jié)果表明，相對(duì)于ResNet101、YOLOv5和PVTv2+AFAM，整體方案分別提升了6.64 AP、1.32 AP、2.12 AP。這表明整體方案在檢測(cè)復(fù)雜紋理瓷磚表面缺陷上擁有更優(yōu)的性能，證明了其有效性。

接下來(lái)，對(duì)整體方案的計(jì)算量與參數(shù)量進(jìn)行比較分析。設(shè)置圖像輸入尺寸為1200×1200像素，計(jì)算了整體方案與現(xiàn)有方案的計(jì)算量與參數(shù)量，如表4所示。整體方案的計(jì)算量為265.16 G，高于YOLOv5與PVTv2+AFAM方法，運(yùn)算速度更慢。參數(shù)量為23.02 M，高于PVTv2+AFAM方法的22.6 M，低于YOLOv5方法的76.77 M，因此顯存占用高于PVTv2+AFAM，低于YOLOv5方法。結(jié)果表明，整體檢測(cè)方案的運(yùn)算速度慢于大部分現(xiàn)有方案，參數(shù)量?jī)H多于原始PVTv2網(wǎng)絡(luò)、PVTv2+AFAM方法。

4 結(jié)束語(yǔ)

針對(duì)復(fù)雜紋理瓷磚表面缺陷檢測(cè)場(chǎng)景，目標(biāo)檢測(cè)方法面臨小目標(biāo)缺陷多以及復(fù)雜紋理背景干擾嚴(yán)重的挑戰(zhàn)，提出了基于注意力機(jī)制的復(fù)雜紋理瓷磚缺陷檢測(cè)方法。首先通過(guò)深淺層特征通道間的關(guān)系建模來(lái)選擇特征融合區(qū)域，提高模型在小目標(biāo)缺陷的特征表達(dá)；其次，通過(guò)通道注意力和空間注意力來(lái)篩選關(guān)鍵特征通道和抑制紋理區(qū)域，使模型著重于缺陷特征學(xué)習(xí)以增強(qiáng)模型辨別缺陷與紋理的能力；最后，在易受紋理背景干擾的復(fù)雜紋理瓷磚缺陷圖像數(shù)據(jù)中驗(yàn)證了復(fù)雜紋理瓷磚檢測(cè)整體方案的有效性。實(shí)驗(yàn)結(jié)果表明，選擇性特征融合方法和通道與空間聯(lián)合注意力方法相較于AFF和CBAM方法分別提高了5.3 AP和6.32 AP。此外，整體方法與瓷磚檢測(cè)方法YOLOv5和紋理織物缺陷檢測(cè)方法AFAM相比，整體方案優(yōu)于這些方法，分別提高了1.32 AP和2.12 AP。后續(xù)可以考慮將紋理干擾下的瓷磚缺陷檢測(cè)算法優(yōu)化工作應(yīng)用于其他種類的紋理工業(yè)品進(jìn)行表面缺陷檢測(cè)，如織物、合成木板。

參考文獻(xiàn)：

［1］歐陽(yáng)周，張懷亮，唐子暘，等. 復(fù)雜紋理瓷磚表面缺陷檢測(cè)算法研究 ［J］. 西北工業(yè)大學(xué)學(xué)報(bào)，2022，40（2）： 414-421. （Ouyang Zhou，Zhang Huailiang，Tang Ziyang，et al. Research on defect detection algorithm of complex texture ceramic tiles based on visual attention mechanism［J］. Journal of Northwestern Polytechnical University，2022，40（2）： 414-421.）

［2］王淑青，頓偉超，黃劍鋒，等. 基于YOLOv5的瓷磚表面缺陷檢測(cè)［J］. 包裝工程，2022，43（9）： 217-224. （Wang Shuqing，Dun Weichao，Huang Jianfeng，et al. Ceramic tile surface defect detection based on YOLOv5［J］. Packing Engineering，2022，43（9）： 217-224.）

［3］權(quán)小霞，李軍華，汪宇玲. 基于局部方差加權(quán)信息熵的瓷磚表面缺陷檢測(cè)［J］. 中國(guó)陶瓷，2019，55（10）： 46-55. （Quan Xiaoxia，Li Junhua，Wang Yuling. Tile surface defect detection based on local variance weighted information entropy［J］. China Ceramics，2019，55（10）： 46-55.）

［4］張軍，張海云，趙玉剛，等. 基于形態(tài)學(xué)和小波變換的瓷磚缺陷邊緣檢測(cè)［J］. 計(jì)算機(jī)仿真，2019，36（1）： 462-465，474. （Zhang Jun，Zhang Haiyun，Zhao Yugang，et al. Tile defects detection based on morphology and wavelet transformation［J］. Computer Simulation，2019，36（1）： 462-465，474.）

［5］Hou Yuan，Cuyt A，Lee W S，et al. Decomposing textures using exponential analysis［C］// Proc of IEEE International Conference on Acoustics，Speech and Signal Processing. Piscataway，NJ： IEEE Press，2021： 1920-1924.

［6］Luo Dongliang，Cai Yuxuan，Yang Zihao，et al. Survey on industrial defect detection with deep learning［J］. Scientia Sinica Informations，2022，52（6）： 1002-1039.

［7］趙朗月，吳一全. 基于機(jī)器視覺(jué)的表面缺陷檢測(cè)方法研究進(jìn)展［J］. 儀器儀表學(xué)報(bào)，2022，43（1）： 198-219. （Zhao Langyue，Wu Yiquan. Research progress of surface defect detection methods based on machine vision［J］. Chinese Journal of Scientific Instrument，2022，43（1）： 198-219.）

［8］Liang Qiaokang，Zhu Wei，Sun Wei，et al. In-line inspection solution for codes on complex backgrounds for the plastic container industry［J］. Measurement，2019，148： 106965.

［9］Deitsch S，Christlein V，Berger S，et al. Automatic classification of defective photovoltaic module cells in electroluminescence images［J］. Sol Energy，2019，185： 455-468.

［10］Zhang Zhifen，Wen Guangrui，Chen Shanben.Weld image deep learning-based on-line defects detection using convolutional neural networks for Al alloy in robotic arc welding［J］. Journal of Manufacturing Processes，2019，45： 208-216.

［11］Ma Liyong，Xie Wei，Zhang Yong. Blister defect detection based on convolutional neural network for polymer lithium-ion battery［J］. Applied Science，2019，9（6）： 1085.

［12］王一鳴，杜慧敏，張霞，等. 視覺(jué)注意力網(wǎng)絡(luò)在工件表面缺陷檢測(cè)中的應(yīng)用［J］. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2019，31（9）： 1528-1534. （Wang Yiming，Du Huiming，Zhang Xia，et al. Application of visual attention network in workpiece surface defect detection［J］. Journal of Computer-Aided Design & Computer Graphics，2019，31（9）： 1528-1534.）

［13］Liang Yingjie，Han Yueying，Jiang Feng. Deep learning-based small object detection： a survey［C］// Proc of the 8th International Confe-rence on Computing and Artificial Intelligence. New York： ACM Press，2022： 432-438.

［14］Chen Junying，Liu Shipeng，Zhao Liang，et al. Small object detection combining attention mechanism and a novel FPN［J］. Journal of Intelligent & Fuzzy Systems，2022，42（4）： 3691-3703.

［15］Dai Yimian，Gieseke F，Oehmcke S，et al. Attentional feature fusion［C］// Proc of IEEE/CVF Winter Conference on Applications of Computer Vision. Piscataway，NJ： IEEE Press，2021： 3560-3569.

［16］Guo Chaoxu，F(xiàn)an Bin，Zhang Qian，et al. AugFPN： improving multi-scale feature learning for object detection［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2020： 12595-12604.

［17］Guo Menghao，Xu Tianxing，Liu Jiangjiang，et al. Attention mechanisms in computer vision： a survey［J］. Computational Visual Media，2022，8（3）： 331-368.

［18］Qin Zequn，Zhang Pengyi，Wu Fei，et al. FcaNet： frequency channel attention networks［C］// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway，NJ： IEEE Press，2021： 783-792.

［19］Wang Qilong，Wu Banggu，Zhu Pengfei，et al. ECA-Net： efficient channel attention for deep convolutional neural networks［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2020： 11534-11542.

［20］Lee H，Kim H，Nam H，et al. SRM： a style-based recalibration mo-dule for convolutional neural networks［C］// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway，NJ： IEEE Press，2019： 1854-1862.

［21］Zhong Xian，Gong Oubo，Huang Wenxin，et al. Squeeze and excitation wide residual networks in image classification［C］// Proc of IEEE International Conference on Image Processing. Piscataway，NJ： IEEE Press，2019： 395-399.

［22］Woo S，Park J，Lee J，et al. CBAM： convolutional block attention module［C］// Proc of European Conference on Computer Vision. Berlin： Springer-Verlag，2018：3-19.

［23］Wang Jin，Yang Jingru，Lu Guodong，et al. Adaptively fused attention module for the fabric defect detection［J］. Advanced Intelligent Systems，2023，5（2）： 2200151.

［24］Lin T Y，Goyal P，Girshick R，et al. Focal loss for dense object detection［C］// Proc of IEEE International Conference on Computer Vision. Piscataway，NJ： IEEE Press，2017： 2999-3007.

［25］Wang Wenhai，Xie Enze，Li Xiang，et al. PVTv2： improved baselines with pyramid vision transformer［J］. Computational Visual Media，2022，8（3）： 415-424.

［26］Shen Zhuoran，Zhang Mingyuan，Zhao Haiyu，et al. Efficient attention： attention with linear complexities［C］// Proc of IEEE/CVF Winter Conference on Applications of Computer Vision. Piscataway，NJ： IEEE Press，2021： 3531-3539.

［27］天池. 瓷磚瑕疵檢測(cè)數(shù)據(jù)集 ［EB/OL］. （2021-09-09）. https：//tianchi.aliyun.com/dataset/110088. （Tianchi. Tile defect detection data set ［EB/OL］. （2021-09-09）. https：//tianchi.aliyun.com/dataset/ 110088.）

［28］Buslaev A，Iglovikov V，Khvedchaenya E，et al. Albumentations： fast and flexible image augmentations［J］. Information，2020，11（2）：125.

［29］Tian Zhi，Shen Chunhua，Chen Hao，et al. FCOS： a simple and strong anchor-free object detector［J］. IEEE Trans on Pattern Analysis and Machine Intelligence，2020，44（4）： 1922-1933.

［30］Zou Zhengxia，Chen Keyan，Shi Zhenwei，et al. Object detection in 20 years： a survey［J］. Proceedings of the IEEE，2023，111（3）：257-276.

［31］Jiang Pengtao，Zhang Changbin，Hou Qibin，et al. Layer-CAM： exploring hierarchical class activation maps for localization［J］. IEEE Trans on Image Processing，2021，30： 5875-5888.

［32］He Kaiming，Zhang Xiangyu，Ren Shaoqing，et al. Deep residual learning for image recognition［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2016： 770-778.