基于SP-DDN 的沖壓件表面缺陷檢測(cè)

摘要：車身沖壓件表面缺陷具有缺陷尺寸跨度大、缺陷類別間差異小等特點(diǎn)，導(dǎo)致傳統(tǒng)表面缺陷檢測(cè)手段的檢測(cè)準(zhǔn)確率低，難以滿足實(shí)際工業(yè)需求。本文提出一種通道自關(guān)聯(lián)特征金字塔深度學(xué)習(xí)缺陷檢測(cè)模型SP-DDN，該模型通過(guò)對(duì)特征金字塔結(jié)構(gòu)進(jìn)行擴(kuò)展得到多層擴(kuò)展特征融合網(wǎng)絡(luò)CFPN 結(jié)構(gòu)，并在該結(jié)構(gòu)中引入具有通道關(guān)聯(lián)分析能力的注意力模塊，以提高模型對(duì)多類別缺陷間差異性的特征提取能力，提升模型的缺陷檢測(cè)精確度。應(yīng)用K-means++算法對(duì)數(shù)據(jù)集中缺陷數(shù)據(jù)開(kāi)展聚類分析，以生成特定預(yù)選框，解決默認(rèn)預(yù)選框尺寸與實(shí)際缺陷尺寸不匹配問(wèn)題。最后，結(jié)合自制的沖壓件表面缺陷檢測(cè)數(shù)據(jù)集SP-NET 與熱軋鋼表面缺陷公開(kāi)數(shù)據(jù)集，對(duì)提出方法進(jìn)行應(yīng)用驗(yàn)證。結(jié)果表明，本文方法相較于基準(zhǔn)網(wǎng)絡(luò)，mAP 分別提升3.1% 和4.0%，召回率分別提升1.5% 和5.5%。

關(guān)鍵詞：缺陷檢測(cè)；沖壓件；K-means++；自注意力機(jī)制

中圖分類號(hào)：TP 18 文獻(xiàn)標(biāo)志碼：A

隨著汽車工業(yè)的不斷發(fā)展，汽車沖壓件的表面質(zhì)量越來(lái)越受到關(guān)注。由于沖壓件表面缺陷尺寸跨度大、缺陷類別間差異小等問(wèn)題，傳統(tǒng)基于油石等輔助方式下的目視檢測(cè)一直是沖壓件表面缺陷檢測(cè)的最主要手段，但受到檢測(cè)人員主觀性、疲勞等因素影響，檢測(cè)準(zhǔn)確率與檢測(cè)效率難以滿足工業(yè)需求。近年來(lái)，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)技術(shù)逐步成為表面缺陷檢測(cè)的研究熱點(diǎn)，并逐漸應(yīng)用于缺陷檢測(cè)領(lǐng)域，相較于傳統(tǒng)視覺(jué)檢測(cè)方法[1-2]，該類方法具有泛化能力強(qiáng)、檢測(cè)魯棒性高以及檢測(cè)速度快等優(yōu)點(diǎn)。

基于深度學(xué)習(xí)的缺陷檢測(cè)框架主要包括兩種形式，即一階段網(wǎng)絡(luò)和兩階段網(wǎng)絡(luò)。一階段網(wǎng)絡(luò)如YOLO[3]、SSD[4] 和RetinaNet[5] 等，通過(guò)特征提取即可實(shí)現(xiàn)缺陷檢測(cè)，具有背景誤檢率低、檢測(cè)速度快等優(yōu)點(diǎn)。兩階段網(wǎng)絡(luò)由于添加候選區(qū)域生成模塊，網(wǎng)絡(luò)的目標(biāo)定位能力以及小目標(biāo)檢測(cè)性能較強(qiáng)。常見(jiàn)的兩階段檢測(cè)網(wǎng)絡(luò)有： R-CNN[6]、Fast R-CNN[7]、Faster R-CNN[8]、Cascade R-CNN[9]等。上述研究為基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法應(yīng)用奠定了方法基礎(chǔ)。但在具體檢測(cè)對(duì)象的缺陷檢測(cè)準(zhǔn)確性方面仍需進(jìn)一步提升。為此，學(xué)者們針對(duì)特定對(duì)象的缺陷特點(diǎn)與目標(biāo)檢測(cè)框架開(kāi)展了大量算法改進(jìn)研究。

在一階段網(wǎng)絡(luò)方面，Cheng[10] 等通過(guò)在RetinaNet網(wǎng)絡(luò)中嵌入通道注意力機(jī)制，使用具有融合卷積核提取的淺層和深層特征能力的自適應(yīng)空間特征融合模塊， 提高網(wǎng)絡(luò)缺陷特征提取能力。Zheng[11] 為解決軸承蓋表面細(xì)微缺陷檢測(cè)難、檢測(cè)實(shí)時(shí)性不足等問(wèn)題，構(gòu)建了大規(guī)模軸承蓋缺陷數(shù)據(jù)集，并基于瓶頸注意力增強(qiáng)網(wǎng)絡(luò)提升缺陷特征提取能力。Chang 等[12] 開(kāi)發(fā)了TinyDefectNet 缺陷檢測(cè)系統(tǒng)，使用真實(shí)缺陷樣本數(shù)據(jù)進(jìn)行模型訓(xùn)練，實(shí)現(xiàn)了車身漆面微小缺陷的抽樣檢測(cè)。該系統(tǒng)算法主要是通過(guò)豐富缺陷圖像數(shù)據(jù)尺寸以增加特征提取數(shù)據(jù)形式提高檢測(cè)準(zhǔn)確性。朱文博等[13]提出了一種基于改進(jìn)YOLOv5 的O 型圈表面缺陷檢測(cè)方法，平均精度提高了4.26%。在兩階段網(wǎng)絡(luò)方面，Huang 等[14] 基于Cascade R-CNN 提出了一種多尺度特征對(duì)特征提取方法，在對(duì)RPN 輸出的區(qū)域進(jìn)行池化前將特征圖擴(kuò)展1.5 倍，以增強(qiáng)目標(biāo)的詳細(xì)信息并提高檢測(cè)精度；Ding 等[15] 針對(duì)表面缺陷檢測(cè)誤檢率和漏檢率高、效率低問(wèn)題，提出基于ResNet-101 和特征金字塔網(wǎng)絡(luò)（feature pyramidnetwork， FPN） 進(jìn)行特征提取、融合的微小缺陷檢測(cè)網(wǎng)絡(luò)TDD-net，實(shí)驗(yàn)結(jié)果表明，該網(wǎng)絡(luò)具有較強(qiáng)的魯棒性和泛化性。

綜上所述，現(xiàn)有研究多通過(guò)改善特征提取方式來(lái)提高檢測(cè)準(zhǔn)確率，但現(xiàn)有網(wǎng)絡(luò)中對(duì)缺陷特征變化導(dǎo)致的特征丟失問(wèn)題、缺陷間的異性識(shí)別方面仍存在不足。鑒于車身沖壓件表面劃痕、壓痕等同類型缺陷尺寸跨度大，異類缺陷間差異小等問(wèn)題，如何結(jié)合沖壓件表面缺陷形態(tài)和紋理特征，提取更具區(qū)分度的特征，是提升沖壓件表面缺陷檢測(cè)精度的關(guān)鍵。為此，本文提出以Faster RCNN結(jié)構(gòu)為基本骨架，以ResNet50 為骨干特征提取網(wǎng)絡(luò)的SP-DDN 缺陷檢測(cè)算法，通過(guò)引入自注意力機(jī)制和可變卷積的通道特征自關(guān)聯(lián)模塊與聚類分析，提升模型對(duì)多尺寸、多類別缺陷的識(shí)別與定位能力，并通過(guò)案例分析驗(yàn)證提出方法的有效性。

1 SP-DDN 網(wǎng)絡(luò)模型

本文提出的沖壓件表面缺陷檢測(cè)模型SPDDN網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。SP-DDN 沿用FasterR-CNN 網(wǎng)絡(luò)框架，主要由5 部分組成：特征提取骨干網(wǎng)絡(luò)、通道自關(guān)聯(lián)特征金字塔網(wǎng)絡(luò)（ channel"self-association feature pyramid network， CFPN） 、區(qū)域生成網(wǎng)絡(luò)（region proposal network，RPN）、感興趣區(qū)域池化（ region of interest pooling， ROIPooling）和分類回歸網(wǎng)絡(luò)。首先，采用ResNet50殘差網(wǎng)絡(luò)作為骨干特征提取網(wǎng)絡(luò)，對(duì)缺陷中的抽象特征進(jìn)行提取，該過(guò)程按照特征圖尺寸大小可分為4 個(gè)階段， 每個(gè)階段輸出的特征圖將作為CFPN 網(wǎng)絡(luò)的輸入。其次，將經(jīng)過(guò)CFPN 特征融合后的特征圖輸入融合自注意力機(jī)制和可變形卷積的SCBAM 模塊，以進(jìn)行通道類間差異性信息自關(guān)聯(lián)分析。然后，將各階段特征圖輸入RPN 生成區(qū)域建議預(yù)選框，并通過(guò)ROI Pooling 進(jìn)行區(qū)域建議框映射。最后，將特征圖送入分類回歸網(wǎng)絡(luò)，進(jìn)行回歸與類別預(yù)測(cè)。