基于MM-Net 的閥芯外表面缺陷檢測(cè)

熊鑫州，肖子遙，朱肖磊，葉 沐

（上海工程技術(shù)大學(xué) 機(jī)械與汽車(chē)工程學(xué)院，上海 201620）

0 引言

閥芯作為汽車(chē)噴油器的核心部件，主要的作用就是控制燃油在噴油器中的流動(dòng)，但其在加工過(guò)程中由于工藝流程、加工環(huán)境等問(wèn)題容易產(chǎn)生閥芯外表碎屑?xì)埩簟A持力度過(guò)大導(dǎo)致外表夾傷等缺陷，而這些瑕疵就會(huì)直接影響燃油的流動(dòng)，嚴(yán)重情形下還會(huì)直接造成噴油嘴通孔堵塞引發(fā)故障。原始的人工目檢存在成本高、檢測(cè)效率低、主觀性及經(jīng)驗(yàn)性較強(qiáng)等不足，基于機(jī)器視覺(jué)的無(wú)接觸式自動(dòng)化檢測(cè)技術(shù)近年來(lái)在工業(yè)領(lǐng)域得到了廣泛應(yīng)用［1-2］。郝淑麗等人［3］通過(guò)將待檢測(cè)金屬圖像與模板相減進(jìn)行匹配，并通過(guò)灰度直方圖做特征提取，以SVM 做分類器實(shí)現(xiàn)對(duì)細(xì)小瑕疵的識(shí)別。董家順等人［4］根據(jù)鋼管外形特點(diǎn)設(shè)計(jì)了由線陣相機(jī)、線陣光源等組成的整體檢測(cè)平臺(tái)，并用改進(jìn)的K-means 算法對(duì)預(yù)處理后的灰度圖片做正反求和，實(shí)現(xiàn)對(duì)缺陷的分割。Kan 等人［5］針對(duì)激光焊接缺陷，提出了線性回歸與SVM 相結(jié)合的分級(jí)識(shí)別方法。Honeywell 公司使用線陣CCD 相機(jī)來(lái)采集圖像，設(shè)計(jì)了一種基于句法模式識(shí)別理論的并行圖像處理機(jī)和分類算法的瑕疵識(shí)別系統(tǒng)［6］。以上所提檢測(cè)方法雖然能夠有效識(shí)別缺陷，但存在需要手動(dòng)構(gòu)建特征向量或無(wú)法實(shí)現(xiàn)在準(zhǔn)確識(shí)別瑕疵類型的同時(shí)確定瑕疵的具體位置等問(wèn)題。隨著深度學(xué)習(xí)技術(shù)的深入研究，基于深度學(xué)習(xí)的缺陷檢測(cè)技術(shù)也隨即成為了學(xué)界的一個(gè)熱門(mén)研究方向。Huang 等人［7］圍繞金屬制品提出了一種CNN 缺陷檢測(cè)結(jié)構(gòu)，并利用對(duì)抗神經(jīng)解決小樣本問(wèn)題。Huang 等人［8］在級(jí)聯(lián)R-CNN 的基礎(chǔ)上，提出了一種新的多尺度特征對(duì)的特征提取方法，并將其應(yīng)用于金屬罐頭產(chǎn)品的缺陷檢測(cè)。文獻(xiàn)［9-11］針對(duì)鋼材的外表面缺陷提出了不同的深度學(xué)習(xí)檢測(cè)模型。Xu等人［12］針對(duì)金屬表面缺陷，優(yōu)化了原始YOLOv3［13］的模型結(jié)構(gòu)，將原始模型的淺層特征與深層特征做連接融合。雖然以上這些深度學(xué)習(xí)模型能夠解決手動(dòng)提取特征的缺陷，但是金屬表面的微小瑕疵卻會(huì)引發(fā)檢測(cè)準(zhǔn)確率不高、缺陷區(qū)域無(wú)法識(shí)別或識(shí)別不精準(zhǔn)等問(wèn)題，直接影響后續(xù)的人工復(fù)核。

針對(duì)上述問(wèn)題，本文提出了基于MM-Net 的閥芯外表面缺陷檢測(cè)模型，該模型由基于注意力機(jī)制的金字塔逐級(jí)多層次特征提取模塊、多尺度特征融合模塊等4 個(gè)模塊組成，多個(gè)模塊的組合在有效提取金屬外表面缺陷的同時(shí)實(shí)現(xiàn)高級(jí)語(yǔ)義特征與低級(jí)紋理特征的有效融合，并能在識(shí)別瑕疵類型的同時(shí)確定瑕疵在圖片中的位置，最后通過(guò)實(shí)驗(yàn)，結(jié)果顯示了該模型的有效性與可行性。

1 基于MM-Net 的閥芯外表面缺陷檢測(cè)模型

為了有效確定閥芯外表面缺陷的位置以及有效識(shí)別缺陷的類型，本文基于金字塔多尺度特征融合、特征提純以及注意力機(jī)制提出MM-Net 模型，實(shí)現(xiàn)對(duì)缺陷以像素水平的檢測(cè)。該深度CNN 網(wǎng)絡(luò)主要包括4 個(gè)模塊，分別是：基于注意力機(jī)制的金字塔逐級(jí)多層次特征提取模塊、多尺度特征融合模塊、特征增強(qiáng)與提純模塊和特征提純與融合模塊。具體結(jié)構(gòu)如圖1 所示。對(duì)此擬展開(kāi)研究分述如下。

圖1 MM-Net 閥芯外表面缺陷檢測(cè)模型Fig. 1 MM-Net spool outer surface defect detection model

1.1 基于注意力機(jī)制的金字塔逐級(jí)多層次特征提取模塊

多級(jí)特征提取模塊為了獲取閥芯外表面圖片上更多需要關(guān)注的目標(biāo)瑕疵的細(xì)節(jié)信息，能夠抑制其他無(wú)用背景信息的干擾，通過(guò)自動(dòng)計(jì)算不同特征層、特征區(qū)域的重要程度分配不同大小的權(quán)重，特征層或特征區(qū)域越重要、所分配的權(quán)重就越大。本文采用基于注意力優(yōu)化的ResNet50 特征提取網(wǎng)絡(luò)提取不同層次的閥芯外表面特征見(jiàn)表1。由表1 可知，該特征提取子網(wǎng)絡(luò)主要由1 個(gè)輸入層和5 個(gè)卷積塊組成。

表1 特征提取網(wǎng)絡(luò)Tab.1 Feature extraction network

首先，將預(yù)處理后的原始圖片輸入至特征提取網(wǎng)絡(luò)，尺寸為1 024×640×1（1 024，640，1 分別表示圖片的寬、高和通道數(shù)），再通過(guò)A-Conv1～A-Conv5 從下至上地提取包含不同紋理以及語(yǔ)義等信息的多尺度特征，A-Conv1～A-Conv5 均由基于注意力優(yōu)化的殘差卷積單元（residual unit）組成（A-ConvX），每一個(gè)A-ConvX塊會(huì)對(duì)圖像做2 倍的降采樣，隨著特征圖尺度的下降，通道數(shù)會(huì)成倍增加，細(xì)節(jié)如圖2（a）所示。其中，殘差卷積單元由一系列卷積層、特征歸一化層（BN）和激活函數(shù)層（采用ReLU作為激活函數(shù)）組成，注意力機(jī)制單元由空間注意力模塊和通道注意力模塊組成，利用通道注意力模塊增加含有目標(biāo)瑕疵特征圖的通道權(quán)重，利用通道注意力模塊增加特征圖上瑕疵所在區(qū)域的權(quán)重。

圖2 3 個(gè)模塊的結(jié)構(gòu)設(shè)計(jì)Fig. 2 Structural design of three modules

對(duì)于通道注意力模塊，先分別通過(guò)全局平均池化（global average pooling，GAP）和全局最大池化（global max pooling，GMP）對(duì)輸入的殘差單元的特征FConvX進(jìn)行空間方向的壓縮聚合，提取各通道的全局特征（特征圖大小為1×1×C），同時(shí)產(chǎn)生2 個(gè)向量：，再各通過(guò)2 個(gè)1×1 的多層感知器（MLP）分別對(duì)2 個(gè)向量做卷積，增加通道間的相關(guān)性，并將獲得的特征向量送入Sigmoid激活函數(shù)，將向量中的值映射到［0，1］之間，生成注意力向量，且兩注意力向量長(zhǎng)度相等；最后，進(jìn)行逐元素地對(duì)應(yīng)相加求和合并，生成最終的通道注意力特征向量Fc。向量中的數(shù)值為對(duì)應(yīng)通道的權(quán)重，值的大小顯示了輸入殘差單元不同通道特征的重要程度，數(shù)值越大說(shuō)明與之相對(duì)應(yīng)的特征通道信息越重要。Fc的計(jì)算方式如下：

其中，φ（·）AvgP，φ（·）MaxP分別表示全局平均池化與全局最大池化操作；“ ⊕”表示兩特征圖上的特征元素對(duì)應(yīng)相加；σ（·）表示Sigmoid函數(shù)。

通道注意力模塊雖然能夠顯示不同通道特征的重要程度，但卻不能提供瑕疵在特征圖上的位置信息。因此，本文引入空間注意力模塊來(lái)輔助定位瑕疵特征的目標(biāo)位置信息，并抑制特征圖上的其他背景及噪聲信息的干擾。在空間注意力模塊中，首先利用平均池化和最大值池化獲得輸入的特征圖上（FConvX）各像素點(diǎn)沿空間維度的均值和最大值，并組成2 個(gè)新的特征向量和，接著對(duì)兩特征通過(guò)相加進(jìn)行求和，再通過(guò)Sigmoid函數(shù)，獲得最終的空間注意力特征Fs。Fs的值越大，說(shuō)明特征圖上對(duì)應(yīng)像素點(diǎn)信息對(duì)檢測(cè)越重要。Fs的計(jì)算公式可表示為：

其中，φ（·）Avg，φ（·）Max分別表示平均池化和最大池化。

由此得到的基于注意力機(jī)制和殘差塊的特征提取方式如下：

其中，“ ?”表示特征圖上對(duì)應(yīng)像素點(diǎn)相乘。

1.2 多尺度特征融合模塊

由多層次特征提取模塊自上而下地生成含有不同上下文信息及空間分辨率的5 個(gè)特征圖Fj（j ＝1，2，…，5），由于部分閥芯的外表面瑕疵本身具有的像素信息較少，或瑕疵區(qū)域很小，在下采樣的過(guò)程中極易被丟失，為了準(zhǔn)確地識(shí)別缺陷，有必要利用盡可能多的紋理以及語(yǔ)義信息。為此采用特征融合模塊（Feature merging module，F(xiàn)MM）對(duì)由多層次特征提取模塊自上而下所生成的含有不同上下文信息及空間分辨率的4 個(gè)特征圖Fj（j ＝2，…，5）進(jìn)行進(jìn)一步的融合（由于F0層含有的重要信息較少、所以特征融合時(shí)不做考慮），特征融合模塊如圖3 所示。通過(guò)融入使各級(jí)特征包含更多的缺陷細(xì)節(jié)信息和高級(jí)語(yǔ)義信息，便于缺陷的定位和細(xì)節(jié)恢復(fù)。4 個(gè)特征層可以用特征集F ＝（F2，F(xiàn)3，F(xiàn)4，F(xiàn)5）表示，F(xiàn)MM 會(huì)合并相鄰的特征圖并生成新的特征集F' ＝（），具體過(guò)程如下：

圖3 特征融合模塊Fig. 3 Feature fusion module

Step 1低分辨率的F5先通過(guò)線性插值進(jìn)行2倍的上采樣，并利用大小為1×1 的卷積調(diào)整通道數(shù)，使得F5的通道數(shù)和分辨率與F4相同，再通過(guò)對(duì)應(yīng)像素點(diǎn)相加實(shí)現(xiàn)F5與F4的融合，生成新的特征為F4'。

Step 2利用FMM 將F4'與F3融合得到特征，并用相同的方法得到特征F2'。

1.3 特征增強(qiáng)與提純模塊

最高級(jí)別的特征含有豐富的語(yǔ)義特征，以及更強(qiáng)的分辨能力，同時(shí)高級(jí)的特征神經(jīng)元具有更大的感受野，能夠獲得更多的語(yǔ)義信息，有利于對(duì)閥芯表面大型瑕疵的檢測(cè)。為了更加充分利用該層的特征信息，提高檢測(cè)精度，本文提出了基于子像素卷積（sub-pixel convolution）和注意力機(jī)制的特征增強(qiáng)和提純模塊（Feature Enhancement and purification module，F(xiàn)EP），F(xiàn)EP 的核心結(jié)構(gòu)如圖4 所示。FEP的核心思想是利用子像素卷積實(shí)現(xiàn)對(duì)特征圖F5長(zhǎng)、寬的改變，便于和各低維度特征能夠直接實(shí)現(xiàn)融合，并通過(guò)通道注意力模塊對(duì)由子像素卷積產(chǎn)生的特征圖做進(jìn)一步提純，從而生成更有鑒別能力的特征。具體過(guò)程如下：

圖4 特征增強(qiáng)與提純模塊Fig. 4 Feature enhancement and refinement module

Step 1假設(shè)輸入特征圖的尺度為w × c × h，先通過(guò)子像素卷積改變輸入特征圖的形狀，用C1表示改變形狀后的特征圖，C1的尺度為2w ×2c ×h／4，為了使C1中更多有效信息得到保留，并抑制無(wú)效信息流動(dòng)到下一階段，再次引入注意力機(jī)制。在注意力模塊中，將利用1×1 的卷積改變特征圖的通道數(shù)，使其和C1的通道數(shù)相同，隨后通過(guò)圖2（c）的注意力模塊獲得A1，再通過(guò)A1和特征圖的對(duì)應(yīng)通道相乘獲得最終結(jié)果。此處需用到的數(shù)學(xué)公式為：

Step 2再采用與Step1 相類似的方法分別獲得

1.4 特征提純與融合模塊

特征融合模塊雖然實(shí)現(xiàn)了特征的自上而下的融合，但是最高特征層只是將高級(jí)語(yǔ)義特征向下輸出，由于沒(méi)有下層紋理等細(xì)節(jié)信息的向上融合，就不能從其他特征中獲益，因而并不適用于對(duì)小目標(biāo)的檢測(cè)場(chǎng)景。為了進(jìn)一步融合高維特征與低維特征，使得所提取的特征更豐富，以及高層語(yǔ)義特征中能夠融合到低層紋理信息，本文采用特征提純與融合模塊（Feature purification and fusion module，F(xiàn)PF），如圖5 所示。

圖5 特征提純與融合模塊Fig. 5 Feature purification and fusion module

具體過(guò)程如下：

Step 1通過(guò)大小為3×3 的卷積核對(duì)低水平特征Flow做卷積的下采樣操作得到，卷積核每次在特征圖上的移動(dòng)步長(zhǎng)為2，卷積完成后特征圖的大小的通道數(shù)和高水平特征Fhigh相同。

其中，Αc與Αs分別表示通道注意力和空間注意力操作，“ *”為卷積操作。

為了整個(gè)網(wǎng)絡(luò)的參數(shù)能夠通過(guò)不斷迭代調(diào)整到最優(yōu)值，本文采用二元交叉熵?fù)p失函數(shù)，即：

其中，y，分別表示樣本的真實(shí)值與預(yù)測(cè)值，N為一個(gè)batch size中的樣本數(shù)。

2 實(shí)驗(yàn)與分析

2.1 工作站配置

為了驗(yàn)證本文所提出MM-Net 模型在閥芯外表面缺陷檢測(cè)的有效性與可行性，接下來(lái)通過(guò)實(shí)驗(yàn)和對(duì)比分析進(jìn)行驗(yàn)證測(cè)試。驗(yàn)證測(cè)試在實(shí)驗(yàn)室的工作站上進(jìn)行，工作站的配置細(xì)節(jié)見(jiàn)表2。

表2 工作站配置Tab.2 Workstation configuration

2.2 數(shù)據(jù)集與評(píng)價(jià)指標(biāo)

為了驗(yàn)證本文所提模型的有效性，根據(jù)企業(yè)的實(shí)際需求將瑕疵類型分為：臟污、夾傷、外表粗糙、電化學(xué)腐蝕、劃傷五類，其中臟污、夾傷、電化學(xué)腐蝕、劃傷對(duì)閥芯本身的影響是不可逆的，而外表粗糙可通過(guò)打磨返修后二次使用。所采集的圖片分辨率為2 048×2 448，圖片格式為JPG 格式，位深度為8，通道數(shù)為1，各類別瑕疵圖片數(shù)目見(jiàn)表3。

表3 各類瑕疵樣本數(shù)Tab.3 The number of samples of various defects

由于原始圖片過(guò)大，如果直接輸入模型進(jìn)行訓(xùn)練和測(cè)試，會(huì)因?yàn)閳D片分辨率過(guò)高影響訓(xùn)練與推理速度，所以先利用OpenCV 的threshold、findContours等模塊對(duì)圖片做預(yù)處理提取ROI 區(qū)域。預(yù)處理后的分辨率為1 024×640，各類預(yù)處理后閥芯外表面的瑕疵圖片如圖6 所示。

圖6 預(yù)處理后的各類瑕疵特征Fig. 6 Various defect features after preprocessing

由于深度學(xué)習(xí)是基于大數(shù)據(jù)的，在訓(xùn)練過(guò)程中需要大量的圖片提取足夠豐富的特征供整個(gè)模型學(xué)習(xí)，防止模型產(chǎn)生欠擬合。本次實(shí)驗(yàn)采用旋轉(zhuǎn)、縮放、裁剪、Mosiac 及CutMix 對(duì)原始各瑕疵流類型的樣本量進(jìn)行數(shù)據(jù)增廣，增廣后的樣本總量為35 000張，并按照9 ∶1 的比例劃分為訓(xùn)練集及測(cè)試集。文中選擇以精確率（Precision）、召回率（Recall）和平均交并比（MIoU）作為最終模型檢測(cè)性能的評(píng)價(jià)指標(biāo)。

2.3 結(jié)果分析

模型訓(xùn)練的初始學(xué)習(xí)率為0.001，學(xué)習(xí)率的衰減方式為余弦退火衰減，優(yōu)化器為帶有動(dòng)量的SGD 算法，其中的衰減系數(shù)設(shè)置為0.9，Batch size為8，整體模型共迭代800 個(gè)Epochs。

圖7 顯示了夾傷、劃傷兩種不同缺陷類型的檢測(cè)結(jié)果。從結(jié)果上看，MM-Net 均取得了良好的分割效果，較為準(zhǔn)確地識(shí)別了缺陷在圖片中的位置。

圖7 基于MM-Net 的部分閥芯外表面檢測(cè)結(jié)果Fig. 7 Detection results of part of the outer surface of the valve core based on MM-Net

為了進(jìn)一步驗(yàn)證與評(píng)估本文所提檢測(cè)模型MMNet 對(duì)閥芯外表面缺陷檢測(cè)的性能，本文將MM-Net模 型 與 FCN、UNet、DeepLabv3、EncNet、SegNet、PSPNet 模型進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果見(jiàn)表4。

表4 基于不同模型的閥芯外表面缺陷檢測(cè)結(jié)果對(duì)比Tab.4 Comparison of detection results of spool outer surface defects based on different models

由表4 可以看出，在閥芯外表面缺陷檢測(cè)的檢測(cè)時(shí)間上除了FCN 的時(shí)間（0.065 s）大于本文所提模型MM -Net 的0.056 s 外，UNet、DeepLabv3、EncNet、SegNet 及PSPNet 的檢測(cè)時(shí)間均小于MMNet，主要原因是本文采用了基于attention 機(jī)制的模型特征提取模塊，在特征提取的同時(shí)需要完成對(duì)特征的提純，并采用多尺度特征融合模塊、特征增強(qiáng)與提純模塊及特征提純與融合模塊對(duì)特征做進(jìn)一步的提純和融合，整體結(jié)構(gòu)模型較UNet、DeepLabv3 等模型更為復(fù)雜，推理檢測(cè)時(shí)間更長(zhǎng)。但在精度（Precision）上，MM-Net 比剩余模型中精度最高的PSPNet 模型高1.82%，召回率（Recall）和MIoU上MM-Net 均比剩余模型中召回率和MIoU最高的DeepLabv3 分別高出4.41%和4.23%，說(shuō)明本文所提的MM-Net 算法提取到了更有效的閥芯外表面特征，多個(gè)模塊的組合增強(qiáng)了模型本身的學(xué)習(xí)能力，也更有效地實(shí)現(xiàn)了瑕疵特征的提純與融合。

3 結(jié)束語(yǔ)

針對(duì)現(xiàn)有閥芯外表面檢測(cè)方法所存在的缺陷，并根據(jù)閥芯外表面缺陷的類型與結(jié)構(gòu)特點(diǎn)，本文提出基于MM-Net 的缺陷檢測(cè)方法，所提出的MMNet 由多個(gè)特征提取模塊、特征提純與融合模塊組合而成，多個(gè)模塊的組合也實(shí)現(xiàn)了對(duì)更精細(xì)、更豐富特征的提取，通過(guò)消融實(shí)驗(yàn)驗(yàn)證了將MM-Net 應(yīng)用于閥芯外表面檢測(cè)的有效性，在檢測(cè)時(shí)間相近的情況下，MM-Net 在準(zhǔn)確率、召回率、MIoU三個(gè)方面均表現(xiàn)出了優(yōu)勢(shì)。但多個(gè)模塊的組合也使整體模型較為復(fù)雜，后續(xù)可圍繞整體模型的輕量化做進(jìn)一步研究。