基于機器視覺的金屬絲網(wǎng)缺陷識別方法

陳東亮，師素雙，房立慶，蔡猛，師占群

基于機器視覺的金屬絲網(wǎng)缺陷識別方法

陳東亮1，師素雙1，房立慶1，蔡猛2，師占群1

（1.河北工業(yè)大學(xué) 機械工程學(xué)院，天津 300130；2.中國民航大學(xué) 機械工程學(xué)院，天津 300300）

提升金屬絲網(wǎng)的檢測效率與檢測精度。提出一種應(yīng)用于金屬絲網(wǎng)表面缺陷識別的EfficientNetV2改進網(wǎng)絡(luò)，首先更改了網(wǎng)絡(luò)的骨干結(jié)構(gòu)，在特征提取模塊前后分別引入通道拆分與通道轉(zhuǎn)換等操作，以增大網(wǎng)絡(luò)容量，提高特征利用率；其次重新設(shè)計網(wǎng)絡(luò)的分類器，通過對提取的高級語義信息進行逐層分步壓縮，以減小特征損失，提高分類精度；最后搭建圖像采集系統(tǒng)，構(gòu)造金屬絲網(wǎng)缺陷數(shù)據(jù)集。實驗結(jié)果表明，文中改進的網(wǎng)絡(luò)模型在數(shù)據(jù)集上的準(zhǔn)確率、精確度和特異度分別達到99.43%、99.42%和99.88%，圖像識別耗時為27.5 ms，增強了缺陷識別效果。該方法具有較高的準(zhǔn)確率，在金屬絲網(wǎng)缺陷檢測上具有較好的實用性，也可為其他類似產(chǎn)品的缺陷檢測提供參考。

缺陷檢測；深度學(xué)習(xí)；EfficientNetV2；金屬絲網(wǎng)；遷移學(xué)習(xí)

產(chǎn)品質(zhì)量至關(guān)重要，它代表著企業(yè)的信譽，只有高質(zhì)量的產(chǎn)品才能長期在市場上取勝[1]。在包裝行業(yè)，金屬絲網(wǎng)作為熱收縮包裝機的重要組成部分，其質(zhì)量影響產(chǎn)品的包裝效果，因此，對金屬絲網(wǎng)表面缺陷精準(zhǔn)識別是產(chǎn)品生產(chǎn)過程中不可或缺的一環(huán)，對保證金屬絲網(wǎng)的生產(chǎn)質(zhì)量具有重要意義。

目前，國內(nèi)大多采用人工目測的方式對金屬絲網(wǎng)進行缺陷檢測與識別，不僅檢測效率低、強度高，而且難以滿足高效的生產(chǎn)需求。隨著人工智能在計算機視覺領(lǐng)域的廣泛應(yīng)用，機器學(xué)習(xí)和深度學(xué)習(xí)被廣泛應(yīng)用于物體檢測與圖像分類[2]。針對絲網(wǎng)的早期檢測研究[3]，前人大多采用圖像處理與機器學(xué)習(xí)的方法對絲網(wǎng)進行質(zhì)量檢測，雷洋等[4]結(jié)合現(xiàn)代圖像處理，提出了一種試驗篩網(wǎng)經(jīng)絲和緯絲夾角的自動檢測方法。王延年等[5]提出了一種基于傅里葉變換和改進閾值分割的印刷絲網(wǎng)布疵點的檢測算法，實現(xiàn)了對常見缺陷的快速檢測。許悅等[6]提出了一種網(wǎng)片缺陷在線檢測及分類方法，實現(xiàn)了對3種缺陷進行分類。雖然傳統(tǒng)的機器學(xué)習(xí)方法有效地避免了人工檢測的弊端，但是上述的方法都需要針對不同的任務(wù)手工制作不同的特征，因此模型的泛化性能低。

如今，卷積神經(jīng)網(wǎng)絡(luò)已廣泛應(yīng)用于圖像分類、對象檢測和圖像分割等任務(wù)[7]。相比于傳統(tǒng)的圖像處理方法，卷積神經(jīng)網(wǎng)絡(luò)可以發(fā)揮其自動學(xué)習(xí)的優(yōu)勢，避免了復(fù)雜的手工設(shè)計特征，在工業(yè)[8-9]、農(nóng)業(yè)[10-11]、醫(yī)療產(chǎn)業(yè)[12-13]等領(lǐng)域均有所應(yīng)用?；诖?，Li等[14]設(shè)計了一種檢測織物缺陷的網(wǎng)絡(luò)結(jié)構(gòu)，與主流網(wǎng)絡(luò)相比，模型小、分類準(zhǔn)確度高。Chakraborty等[15]構(gòu)造了印花織物缺陷庫，并應(yīng)用深度卷積神經(jīng)網(wǎng)絡(luò)對印花織物進行缺陷檢測。He等[16]提出了一種新的基于卷積神經(jīng)網(wǎng)絡(luò)的分層學(xué)習(xí)框架，用于熱軋缺陷分類。為了實現(xiàn)可靠的分類，Habibpour等[17]引入了不確定性估計，提出了鑄件缺陷檢測的不確定性感知深度學(xué)習(xí)框架，增強了鑄件生產(chǎn)質(zhì)量的保證?？紤]到絲網(wǎng)缺陷的多樣性、變化性以及訓(xùn)練數(shù)據(jù)相對較少等情況，為加快網(wǎng)絡(luò)的擬合速度，可以使用遷移學(xué)習(xí)[18]進行網(wǎng)絡(luò)訓(xùn)練。Cheng等[19]提出了一種新的基于遷移學(xué)習(xí)的表面缺陷檢測方法，有效地解決了缺陷類別不平衡分布的問題。Ragb等[20]提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的算法來幫助從超聲圖像中準(zhǔn)確識別乳腺癌，并通過遷移學(xué)習(xí)加快了收斂速度。Hohlfeld等[21]針對啤酒瓶分類問題提出了一種深度學(xué)習(xí)模型，達到了100%的準(zhǔn)確率。盡管深度學(xué)習(xí)在公共數(shù)據(jù)集以及工業(yè)場景的分類問題上取得了很好的結(jié)果[16]，但是尚未發(fā)現(xiàn)其在金屬絲網(wǎng)缺陷檢測中的應(yīng)用。

為此，文中在EfficientNetV2[22]網(wǎng)絡(luò)的基礎(chǔ)上，提出一種應(yīng)用于金屬絲網(wǎng)表面缺陷識別的方法。通過加入通道拆分與通道轉(zhuǎn)換等結(jié)構(gòu)，對網(wǎng)絡(luò)骨干進行重新布局，以增強網(wǎng)絡(luò)對特征的提取能力。調(diào)整網(wǎng)絡(luò)分類器的結(jié)構(gòu)，以減小特征損失的同時增強網(wǎng)絡(luò)分類精度。搭建圖像采集系統(tǒng)，構(gòu)建金屬絲網(wǎng)缺陷數(shù)據(jù)集并進行相應(yīng)實驗，獲得較好的識別效果。

1 網(wǎng)絡(luò)模型

圖1為典型的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，其中卷積層的數(shù)學(xué)表達式為：

式中：為輸出；f、k和b分別為第個通道上的特征圖、卷積核與偏差；*為卷積操作。通常使用Relu作為激活函數(shù)，表達式為：

式中：為卷積層的輸出。最大池化層數(shù)學(xué)表達式為：

式中：為區(qū)域內(nèi)的最大值；R為第（，）個池化區(qū)域。

由于金屬絲網(wǎng)表面缺陷復(fù)雜多樣，簡單的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對其進行缺陷識別的效果不佳，故提出了一種基于EfficientNetV2網(wǎng)絡(luò)的改進模型。

圖1 典型卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

1.1 EfficientNetV2網(wǎng)絡(luò)模型介紹

EfficientNetV2網(wǎng)絡(luò)的基本結(jié)構(gòu)見圖2a，該網(wǎng)絡(luò)由大量的倒殘差結(jié)構(gòu)組成。圖2b為MBConv模塊，該模塊通過點卷積、深度卷積、通道注意力機制等卷積運算，對輸入的特征圖進行增維、特征提取、自適應(yīng)通道權(quán)重、降維等操作，不僅減少了網(wǎng)絡(luò)的運算量，也增強了網(wǎng)絡(luò)的特征提取性能。此外，當(dāng)深度卷積步長為1且倒殘差結(jié)構(gòu)中輸入與輸出維度相同時，主分支與捷徑分支的和將作為下一步操作的輸入。雖然深度卷積理論上計算量很小，但在淺層網(wǎng)絡(luò)中應(yīng)用會使訓(xùn)練速度變慢，故引入Fused–MBConv結(jié)構(gòu)，見圖2c。該結(jié)構(gòu)將MBConv模塊中的深度卷積和點卷積替換成了卷積核為3×3的卷積層，通過此操作可以提取更多細(xì)節(jié)信息并提升準(zhǔn)確率。倒殘差結(jié)構(gòu)中的SE為簡單有效的注意力模塊，結(jié)構(gòu)見圖3。該模塊通過壓縮操作，將特征圖壓縮為1×1×向量，在經(jīng)過激勵操作后得到各通道權(quán)重，最后原有特征向量與通道權(quán)重相乘，以突出不同通道的重要性。

此外，為了避免模型過擬合，在倒殘差結(jié)構(gòu)中引入Dropout和批規(guī)范化（Batch Normalization，BN）策略。Dropout以一定概率隨機失活神經(jīng)元，得到更加精簡的網(wǎng)絡(luò)模型。各個神經(jīng)節(jié)點的輸入為：

式中：以漸進學(xué)習(xí)方法進行賦值。

BN策略就是對數(shù)據(jù)做批規(guī)范化處理，以緩解梯度消失現(xiàn)象，加快網(wǎng)絡(luò)收斂速度。算法表達式為：

式中：和為可學(xué)習(xí)的參數(shù)；為趨近于0的常數(shù)；y為x處理后的值。

圖2 EfficientNetV2結(jié)構(gòu)

Fig.2 EfficientNetV2 structure

注：為Fused–MBConv；為MBConv。

圖3 SE注意力模塊

1.2 網(wǎng)絡(luò)骨干改進

EfficientNetV2網(wǎng)絡(luò)骨干由圖2b、c所示模塊堆疊而成，特征提取模塊中雖然存在倒殘差結(jié)構(gòu)，但整個網(wǎng)絡(luò)深度過深，以至于提取的特征信息利用效果不佳，并且網(wǎng)絡(luò)存在密集卷積以及特征圖元素相加等操作，導(dǎo)致運算成本增加，影響模型精度，因此，為提高特征的利用率，增強網(wǎng)絡(luò)的運行速度與識別精度，對網(wǎng)絡(luò)骨干進行改進。首先在各個特征提取模塊之前增加了通道拆分操作，將特征通道拆分為2個分支，一個作為捷徑分支，另一個作為主分支進行卷積操作提取特征信息。其中一半的特征通道直接連到下一模塊，從而實現(xiàn)特征重用以獲得較高的精度。之后將2個分支輸出的特征圖沿著通道方向進行拼接，代替了特征圖元素相加的操作，從而減小模型運算成本、提高運行速度。最后應(yīng)用通道轉(zhuǎn)換操作，即將合并的2個分支通道各劃分為若干個子組，然后將不同子組按順序進行填充，以實現(xiàn)各通道之間的信息交流。特征圖通道操作流程見圖4。改進后的特征提取模塊見圖5a、b，其中3×3卷積步距全為1?？臻g下采樣模塊見圖5c，特征圖經(jīng)過2個卷積分支分別進行特征提取，之后再合并2個分支特征，其中3×3卷積步距全為2。該模塊應(yīng)用在特征提取模塊之前，使輸入特征圖寬高減半、通道擴增，達到下采樣的效果。

圖4 通道操作流程

圖5 改進后各模塊結(jié)構(gòu)

1.3 分類器改進

EfficientNetV2通過網(wǎng)絡(luò)骨干提取目標(biāo)的高級語義信息，并根據(jù)信息利用分類器對目標(biāo)進行分類識別。通常在遷移學(xué)習(xí)過程中只需修改分類器輸出的類別個數(shù)便可直接應(yīng)用。由于EfficientNetV2網(wǎng)絡(luò)針對的是ImageNet[23]數(shù)據(jù)集上的1 000多種類別，而文中僅針對6種金屬絲網(wǎng)目標(biāo)。如果直接修改分類器輸出的類別數(shù)量，可能會損失高層網(wǎng)絡(luò)的語義信息，進而影響分類精度，因此，為了增強網(wǎng)絡(luò)對金屬絲網(wǎng)缺陷識別的穩(wěn)定性，將網(wǎng)絡(luò)的分類器進行重新設(shè)計，具體結(jié)構(gòu)見表1。

表1 分類器參數(shù)

Tab.1 Classifier parameters

由于骨干網(wǎng)絡(luò)提取的特征維度與分類器輸出的類別差異較大，首先使用2個卷積核大小為1×1的卷積層對提取的特征進行分步降維，避免了數(shù)據(jù)因降維較大而造成語義信息的丟失。然后通過全局池化層對特征圖尺寸進行壓縮，進一步提煉語義信息。最后應(yīng)用全連接層進行分類輸出。

1.4 改進后網(wǎng)絡(luò)總體結(jié)構(gòu)

改進后網(wǎng)絡(luò)結(jié)構(gòu)見表2，其中Conv2d、Avgpool和FC分別為卷積、最大池化和全連接操作，F(xiàn)used–MBConv和MBConv為特征提取模塊，Spa–Down為空間下采樣模塊，為通道拓展因子，為輸出通道，為當(dāng)前層的操作重復(fù)次數(shù)，為步距，e為SE模塊縮放因子。

2 圖像采集設(shè)備

文中以目數(shù)為10、絲徑為0.5 mm的不銹鋼方孔網(wǎng)為采集對象。絲網(wǎng)以0.4 m/min的速度打卷包裝，并在打包之前進行圖像采集。金屬絲網(wǎng)圖像采集設(shè)備由工業(yè)相機、照明系統(tǒng)、黑色橡膠板、計算機組成，見圖6。工業(yè)相機與絲網(wǎng)的視距為20 cm，通過外部輸入的信號來控制相機對絲網(wǎng)進行連續(xù)采集。為了能夠保證連續(xù)采集圖像的精度要求，最終選擇維視圖像的Mako G–223 CMOS工業(yè)相機。該相機具有2 048×1 088的分辨率，最大幀速率為50幀/s，有效工作溫度范圍為?10～70 ℃，能夠滿足實際使用要求，并使用千兆以太網(wǎng)連接到計算機進行數(shù)據(jù)傳輸。照明系統(tǒng)由環(huán)形LED燈組成，由于金屬絲網(wǎng)表面易反光，采用光照均勻的環(huán)形光源能夠避免出現(xiàn)局部高光，從而獲得高質(zhì)量的金屬絲網(wǎng)圖像。

表2 網(wǎng)絡(luò)結(jié)構(gòu)

Tab.2 Network structure

圖6 圖像采集設(shè)備示意圖

3 實驗設(shè)計與分析

實驗硬件環(huán)境為：Intel Cote i7?10700F CPU、16 GB RAM、Nvidia GeForce RTX 3080 Ti 12 G GPU。軟件環(huán)境為：Win10專業(yè)版操作系統(tǒng)、Python 3.7、CUDA 11.4、cuDNN 11.4、Pytorch1.7。

3.1 金屬絲網(wǎng)缺陷數(shù)據(jù)集

由于有關(guān)金屬絲網(wǎng)表面缺陷的公共數(shù)據(jù)集較少，因此文中創(chuàng)建了一個目標(biāo)缺陷數(shù)據(jù)集，所有圖像均通過第3節(jié)介紹的圖像采集系統(tǒng)進行收集。數(shù)據(jù)集共涉及6類目標(biāo)樣本，1類正常樣本和5類缺陷樣本，加入正常樣本主要是為了提高網(wǎng)絡(luò)模型對缺陷樣本的識別能力。圖7顯示了金屬絲網(wǎng)的部分圖像，其中5種缺陷類型分別為缺經(jīng)絲、缺緯絲、較大孔洞、經(jīng)向細(xì)密道、緯向細(xì)密道。在圖7中，圖7a與圖7b、圖7d與圖7e缺陷非常相似，但在方向上有所差異，因此作為不同缺陷類型進行處理。本次實驗共包含5 294張金屬絲網(wǎng)圖像，隨機選擇其中4 767張樣本圖像作為訓(xùn)練集，其余527張樣本圖像作為測試集。各種缺陷類型的數(shù)量見表3。

圖7 絲網(wǎng)圖像

表3 絲網(wǎng)樣本數(shù)量

Tab.3 Quantity of wire mesh samples

3.2 實驗設(shè)置

所有分類網(wǎng)絡(luò)均訓(xùn)練500個周期。在訓(xùn)練過程中采用隨機梯度下降（SGD）優(yōu)化器更新網(wǎng)絡(luò)參數(shù)，其中衰減因子、動量分別設(shè)為0.01、0.9，batch_size設(shè)為16，并遵循余弦學(xué)習(xí)率衰減函數(shù)將學(xué)習(xí)率從初始值0.01降為0，學(xué)習(xí)率計算公式為：

式中：為總批次數(shù)量；為單批次數(shù)量；為初始學(xué)習(xí)率。

網(wǎng)絡(luò)模型的有效性可以通過各種標(biāo)準(zhǔn)的性能指標(biāo)進行評估，綜合考慮最終選擇準(zhǔn)確率、精確度、特異度作為評判依據(jù)。各指標(biāo)定義如下：

式中：、和分別為待評估模型的準(zhǔn)確率、精確度和特異度；P、P、N和N分別為真陽性、假陽性、真陰性和假陰性的百分比。其中真陽性表示預(yù)測是正樣本，實際也是正樣本；假陽性表示預(yù)測是正樣本，實際是負(fù)樣本；真陰性表示預(yù)測是負(fù)樣本，實際也是負(fù)樣本；假陰性表示預(yù)測是負(fù)樣本，實際是正樣本。例如，缺絲徑為正樣本，則非缺絲徑全為負(fù)樣本，其他類別以此類推。

3.3 實驗結(jié)果與分析

網(wǎng)絡(luò)模型改進前后性能指標(biāo)對比見表4。

表4 不同方法的評估結(jié)果

Tab.4 Evaluation results of different methods

注：A為原始EfficientNetV2網(wǎng)絡(luò)；B為使用文中分類器的EfficientNetV2網(wǎng)絡(luò)；C為使用文中分類器和骨干的EfficientNetV2網(wǎng)絡(luò)。

由表4可知，改進分類器的網(wǎng)絡(luò)與原始網(wǎng)絡(luò)相比準(zhǔn)確率提升了0.6%、精確度提升了0.46%、特異度提升了0.36%，單張圖像的識別耗時提升了2.8%，由于改進后的分類器添加了一些卷積操作，從而增加了識別耗時。由此可見新的分類器對網(wǎng)絡(luò)骨干提取的高級語義信息更加敏感，提高了網(wǎng)絡(luò)對金屬絲網(wǎng)表面缺陷的識別精度，卻增加了識別時間；同時相較于原始網(wǎng)絡(luò)，改進分類器和骨干的網(wǎng)絡(luò)的準(zhǔn)確率、精確度和特異度分別提高了2.5%、2.4%和1.4%，識別耗時降低了18.3%；與僅改進分類器的網(wǎng)絡(luò)相比，改進分類器和骨干的網(wǎng)絡(luò)的準(zhǔn)確率、精確度和特異度分別提高了1.9%、2%和1%，識別耗時降低了20.7%。由此可知改進后的網(wǎng)絡(luò)能夠更好地提取特征語義信息，進一步增強了網(wǎng)絡(luò)缺陷的識別效果。

改進的網(wǎng)絡(luò)模型訓(xùn)練結(jié)果見圖8。隨著迭代的進行，在200步之前網(wǎng)絡(luò)模型總交叉熵?fù)p失降幅較大，在200～400步之間緩慢下降，之后模型便趨于收斂，最終在訓(xùn)練集和驗證集上的準(zhǔn)確率分別達到97.8%和99.4%。觀察模型在數(shù)據(jù)集上的曲線可知，改進后的網(wǎng)絡(luò)快速收斂，沒有出現(xiàn)明顯的過擬合現(xiàn)象。圖9為模型在測試集上的混淆矩陣，由圖9可知改進后的模型僅3例樣本出現(xiàn)誤檢，表明模型檢測效果良好、誤檢率低。

綜上所述，改進后的EfficientNetV2網(wǎng)絡(luò)模型提高了特征的利用率，增強了網(wǎng)絡(luò)識別精度，同時降低了模型單張圖像的識別耗時。

圖8 網(wǎng)絡(luò)模型曲線

圖9 測試集混淆矩陣

3.4 不同模型對比實驗

為了進一步展示文中改進模型的實驗結(jié)果，在相同的硬件配置下，分別使用VGG、GoogLeNet和MobileNetV3網(wǎng)絡(luò)模型在同一數(shù)據(jù)集上進行對比。其中VGG用多個小的卷積核來代替大尺度卷積核，以減少網(wǎng)絡(luò)參數(shù)增大感受野。GoogLeNet網(wǎng)絡(luò)引入Inception結(jié)構(gòu)充分發(fā)揮其融合不同尺度特征信息的優(yōu)點。MobileNetV3網(wǎng)絡(luò)因其體積小、模型復(fù)雜度低，被廣泛部署在移動設(shè)備上。以上3種模型在圖像分類任務(wù)中性能優(yōu)異、應(yīng)用廣泛，因此作為本次實驗的對比方法。表5為不同分類模型的識別效果。

表5 不同模型的識別效果

Tab.5 Recognition effects of different models

由表5可知，文中改進的網(wǎng)絡(luò)模型在準(zhǔn)確率方面相較于VGG、GoogLeNet和MobileNetV3分別提升了13.5%、12.1%和10.2%，在精確度方面分別提升了13.6%、18.5%和16.3%。由于改進的網(wǎng)絡(luò)模型深度較深，從而導(dǎo)致單張圖像的識別耗時大幅增加。考慮到產(chǎn)品的生產(chǎn)速度為0.4 m/min，而文中方法的單張圖像識別耗時為27.5 ms，符合實際的工業(yè)需求。綜上所知，文中方法在識別精度上具有較大優(yōu)勢，能夠滿足實際檢測需求。

4 結(jié)語

文中以金屬絲網(wǎng)為對象，研究了基于機器視覺的缺陷檢測方法，在EfficientNetV2網(wǎng)絡(luò)的基礎(chǔ)上提出了一種新的改進網(wǎng)絡(luò)，并取得了較好的識別效果。主要結(jié)論如下：

1）在網(wǎng)絡(luò)模型骨干中引入通道拆分與通道轉(zhuǎn)換操作可以增強各個通道之間的信息交流、擴大網(wǎng)絡(luò)模型的容量，并在一定程度上提高了模型的特征學(xué)習(xí)能力。

2）在分類器中逐層有序地降低特征的維度，可以有效減少高層語義信息的丟失，提高模型分類精度。

3）通過自主構(gòu)建的缺陷數(shù)據(jù)集進行網(wǎng)絡(luò)訓(xùn)練，結(jié)果表明模型缺陷識別能力良好、準(zhǔn)確率較高，能夠滿足實際檢測需求。

由于金屬絲網(wǎng)生產(chǎn)環(huán)境復(fù)雜可能會產(chǎn)生新的缺陷類型，后續(xù)會采集更多的缺陷圖像進行數(shù)據(jù)擴增，用以優(yōu)化網(wǎng)絡(luò)模型，從而更好地將文中改進的模型應(yīng)用于金屬絲網(wǎng)表面缺陷檢測。

[1] JING J, WANG Z, RTSCH M, et al. Mobile-Unet: An Efficient Convolutional Neural Network for Fabric Defect Detection[J]. Textile Research Journal, 2020, 38(1): 142-158.

[2] YANG D M, CUI Y R, YU Z Y, et al. Deep Learning Based Steel Pipe Weld Defect Detection[J]. AppliedArtificial Intelligence, 2021, 35(3): 1237-1249.

[3] 王曉飛, 裘祖榮, 楊聰, 等. 基于影像測量儀的試驗篩自動測量方法[J]. 數(shù)據(jù)采集與處理, 2013, 28(2): 257-260.

WANG Xiao-fei, QIU Zu-rong, YANG Cong, et al. Calibration Method for Test Sieves Based on Video Measuring Machine[J]. Journal of Data Acquisition & Processing, 2013, 28(2): 257-260.

[4] 雷洋, 張建正. 一種試驗篩網(wǎng)孔角度的自動檢測方法[J]. 華東理工大學(xué)學(xué)報(自然科學(xué)版), 2014, 40(3): 315-320.

LEI Yang, ZHANG Jian-zheng. An Automatic Angular Measurement Algorithm of Mesh of Test Sieve[J]. Journal of East China University of Science and Technology (Natural Science Edition), 2014, 40(3): 315-320.

[5] 王延年, 楊萬里. 一種改進的印刷絲網(wǎng)布疵點快速檢測算法[J]. 國外電子測量技術(shù), 2017, 36(1): 35-37.

WANG Yan-nian, YANG Wan-li. Improved Fast Printing Mesh Fabric Defect Detection Method[J]. Foreign Electronic Measurement Technology, 2017, 36(1): 35-37.

[6] 顧寄南, 唐良穎, 許悅, 等. 機器視覺在網(wǎng)片缺陷檢測與分類中的應(yīng)用[J]. 機械設(shè)計與制造, 2019(S1): 47-49.

GU Ji-nan, TANG Liang-ying, XU Yue, et al. Application of Machine Vision in Detection and Classification of Mesh Defects[J]. Machinery Design & Manufacture, 2019(S1): 47-49.

[7] LU Yang. Artificial Intelligence: A Survey on Evolution, Models, Applications and Future Trends[J]. Journal of Management Analytics, 2019, 6(1): 1-29.

[8] CHEON S, LEE Han-kang, KIM C O, et al. Convolutional Neural Network for Wafer Surface Defect Classification and the Detection of Unknown Defect Class[J]. IEEE Transactions on Semiconductor Manufacturing, 2019, 32(2): 163-170.

[9] KANG G, GAO S, YU L, et al. Deep Architecture for High-Speed Railway InsulatorSurface Defect Detection: Denoising Autoencoder With Multitask Learning[J]. IEEE Transactions on Instrumentation and Measurement, 2019, 68(8): 2679-2690.

[10] HASAN A S M M, SOHEL F, DIEPEVEEN D, et al. A Survey of Deep Learning Techniques for Weed Detection from Images[J]. Computers and Electronics in Agriculture, 2021,184(5): 1067-1084.

[11] ANDREASEN C. Deep Neural Networks to Detect Weeds from Crops in AgriculturalEnvironments in Real-Time: A Review[J]. Remote Sensing, 2021, 13(21): 44-86.

[12] LOU An-ge, GUAN Shu-yue, LOEW M. CFPNet-M: A Light-Weight Encoder-Decoder Based Network for Multimodal Biomedical Image Real-Time Segmentation[J]. Electrical Engineering and Systems Science, 2021, 5(4): 31-42.

[13] XIE Y, ZHANG J, SHEN C, et al. CoTr: Efficiently Bridging CNN and Transformer for 3D Medical Image Segmentation[J]. Computers and Electronics in Agriculture, 2021, 3(3): 24-37.

[14] LI Y, ZHANG D, LEE D J. Automatic Fabric Defect Detection with a Wide-and-Compact Network[J]. Neurocomputing, 2019, 329(1): 329-338.

[15] CHAKRABORTY S, MOORE M, PARRILLO- CHAPMAN L. Automatic Defect Detection of Print Fabric Using Convolutional Neural Network[J]. ArXiv, 2021, 13(20): 325-337.

[16] HE D, XU K, WANG D. Design of Multi-Scale Receptive Field Convolutional Neural Network for Surface Inspection of Hot Rolled Steels[J]. Image and Vision Computing, 2019, 89(1): 12-20.

[17] HABIBPOUR M, GHAROUN H, TAJALLY A, et al. An Uncertainty-Aware Deep Learning Framework for Defect Detection in Casting Products[J]. ArXiv, 2021, 11(6): 43-52.

[18] YOSINSKI J, CLUNE J, BENGIO Y, et al. How Transferable are Features in Deep Neural Networks?[J]. Advances in Neural Information Processing Systems, 2014, 45(5): 3320-3328.

[19] CHENG J, GOU B, LIU J, et al. TL-SDD: A Transfer Learning-Based Method for Surface DefectDetection with Few Samples[C]// 2021 7th International Conference on Big Data Computing and Communications (BigCom), 2021: 136-143.

[20] RAGB H, ALI R, JERA E, et al. Convolutional Neural Network Based on Transfer Learning for Breast Cancer Screening[J]. ArXiv, 2021, 16(6): 16-25.

[21] HOHLFELD P, OSTERMEIER T, BRANDL D. Classification of Beer Bottles Using Object Detection and Transfer Learning[J]. arXiv, 2022, 3(7): 91-96.

[22] TAN MINGXING, LE Q V. EfficientNetV2: Smaller Models and Faster Training[J]. ArXiv, 2021, 4(6): 298-309.

[23] JIA D, WEI D, SOCHER R, et al. ImageNet: A Large-Scale Hierarchical Image DataBase[C]// Computer Vision and Pattern Recognition, Miami FL USA, 2009: 248-255.

Defect Recognition Method of Wire Mesh Based on Machine Vision

CHEN Dong-liang1, SHI Su-shuang1, FANG Li-qing1, CAI Meng2, SHI Zhan-qun1

(1. School of Mechanical Engineering, Hebei University of Technology, Tianjin 300130, China; 2. School of Mechanical Engineering, China Civil Aviation University, Tianjin 300300, China)

The work aims to improve the detection efficiency and accuracy of wire mesh. An improved network EfficientNetV2 for wire mesh surface defect recognition was proposed. Firstly, the backbone structure of the network was changed, and operations such as channel splitting and channel conversion were introduced before and after the feature extraction module to increase network capacity and improve feature utilization. Secondly, the classifier of the network was redesigned, and the extracted high-level semantic information was compressed layer by layer to reduce the feature loss and improve the classification accuracy. Finally, an image acquisition system was built to construct a wire mesh defect data set. According to the experimental results, the accuracy, precision and specificity of the improved network model on the data set were 99.43%, 99.42% and 99.88% respectively, and the image recognition time was 27.5 ms, which enhanced the defect recognition effect. The method has high accuracy and good practicability in wire mesh defect detection, and can also provide reference for defect detection of other similar products.

defect detection; deep learning; EfficientNetV2; wire mesh; transfer learning

TP391.4

A

1001-3563(2023)03-0164-08

10.19554/j.cnki.1001-3563.2023.03.020

2022?04?13

陳東亮（1996—），男，碩士生，主攻機電系統(tǒng)智能檢測。

師占群（1963—），男，博士，教授，主要研究方向為智能診斷。

責(zé)任編輯：曾鈺嬋