織物疵點(diǎn)在線檢測的神經(jīng)網(wǎng)絡(luò)方法研究

上海交通大學(xué)學(xué)生創(chuàng)新中心 王佳瑩

本文提出一種基于機(jī)器視覺的在線檢測方法，用于圓形緯編機(jī)針織面料疵點(diǎn)的自動(dòng)檢測。在歸納總結(jié)針織面料疵點(diǎn)圖像學(xué)特征的基礎(chǔ)上，設(shè)計(jì)一種可檢測織物疵點(diǎn)的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)。基于單階段目標(biāo)檢測模型YOLOv3，修改網(wǎng)絡(luò)結(jié)構(gòu)中的兩條支路后該網(wǎng)絡(luò)可參照圖像中的背景織物用以識(shí)別其上的疵點(diǎn)。并使用深度可分離卷積層降低模型參數(shù)、加快檢測速度。實(shí)驗(yàn)表明，基于YOLOv3改進(jìn)的緯編針織面料疵點(diǎn)檢測算法的mAP（各類別平均準(zhǔn)確率的平均值）為81.44%，相較于YOLOv3明顯提升。

紡織工業(yè)中，面料在織造后往往出現(xiàn)各類疵點(diǎn)，影響產(chǎn)品質(zhì)量。目前疵點(diǎn)檢測的主要方式為肉眼檢查和自動(dòng)驗(yàn)布。但兩種檢測方式都需要額外的成本并占用場地，且線下進(jìn)行的方式無法實(shí)時(shí)檢出疵點(diǎn)以便于企業(yè)及時(shí)處理缺陷面料。及時(shí)發(fā)現(xiàn)疵點(diǎn)，是控制面料生產(chǎn)質(zhì)量、降低企業(yè)損失的有效手段。在此種現(xiàn)實(shí)情況下，在線、自動(dòng)、智能檢測針織面料的技術(shù)具有相當(dāng)?shù)膬r(jià)值。針織圓形緯編機(jī)具有獨(dú)特的結(jié)構(gòu)，在織造過程中人工難以一絲不漏地觀察面料并及時(shí)發(fā)現(xiàn)疵點(diǎn)。加之智能化的需求，因此亟需一種適合圓形緯編機(jī)的在線檢測方法以自動(dòng)檢測面料疵點(diǎn)。

機(jī)器視覺憑借著非接觸、高效率、便捷、客觀等優(yōu)點(diǎn)，在缺陷檢測方面得到了廣泛的應(yīng)用。目前市場上比較成熟的服裝面料自動(dòng)缺陷檢測系統(tǒng)主要包括以色列EVS公司的1-tex2000系統(tǒng)，它只能用于單色服裝面料的缺陷檢測，檢測速度達(dá)到120m/min，適應(yīng)服裝面料的高速測試；來自瑞士烏斯特的Fabriscan system 211也專注于單色服裝面料的缺陷檢測。經(jīng)過幾十年的發(fā)展，以色列、美國、法國、澳大利亞等國家的織物疵點(diǎn)檢測系統(tǒng)的技術(shù)和水平在應(yīng)用上處于領(lǐng)先地位。

本文以單面圓形緯編機(jī)所生產(chǎn)的針織面料為檢測對象，設(shè)計(jì)基于機(jī)器視覺的在線檢測方法，實(shí)現(xiàn)針織面料上典型疵點(diǎn)的在線檢測。

1 織物疵點(diǎn)圖像特征

本文根據(jù)GB/T 24117-2009將緯編過程中的面料缺陷分為9類：漏針、花針、破洞/豁口、稀路/密路、缺紗、橫條/橫路、水漬/油污、跳絲、毛絲。

與人工觀察類似，如果檢測算法能夠準(zhǔn)確檢測出疵點(diǎn)，那么它必須能夠分辨疵點(diǎn)與其背景之間的差異，而并非單獨(dú)記憶疵點(diǎn)的外觀。是否能夠察覺到這種“差異”即針織面料疵點(diǎn)在線檢測的分辨能力之一。上述疵點(diǎn)按照紋理和顏色可大致分為三類：第一類的紋理與正常區(qū)域有所差異而顏色基本一致，如花針、漏針、稀路/密路、跳絲、缺紗等；第二類的紋理和顏色明顯異常，包括破洞和豁口；第三類的紋理并沒有遭到破壞，僅僅顏色不同，包括橫條、橫路、水漬、油污、毛絲等。在上述三大類之下的各個(gè)異種疵點(diǎn)相互之間具有微妙的差別，這是在線檢測的一大障礙。

為了克服這一障礙，將上述疵點(diǎn)再次按照包容區(qū)域的形狀分類，并以此作為檢測算法的第二種分辨能力，借此分化那些紋理和顏色特征歸屬一類的疵點(diǎn)。上述疵點(diǎn)的形狀可大致為四類：不規(guī)則（毗鄰區(qū)）、橫向線形、縱向線形和橫向條狀，總結(jié)如表1所示。

表1 各類疵點(diǎn)圖像特征

2 織物疵點(diǎn)在線檢測方法

織物疵點(diǎn)在線檢測算法流程如圖1所示。在神經(jīng)網(wǎng)絡(luò)中，被輸入的圖像數(shù)據(jù)可視為多維數(shù)組，經(jīng)過諸多特定步長和大小不一致的全卷積層映射后被ReLU層或其他函數(shù)激活，輸出大量圖像特征。這些數(shù)據(jù)將在用于簡化參數(shù)的“瓶頸層”經(jīng)由池化層簡化，最后被全連接層或1h1卷積層等濃縮，導(dǎo)出判斷結(jié)果。

圖1 檢測算法流程

本文使用YOLOv3模型作為基本網(wǎng)絡(luò)結(jié)構(gòu)，整體神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。其中，平行四邊形代表疵點(diǎn)檢測算法神經(jīng)網(wǎng)絡(luò)的重要節(jié)點(diǎn)，內(nèi)部的文字分別代表該節(jié)點(diǎn)的名稱和編號和輸出數(shù)據(jù)的張量形狀，節(jié)點(diǎn)名稱括號中的數(shù)字為卷積層的序號，記錄當(dāng)前使用的卷積層總數(shù)，而括號外的數(shù)字則代表該類型的卷積層（有深度可分離卷積層和普通卷積層兩種類型）的序號；箭頭代表數(shù)據(jù)傳輸路線，箭頭附近的標(biāo)注則代表被省略的節(jié)點(diǎn)；方形則表示數(shù)據(jù)在張量的最后一軸堆疊，同樣記有節(jié)點(diǎn)編號和輸出的張量形狀。

圖2 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)簡圖

網(wǎng)絡(luò)可被分為骨架和瓶頸層兩部分，骨架網(wǎng)絡(luò)為使用可分離卷積層的Darknet53，用于圖像處理，而瓶頸層為一種特征金字塔(FPN)，用于特征提取。網(wǎng)絡(luò)的輸入圖像經(jīng)過預(yù)處理，為RGB模式，其寬和高分別為768和512px。相較于原YOLOv3網(wǎng)絡(luò)的尺寸（416h416）有所擴(kuò)大以在提高精度的同時(shí)適應(yīng)圖像樣本。經(jīng)過骨架內(nèi)的卷積層與殘差層分別引出三條支路，分別對應(yīng)不同尺度，層數(shù)越深，尺度越大。尺度最小的上路經(jīng)過最大池化處理并經(jīng)由卷積層投影后將取得織物的紋理特征，而尺度最大的下路經(jīng)過平均池化處理并同樣被卷積層投影后得到織物的背景信息。紋理信息被直接載入特征金字塔的底端，而背景信息則投入特征金字塔的三個(gè)末端，也就是整體的輸出端。

整體網(wǎng)絡(luò)相較其原型yolov3而言，半數(shù)以上3h3二維卷積層被替換為卷積核尺度相同的深度可分離卷積層，而用于降維的1h1卷積層和輸出層則未被替代。在瓶頸部分新增一個(gè)2h2的平均池化層和2h2的最大池化層分別用于織物背景和紋理的提取。

3 織物疵點(diǎn)在線檢測結(jié)果

本文使用各類疵點(diǎn)的分類結(jié)果的平均精確率（AP）以及顧及所有分類的平均精確率（mAP）作為評價(jià)指標(biāo)，在測試集上的mAP值如表2所示。

表2 疵點(diǎn)檢測神經(jīng)網(wǎng)絡(luò)的mAP

其中，“YOLOv3-FD”代表基于YOLOv3的織物疵點(diǎn)神經(jīng)網(wǎng)絡(luò)，而“YOLOv3”代表原網(wǎng)絡(luò)。在各個(gè)縱列中，只有各個(gè)類別置信度高于下標(biāo)數(shù)字的檢測結(jié)果參與計(jì)算。兩種神經(jīng)網(wǎng)絡(luò)在一整次訓(xùn)練中總體損失、學(xué)習(xí)率與迭代次數(shù)之間的關(guān)系如圖3所示。

圖3 疵點(diǎn)檢測神經(jīng)網(wǎng)絡(luò)算法的訓(xùn)練情況（左：YOLOv3-FD，右：YOLOv3）

從圖3中可以看出，未經(jīng)結(jié)構(gòu)調(diào)整的YOLOv3網(wǎng)絡(luò)在訓(xùn)練過程中各個(gè)數(shù)據(jù)點(diǎn)的總體損失保持在5以上，且在學(xué)習(xí)率不停變化的迭代過程中沒有明顯的變化，而本文所使用的神經(jīng)網(wǎng)絡(luò)則能夠較好地習(xí)得疵點(diǎn)特征。

“YOLOv3-FD”在置信度門檻為25%時(shí)各類型疵點(diǎn)的平均精確率（AP）如圖4所示。

圖4 置信度為25%時(shí)各類型疵點(diǎn)的AP

從圖4中可以看出，當(dāng)置信度為25%時(shí)，一些類型的疵點(diǎn)如毛絲、花針等的識(shí)別準(zhǔn)確率度較高（90%以上），而橫條、稀路/密路和漏針疵點(diǎn)的準(zhǔn)確率較低，神經(jīng)網(wǎng)絡(luò)僅能識(shí)別43%的橫條、70%的稀路/密路和71%的漏針。經(jīng)過分析，發(fā)現(xiàn)精確度較低的原因在于這三種疵點(diǎn)的特征不明顯。其中橫條的圖像特征為條狀的、顏色較針織物淡的印記，光線的不均勻和織物的不規(guī)范折疊都將產(chǎn)生類似的效果，因此容易被神經(jīng)網(wǎng)絡(luò)忽略。而漏針則表現(xiàn)為線圈脫散而在布面出現(xiàn)垂直條痕及小孔，具有與缺紗相似的圖像特征，同樣使神經(jīng)網(wǎng)絡(luò)難以分辨。

4 結(jié)論與展望

本文在對織物疵點(diǎn)圖像學(xué)特征整理的基礎(chǔ)上，構(gòu)造了一種適用于緯編針織面料疵點(diǎn)的檢測算法。在單階段目標(biāo)檢測算法YOLOv3的結(jié)構(gòu)基礎(chǔ)上改寫了兩條支路，使之能夠準(zhǔn)確檢測出部分類型的常見針織物疵點(diǎn)，當(dāng)置信度門檻為25%時(shí)mAP可達(dá)81.44%，相較于原YOLOv3有明顯提高。此外使用了模型量化技術(shù)減輕了輸出層的運(yùn)算量，并將部分卷積層替換為深度可分離卷積層以在加快預(yù)測速度的同時(shí)減小模型體量。后續(xù)將進(jìn)一步研究搭建效率更高的神經(jīng)網(wǎng)絡(luò)，以在保證檢測精度的基礎(chǔ)上縮短運(yùn)算時(shí)間。